Pembersihan data menemukan dan memperbaiki kesalahan dalam data. Data duplikat, nilai yang hilang, format yang tidak konsisten, kesalahan ketik, dan outlier. Ini adalah bagian yang paling tidak menarik dari pekerjaan data dan seringkali paling memakan waktu. Analis melaporkan menghabiskan 60 hingga 80 persen waktu mereka untuk pembersihan. Sisanya digunakan untuk analisis. Pembersihan bukanlah pilihan. Data yang kotor menghasilkan jawaban yang salah. Model yang dilatih dengan data yang buruk menghasilkan prediksi yang buruk. Laporan yang dibangun berdasarkan data duplikat melebih-lebihkan total.

Pekerjaan ini bersifat metodis. Buat profil data untuk memahami bentuk dan permasalahannya. Standarisasi format: tanggal, nomor telepon, alamat. Tangani nilai yang hilang dengan menghapus catatan, mengisi nilai, atau menandainya untuk ditinjau. Hapus duplikasi catatan menggunakan pencocokan samar (fuzzy matching) ketika pencocokan tepat gagal. Validasi terhadap batasan yang diketahui. Dokumentasikan setiap transformasi agar prosesnya dapat direproduksi. Alat otomatis membantu, tetapi tidak menggantikan penilaian. Skrip pembersihan yang menghapus setiap outlier mungkin menghapus kasus-kasus khusus yang sah. Algoritma penghapusan duplikasi mungkin menggabungkan dua pelanggan berbeda dengan nama yang sama. Pembersihan membutuhkan pemahaman konteks data, bukan hanya strukturnya. Tujuannya bukan data yang sempurna. Tujuannya adalah data yang sesuai dengan tujuannya. Analisis yang berbeda mentolerir tingkat kekacauan yang berbeda.

Tugas pembersihan data umum

• Penghapusan duplikasi — menghapus atau menggabungkan catatan duplikat
• Standardisasi — format yang konsisten untuk tanggal, nama, dan alamat.
• Penanganan nilai yang hilang — imputasi, penghapusan, atau penandaan
• Deteksi outlier — mengidentifikasi dan menyelidiki anomali
• Validasi — periksa terhadap aturan dan batasan bisnis

Pembersihan data adalah harga yang harus dibayar untuk analisis yang bermanfaat. Lewati langkah ini dan analisis tersebut menjadi tidak berharga. Lakukan dengan baik dan sisanya akan menjadi lebih mudah.