Veri temizleme, verilerdeki hataları bulup düzeltir. Yinelenen kayıtlar, eksik değerler, tutarsız formatlar, yazım hataları ve aykırı değerler gibi hatalar temizlenir. Veri çalışmalarının en az göz alıcı ve genellikle en çok zaman alan kısmıdır. Analistler zamanlarının %60 ila %80'ini temizlemeye harcadıklarını belirtiyor. Geri kalanı ise analize gidiyor. Temizleme isteğe bağlı değildir. Kirli veriler yanlış sonuçlar üretir. Kötü verilerle eğitilmiş bir model yanlış tahminlerde bulunur. Yinelenen kayıtlar üzerine kurulu bir rapor toplamları abartır.

Çalışma metodiktir. Verilerin şeklini ve sorunlarını anlamak için profilleme yapılır. Biçimler standartlaştırılır: tarihler, telefon numaraları, adresler. Eksik değerler, kayıtları kaldırarak, değerleri atayarak veya inceleme için işaretleyerek ele alınır. Tam eşleşme başarısız olduğunda bulanık eşleştirme kullanılarak kayıtlar tekrarlardan arındırılır. Bilinen kısıtlamalara göre doğrulama yapılır. Sürecin tekrarlanabilir olması için her dönüşüm belgelenir. Otomatik araçlar yardımcı olur, ancak yargının yerini almazlar. Her aykırı değeri kaldıran bir temizleme komut dosyası, meşru uç durumları silebilir. Bir tekrarlardan arındırma algoritması, aynı ada sahip iki farklı müşteriyi birleştirebilir. Temizleme, yalnızca yapısını değil, verinin bağlamını da anlamayı gerektirir. Amaç mükemmel veri değildir. Amaç, amacına uygun veridir. Farklı analizler, farklı düzeylerde karmaşaya tolerans gösterir.

Sık karşılaşılan veri temizleme görevleri

• Tekrarlanan kayıtları kaldırma veya birleştirme — yinelenen kayıtları silme veya birleştirme
• Standardizasyon — tarihler, isimler ve adresler için tutarlı formatlar.
• Eksik değerlerin işlenmesi — atama, kaldırma veya işaretleme
• Aykırı değer tespiti — anormallikleri belirleme ve inceleme
• Doğrulama — iş kuralları ve kısıtlamalarına göre kontrol etme

Veri temizliği, faydalı analizlerin bedelidir. Bunu atlarsanız, analiz değersiz olur. İyi yaparsanız, gerisi kolaylaşır.