Czyszczenie danych wykrywa i naprawia błędy w danych. Duplikaty, brakujące wartości, niespójne formaty, literówki i wartości odstające. Jest to najmniej efektowna i często najbardziej czasochłonna część pracy z danymi. Analitycy deklarują, że poświęcają 60–80% swojego czasu na czyszczenie. Pozostałą część czasu przeznaczają na analizę. Czyszczenie nie jest opcjonalne. Brudne dane generują błędne odpowiedzi. Model wytrenowany na błędnych danych generuje błędne prognozy. Raport oparty na duplikatach zawyża sumy.

Praca jest metodyczna. Profiluj dane, aby zrozumieć ich kształt i problemy. Standaryzuj formaty: daty, numery telefonów, adresy. Obsługuj brakujące wartości, usuwając rekordy, imputując wartości lub oznaczając je do przeglądu. Deduplikuj rekordy za pomocą dopasowania rozmytego, gdy dokładne dopasowania nie powiodą się. Przeprowadź walidację pod kątem znanych ograniczeń. Dokumentuj każdą transformację, aby proces był powtarzalny. Zautomatyzowane narzędzia pomagają, ale nie zastępują oceny. Skrypt czyszczący, który usuwa wszystkie wartości odstające, może usunąć uzasadnione przypadki brzegowe. Algorytm deduplikacji może połączyć dwóch różnych klientów o tym samym imieniu. Czyszczenie wymaga zrozumienia kontekstu danych, a nie tylko ich struktury. Celem nie są idealne dane. Celem są dane zgodne z ich przeznaczeniem. Różne analizy tolerują różne poziomy bałaganu.

Typowe zadania czyszczenia danych

• Deduplikacja — usuwanie lub scalanie zduplikowanych rekordów
• Standaryzacja — spójne formaty dat, nazw i adresów
• Obsługa brakujących wartości — przypisywanie, usuwanie lub oflagowywanie
• Wykrywanie wartości odstających — identyfikacja i badanie anomalii
• Walidacja — sprawdzenie zgodności z regułami i ograniczeniami biznesowymi

Oczyszczanie danych to cena za użyteczną analizę. Pomiń ją, a analiza będzie bezwartościowa. Zrób to dobrze, a reszta stanie się łatwiejsza.