Curățarea datelor găsește și corectează erorile din date. Duplicate, valori lipsă, formate inconsistente, greșeli de scriere și valori aberante. Este partea cea mai puțin atractivă a lucrului cu datele și adesea cea mai consumatoare de timp. Analiștii raportează că petrec 60 până la 80% din timp pentru curățare. Restul este folosit pentru analiză. Curățarea nu este opțională. Datele murdare produc răspunsuri greșite. Un model antrenat pe date greșite face predicții greșite. Un raport construit pe duplicate supraestimează totalurile.

Munca este metodică. Profilați datele pentru a le înțelege forma și problemele. Standardizați formatele: date, numere de telefon, adrese. Gestionați valorile lipsă prin eliminarea înregistrărilor, imputarea de valori sau semnalizarea lor pentru revizuire. Deduplicați înregistrările folosind potrivirea fuzzy atunci când potrivirile exacte eșuează. Validați în funcție de constrângerile cunoscute. Documentați fiecare transformare, astfel încât procesul să fie reproductibil. Instrumentele automate ajută, dar nu înlocuiesc judecata. Un script de curățare care elimină fiecare valoare aberantă ar putea șterge cazurile limită legitime. Un algoritm de deduplicare ar putea îmbina doi clienți diferiți cu același nume. Curățarea necesită înțelegerea contextului datelor, nu doar a structurii lor. Scopul nu sunt date perfecte. Scopul este ca datele să fie adecvate scopului lor. Analize diferite tolerează diferite niveluri de dezordine.

Sarcini comune de curățare a datelor

• Deduplicare — eliminarea sau îmbinarea înregistrărilor duplicate
• Standardizare — formate consecvente pentru date, nume, adrese
• Gestionarea valorilor lipsă — imputare, eliminare sau semnalizare
• Detectarea aberanțelor — identificarea și investigarea anomaliilor
• Validare — verificare în raport cu regulile și constrângerile de business

Curățarea datelor este prețul unei analize utile. Omite-o și analiza este lipsită de valoare. Fă-o bine și restul devine mai ușor.