Čištění dat vyhledává a opravuje chyby v datech. Duplikáty, chybějící hodnoty, nekonzistentní formáty, překlepy a odlehlé hodnoty. Je to nejméně okouzlující část práce s daty a často i časově nejnáročnější. Analytici uvádějí, že 60 až 80 procent svého času tráví čištěním. Zbytek jde na analýzu. Čištění není volitelné. Špinavá data produkují nesprávné odpovědi. Model trénovaný na špatných datech dává špatné předpovědi. Zpráva postavená na duplikátech nadhodnocuje součty.

Práce je metodická. Profilujte data, abyste pochopili jejich tvar a problémy. Standardizujte formáty: data, telefonní čísla, adresy. Zpracujte chybějící hodnoty odebráním záznamů, doplněním hodnot nebo jejich označením k revizi. Deduplikujte záznamy pomocí fuzzy porovnávání, pokud selžou přesné shody. Ověřte podle známých omezení. Dokumentujte každou transformaci, aby byl proces reprodukovatelný. Automatizované nástroje pomáhají, ale nenahrazují úsudek. Čisticí skript, který odstraní všechny odlehlé hodnoty, by mohl smazat legitimní okrajové případy. Deduplikační algoritmus by mohl sloučit dva různé zákazníky se stejným jménem. Čištění vyžaduje pochopení kontextu dat, nejen jejich struktury. Cílem nejsou dokonalá data. Cílem je, aby data vyhovovala svému účelu. Různé analýzy tolerují různou úroveň nepořádku.

Běžné úkoly čištění dat

• Deduplikace – odstranění nebo sloučení duplicitních záznamů
• Standardizace – konzistentní formáty pro data, jména a adresy
• Zpracování chybějících hodnot – imputace, odstranění nebo označení příznakem
• Detekce odlehlých hodnot – identifikace a vyšetřování anomálií
• Validace – kontrola splnění obchodních pravidel a omezení

Čištění dat je cenou za užitečnou analýzu. Pokud ho vynecháte, analýza bude bezcenná. Udělejte to dobře a zbytek bude snazší.