Az adattisztítás megkeresi és kijavítja az adatokban található hibákat. Ismétlődő elemeket, hiányzó értékeket, inkonzisztens formátumokat, elgépeléseket és kiugró értékeket. Ez az adatfeldolgozás legkevésbé vonzó része, és gyakran a legidőigényesebb is. Az elemzők arról számolnak be, hogy idejük 60-80 százalékát tisztítással töltik. A többi az elemzésre megy. A tisztítás nem opcionális. A szennyezett adatok rossz válaszokat adnak. Egy rossz adatokon betanított modell rossz előrejelzéseket tesz. Egy ismétlődő elemekre épülő jelentés eltúlozza az összesítéseket.

A munka módszeres. Az adatok profiljának elkészítése az alakjuk és a problémáik megértése érdekében. Formátumok szabványosítása: dátumok, telefonszámok, címek. Hiányzó értékek kezelése rekordok eltávolításával, értékek pótlásával vagy ellenőrzésre való megjelölésével. Rekordok deduplikálása fuzzy illesztéssel, ha a pontos egyezések sikertelenek. Validálás ismert korlátozásokkal szemben. Minden átalakítás dokumentálása a folyamat reprodukálhatóvá tétele érdekében. Az automatizált eszközök segítenek, de nem helyettesítik az ítélőképességet. Egy tisztító szkript, amely minden kiugró értéket eltávolít, törölheti a jogos szélső eseteket. Egy deduplikációs algoritmus két különböző, azonos nevű ügyfelet egyesíthet. A tisztításhoz az adatok kontextusának megértése szükséges, nem csak a szerkezetüké. A cél nem a tökéletes adatok. A cél az, hogy az adatok megfeleljenek a céljuknak. A különböző elemzések a rendetlenség különböző szintjeit tolerálják.

Gyakori adattisztítási feladatok

• Deduplikáció – ismétlődő rekordok eltávolítása vagy egyesítése
• Szabványosítás – egységes formátumok dátumokhoz, nevekhez és címekhez
• Hiányzó érték kezelése – imputálás, eltávolítás vagy megjelölés
• Kiugró értékek észlelése – anomáliák azonosítása és kivizsgálása
• Validáció – ellenőrzés az üzleti szabályok és korlátozások alapján

Az adattisztítás a hasznos elemzés ára. Ha kihagyod, az elemzés értéktelen. Csináld jól, és a többi már könnyebb lesz.