Datarensing finner og retter feil i data. Duplikater, manglende verdier, inkonsistente formater, skrivefeil og avvik. Det er den minst glamorøse delen av dataarbeid og ofte den mest tidkrevende. Analytikere rapporterer at de bruker 60 til 80 prosent av tiden sin på rengjøring. Resten går til analyse. Rensing er ikke valgfritt. Skitne data gir feil svar. En modell trent på dårlige data gir dårlige forutsigelser. En rapport bygget på duplikater overdriver totaler.

Arbeidet er metodisk. Profiler dataene for å forstå formen og problemene. Standardiser formater: datoer, telefonnumre, adresser. Håndter manglende verdier ved å fjerne poster, imputere verdier eller flagge dem for gjennomgang. Dedupliser poster ved hjelp av fuzzy matching når eksakte treff mislykkes. Valider mot kjente begrensninger. Dokumenter hver transformasjon slik at prosessen er reproduserbar. Automatiserte verktøy hjelper, men de erstatter ikke vurderingsevne. Et rengjøringsskript som fjerner alle avvikere, kan slette legitime kanttilfeller. En dedupliseringsalgoritme kan slå sammen to forskjellige kunder med samme navn. Rengjøring krever forståelse av dataenes kontekst, ikke bare strukturen. Målet er ikke perfekte data. Målet er data som er egnet for formålet. Ulike analyser tolererer forskjellige nivåer av rot.

Vanlige dataoppryddingoppgaver

• Deduplisering – fjern eller slå sammen dupliserte poster
• Standardisering – konsistente formater for datoer, navn, adresser
• Håndtering av manglende verdier – imputer, fjern eller flagg
• Avviksdeteksjon – identifiser og undersøk avvik
• Validering – sjekk mot forretningsregler og begrensninger

Datarensing er prisen for nyttig analyse. Hopp over den, og analysen er verdiløs. Gjør det bra, så blir resten enklere.