Dataoprydning finder og retter fejl i data. Dubletter, manglende værdier, inkonsistente formater, typografiske fejl og outliers. Det er den mindst glamourøse del af dataarbejdet og ofte den mest tidskrævende. Analytikere rapporterer, at de bruger 60 til 80 procent af deres tid på oprydning. Resten går til analyse. Oprydning er ikke valgfrit. Beskidte data producerer forkerte svar. En model, der er trænet på dårlige data, giver dårlige forudsigelser. En rapport bygget på dubletter overdriver totaler.

Arbejdet er metodisk. Profiler dataene for at forstå deres form og problemer. Standardiser formater: datoer, telefonnumre, adresser. Håndter manglende værdier ved at fjerne poster, imputere værdier eller markere dem til gennemgang. Dedupliker poster ved hjælp af fuzzy matching, når eksakte matches fejler. Valider mod kendte begrænsninger. Dokumenter hver transformation, så processen er reproducerbar. Automatiserede værktøjer hjælper, men de erstatter ikke dømmekraft. Et rensningsscript, der fjerner alle outliers, kan slette legitime edge cases. En deduplikeringsalgoritme kan flette to forskellige kunder med samme navn. Rensning kræver forståelse af dataenes kontekst, ikke kun deres struktur. Målet er ikke perfekte data. Målet er data, der er egnet til sit formål. Forskellige analyser tolererer forskellige niveauer af rod.

Almindelige dataoprydningsopgaver

• Deduplikering — fjern eller flet dubletter
• Standardisering — ensartede formater for datoer, navne, adresser
• Håndtering af manglende værdier — imputer, fjern eller marker
• Outlier detection — identificer og undersøg anomalier
• Validering — kontrol i forhold til forretningsregler og begrænsninger

Datarensning er prisen for nyttig analyse. Spring den over, og analysen er værdiløs. Gør det godt, og resten bliver lettere.