Data opschonen spoort fouten in data op en corrigeert deze. Denk hierbij aan duplicaten, ontbrekende waarden, inconsistente formaten, typefouten en uitschieters. Het is het minst aantrekkelijke onderdeel van dataverwerking en vaak ook het meest tijdrovende. Analisten geven aan dat ze 60 tot 80 procent van hun tijd besteden aan het opschonen van data. De rest van de tijd gaat naar analyse. Opschonen is niet optioneel. Onzuivere data leidt tot verkeerde resultaten. Een model dat is getraind op slechte data doet verkeerde voorspellingen. Een rapport gebaseerd op duplicaten geeft een te hoog totaalcijfer.

Het werk is methodisch. Analyseer de data om de structuur en problemen ervan te begrijpen. Standaardiseer formaten: datums, telefoonnummers, adressen. Behandel ontbrekende waarden door records te verwijderen, waarden in te vullen of te markeren voor controle. Verwijder dubbele records met behulp van fuzzy matching wanneer exacte overeenkomsten niet werken. Valideer aan de hand van bekende beperkingen. Documenteer elke transformatie zodat het proces reproduceerbaar is. Geautomatiseerde tools zijn nuttig, maar ze vervangen geen oordeel. Een opschoonscript dat elke uitschieter verwijdert, kan legitieme uitzonderingen verwijderen. Een deduplicatiealgoritme kan twee verschillende klanten met dezelfde naam samenvoegen. Opschonen vereist inzicht in de context van de data, niet alleen in de structuur. Het doel is niet perfecte data. Het doel is data die geschikt is voor het beoogde doel. Verschillende analyses tolereren verschillende niveaus van rommeligheid.

Algemene taken voor het opschonen van gegevens

• Deduplicatie — dubbele records verwijderen of samenvoegen
• Standaardisatie — consistente formaten voor datums, namen en adressen.
• Omgaan met ontbrekende waarden: invullen, verwijderen of markeren.
• Uitschieterdetectie — anomalieën identificeren en onderzoeken
• Validatie — controleren aan de hand van bedrijfsregels en -beperkingen

Het opschonen van data is de prijs die je betaalt voor een nuttige analyse. Sla je het over, dan is de analyse waardeloos. Doe je het goed, dan wordt de rest een stuk makkelijker.