Datarensning hittar och åtgärdar fel i data. Dubbletter, saknade värden, inkonsekventa format, stavfel och extremvärden. Det är den minst glamorösa delen av dataarbetet och ofta den mest tidskrävande. Analytiker rapporterar att de lägger 60 till 80 procent av sin tid på rensning. Resten går till analys. Rensning är inte valfritt. Smutsig data ger fel svar. En modell som tränats på dålig data gör dåliga förutsägelser. En rapport som bygger på dubbletter överdriver totaler.

Arbetet är metodiskt. Profilera data för att förstå dess form och problem. Standardisera format: datum, telefonnummer, adresser. Hantera saknade värden genom att ta bort poster, imputera värden eller flagga dem för granskning. Deduplicera poster med hjälp av fuzzy matchning när exakta matchningar misslyckas. Validera mot kända begränsningar. Dokumentera varje transformation så att processen är reproducerbar. Automatiserade verktyg hjälper, men de ersätter inte bedömning. Ett rensningsskript som tar bort alla extremvärden kan ta bort legitima edge-fall. En dedupliceringsalgoritm kan slå samman två olika kunder med samma namn. Rensning kräver förståelse för datas kontext, inte bara dess struktur. Målet är inte perfekt data. Målet är data som är lämpliga för sitt syfte. Olika analyser tolererar olika nivåer av röra.

Vanliga uppgifter för datarensning

• Deduplicering — ta bort eller sammanfoga dubbletter av poster
• Standardisering — enhetliga format för datum, namn, adresser
• Hantering av saknade värden – imputera, ta bort eller flagga
• Avvikardetektion — identifiera och undersöka avvikelser
• Validering — kontrollera mot affärsregler och begränsningar

Datarensning är priset för användbar analys. Hoppa över den och analysen är värdelös. Gör det bra så blir resten enklare.