Datatransformation konverterar data från ett format eller en struktur till ett annat. Ett datum lagrat som 2024-03-14 i ett system blir 2024-03-14 i ett annat. Ett kundnamn uppdelat på två fält slås samman till ett. Valutavärden konverteras från euro till dollar. Informationen är densamma. Representationen ändras. Utan transformation kan system inte kommunicera med varandra.

Transformation täcker ett brett spektrum av operationer. Rensning åtgärdar fel och standardiserar format. Berikning lägger till härledda fält, som att beräkna ålder från ett födelsedatum. Aggregering summerar detaljrader till totaler. Sammanfogning kombinerar data från flera källor. Kodning konverterar kategoriska värden till siffror för maskininlärning. Varje operation ändrar data på ett definierat sätt. Reglerna bör dokumenteras och versionskontrolleras. En odokumenterad transformation är en svart låda. När utdata ser fel ut vet ingen varför. Transformationer behöver också testas. En koppling som tyst tar bort omatchade rader förlorar data. En datumparser som antar fel format korrumperar varje post. Små transformationsfel sammanslags över miljontals rader. Utdata ser rimlig ut men är fel. Det är de svåraste felen att upptäcka.

Vanliga transformationer

• Rengöring — standardisera format och åtgärda fel
• Berikning — lägg till härledda eller externa data
• Aggregering — summera detaljer till totaler
• Sammankoppling — kombinera data från flera källor
• Kodning — konvertera kategorier till numeriska värden

Det är vid transformation som data blir användbara. Det är också där tysta fel smyger sig in. Testa reglerna och dokumentera dem.