Datatransformation konverterer data fra ét format eller en struktur til et andet. En dato gemt som 14-03-2024 i ét system bliver til 14-03-2024 i et andet. Et kundenavn opdelt på tværs af to felter flettes sammen til ét. Valutaværdier konverteres fra euro til dollars. Dataene er de samme. Repræsentationen ændres. Uden transformation kan systemer ikke kommunikere med hinanden.

Transformation dækker en bred vifte af operationer. Oprydning retter fejl og standardiserer formater. Berigelse tilføjer afledte felter, f.eks. beregning af alder ud fra en fødselsdato. Aggregering opsummerer detaljerede rækker til totaler. Sammenkædning kombinerer data fra flere kilder. Kodning konverterer kategoriske værdier til tal til maskinlæring. Hver operation ændrer dataene på en defineret måde. Reglerne bør dokumenteres og versionskontrolleres. En udokumenteret transformation er en sort boks. Når outputtet ser forkert ud, ved ingen hvorfor. Transformationer skal også testes. En sammenkædning, der lydløst sletter uovertrufne rækker, mister data. En datoparser, der antager det forkerte format, beskadiger alle poster. Små transformationsfejl kombineres på tværs af millioner af rækker. Outputtet ser plausibelt ud, men er forkert. Det er de sværeste fejl at opdage.

Almindelige transformationer

• Rengøring — standardiser formater og ret fejl
• Berigelse — tilføj afledte eller eksterne data
• Aggregering — opsummer detaljer til totaler
• Sammenføjning — kombiner data fra flere kilder
• Kodning — konverter kategorier til numeriske værdier

Det er i transformation, at data bliver nyttige. Det er også her, at tavse fejl sniger sig ind. Test reglerne og dokumenter dem.