Datatransformasjon konverterer data fra ett format eller en struktur til et annet. En dato lagret som 14.03.2024 i ett system blir 14.03.2024 i et annet. Et kundenavn delt på tvers av to felt slås sammen til ett. Valutaverdier konverteres fra euro til dollar. Dataene er de samme. Representasjonen endres. Uten transformasjon kan ikke systemer kommunisere med hverandre.

Transformasjon dekker et bredt spekter av operasjoner. Rensking retter feil og standardiserer formater. Berikelse legger til avledede felt, som å beregne alder fra en fødselsdato. Aggregering oppsummerer detaljrader til totaler. Sammenføyning kombinerer data fra flere kilder. Koding konverterer kategoriske verdier til tall for maskinlæring. Hver operasjon endrer dataene på en definert måte. Reglene bør dokumenteres og versjonskontrolleres. En udokumentert transformasjon er en svart boks. Når utdataene ser feil ut, vet ingen hvorfor. Transformasjoner trenger også testing. En sammenføyning som fjerner umatchede rader i stillhet, mister data. En datoparser som antar feil format, ødelegger hver post. Små transformasjonsfeil kombineres over millioner av rader. Utdataene ser plausible ut, men er feil. Det er de vanskeligste feilene å fange opp.

Vanlige transformasjoner

• Rengjøring – standardisere formater og rette feil
• Berikelse – legg til avledede eller eksterne data
• Aggregering – oppsummer detaljer til totaler
• Sammenføyning – kombiner data fra flere kilder
• Koding – konverter kategorier til numeriske verdier

Det er i transformasjon at data blir nyttige. Det er også der stille feil sniker seg inn. Test reglene og dokumenter dem.