Datatransformatie zet gegevens om van het ene formaat of de ene structuur naar het andere. Een datum die in het ene systeem is opgeslagen als 14-03-2024 wordt in een ander systeem 14-03-2024. Een klantnaam die over twee velden is verdeeld, wordt samengevoegd tot één veld. Valutawaarden worden omgezet van euro's naar dollars. De gegevens zelf blijven hetzelfde. De weergave verandert. Zonder transformatie kunnen systemen niet met elkaar communiceren.

Transformatie omvat een breed scala aan bewerkingen. Opschonen corrigeert fouten en standaardiseert formaten. Verrijken voegt afgeleide velden toe, zoals het berekenen van de leeftijd op basis van een geboortedatum. Aggregatie vat detailrijen samen tot totalen. Samenvoegen combineert gegevens uit meerdere bronnen. Coderen zet categorische waarden om in getallen voor machine learning. Elke bewerking wijzigt de gegevens op een gedefinieerde manier. De regels moeten worden gedocumenteerd en versiebeheerd. Een ongedocumenteerde transformatie is een black box. Als de uitvoer er verkeerd uitziet, weet niemand waarom. Transformaties moeten ook worden getest. Een samenvoeging die niet-overeenkomende rijen verwijdert, leidt tot stilletjes gegevensverlies. Een datumparser die uitgaat van het verkeerde formaat, beschadigt elk record. Kleine transformatiefouten stapelen zich op over miljoenen rijen. De uitvoer ziet er plausibel uit, maar is onjuist. Dat zijn de moeilijkste fouten om te vinden.

Veelvoorkomende transformaties

• Opschonen — formaten standaardiseren en fouten corrigeren
• Verrijking — voeg afgeleide of externe gegevens toe
• Aggregatie — details samenvatten in totalen
• Samenvoegen — gegevens uit meerdere bronnen combineren
• Codering — categorieën omzetten naar numerieke waarden

Transformatie is het moment waarop data bruikbaar wordt. Het is ook het moment waarop ongemerkt fouten binnensluipen. Test de regels en documenteer ze.