Az adattranszformáció egyik formátumból vagy struktúrából egy másikba konvertálja az adatokat. Az egyik rendszerben 2024.03.14-ként tárolt dátum egy másikban 2024.03.14-re változik. Egy két mezőre osztott ügyfélnév egyetlen mezővé válik. A pénznemek értékei euróról dollárra konvertálódnak. Az adatok ugyanazok. A reprezentáció megváltozik. Transzformáció nélkül a rendszerek nem tudnak kommunikálni egymással.

Az átalakítások a műveletek széles skáláját fedik le. A tisztítás kijavítja a hibákat és szabványosítja a formátumokat. A dúsítás származtatott mezőket ad hozzá, például a születési dátumból történő életkor-számítást. Az aggregáció a részletező sorokat összegekké összegzi. Az illesztés több forrásból származó adatokat kombinál. A kódolás a kategorikus értékeket gépi tanuláshoz szükséges számokká alakítja. Minden művelet meghatározott módon módosítja az adatokat. A szabályokat dokumentálni és verziókövetni kell. Egy nem dokumentált átalakítás egy fekete doboz. Amikor a kimenet rosszul néz ki, senki sem tudja, miért. Az átalakításokat tesztelni is kell. Egy olyan illesztés, amely nem egyező sorokat dob ​​ki, csendben elveszíti az adatokat. Egy dátumelemző, amely a rossz formátumot feltételezi, minden rekordot elront. A kis átalakítási hibák több millió soron keresztül halmozódnak. A kimenet hihetőnek tűnik, de hibás. Ezeket a legnehezebben észrevehető hibákat.

Gyakori transzformációk

• Tisztítás – formátumok szabványosítása és hibák javítása
• Gazdagítás – származtatott vagy külső adatok hozzáadása
• Összesítés – a részletek összegzése összesítésekké
• Összekapcsolás – több forrásból származó adatok kombinálása
• Kódolás – kategóriák konvertálása numerikus értékekké

Az átalakítás az, ahol az adatok hasznosak lehetnek. Itt csúsznak be a csendes hibák is. Teszteld a szabályokat és dokumentáld őket.