Transformace dat převádí data z jednoho formátu nebo struktury do jiného. Datum uložené jako 14.03.2024 v jednom systému se v jiném systému změní na 14.03.2024. Jméno zákazníka rozdělené do dvou polí se sloučí do jednoho. Hodnoty měn se převedou z eur na dolary. Data zůstanou stejná. Reprezentace se změní. Bez transformace spolu systémy nemohou komunikovat.

Transformace pokrývá širokou škálu operací. Čištění opravuje chyby a standardizuje formáty. Obohacení přidává odvozená pole, například výpočet věku z data narození. Agregace shrnuje podrobné řádky do součtů. Spojování kombinuje data z více zdrojů. Kódování převádí kategorické hodnoty na čísla pro strojové učení. Každá operace mění data definovaným způsobem. Pravidla by měla být zdokumentována a řízena verzemi. Nedokumentovaná transformace je černá skříňka. Když výstup vypadá špatně, nikdo neví proč. Transformace také potřebují testování. Spojení, které tiše odstraní neshodné řádky, tiše ztratí data. Analyzátor dat, který předpokládá nesprávný formát, poškodí každý záznam. Malé chyby v transformaci se hromadí v milionech řádků. Výstup vypadá věrohodně, ale je špatný. To jsou nejobtížněji odhalitelné chyby.

Běžné transformace

• Čištění – standardizace formátů a oprava chyb
• Obohacení – přidání odvozených nebo externích dat
• Agregace – shrnutí podrobností do součtů
• Spojování – kombinování dat z více zdrojů
• Kódování – převod kategorií na číselné hodnoty

Transformace je místem, kde se data stávají užitečnými. Je to také místo, kde se vkrádají tiché chyby. Otestujte pravidla a zdokumentujte je.