Transformarea datelor convertește datele dintr-un format sau o structură în alta. O dată stocată ca 14.03.2024 într-un sistem devine 14.03.2024 în altul. Un nume de client împărțit în două câmpuri este îmbinat într-unul singur. Valorile valutare se convertesc din euro în dolari. Datele sunt aceleași. Reprezentarea se schimbă. Fără transformare, sistemele nu pot comunica între ele.

Transformarea acoperă o gamă largă de operațiuni. Curățarea corectează erorile și standardizează formatele. Îmbogățirea adaugă câmpuri derivate, cum ar fi calcularea vârstei pornind de la o dată de naștere. Agregarea rezumă rândurile de detalii în totaluri. Unirea combină date din mai multe surse. Codificarea convertește valorile categorice în numere pentru învățarea automată. Fiecare operațiune modifică datele într-un mod definit. Regulile ar trebui documentate și controlate prin versiune. O transformare nedocumentată este o cutie neagră. Când rezultatul pare greșit, nimeni nu știe de ce. Transformările trebuie, de asemenea, testate. O unire care elimină rândurile nepotrivite pierde în tăcere date. Un parser de date care presupune formatul greșit corupe fiecare înregistrare. Erorile mici de transformare se compun pe milioane de rânduri. Rezultatul pare plauzibil, dar este greșit. Acestea sunt cele mai greu de detectat erori.

Transformări comune

• Curățare — standardizarea formatelor și corectarea erorilor
• Îmbogățire — adăugarea de date derivate sau externe
• Agregare — rezumarea detaliilor în totaluri
• Unire — combinarea datelor din mai multe surse
• Codificare — conversia categoriilor în valori numerice

Transformarea este locul unde datele devin utile. De asemenea, este locul unde se strecoară erorile silențioase. Testați regulile și documentați-le.