Transformacja danych konwertuje dane z jednego formatu lub struktury na inny. Data zapisana jako 14.03.2024 w jednym systemie staje się datą 14.03.2024 w innym. Nazwa klienta podzielona na dwa pola zostaje scalona w jedno. Wartości walut są przeliczane z euro na dolary. Dane pozostają takie same. Reprezentacja ulega zmianie. Bez transformacji systemy nie mogą się ze sobą komunikować.

Transformacja obejmuje szeroki zakres operacji. Czyszczenie naprawia błędy i standaryzuje formaty. Wzbogacanie dodaje pola pochodne, takie jak obliczanie wieku na podstawie daty urodzenia. Agregacja podsumowuje wiersze szczegółów w wartości sumaryczne. Łączenie łączy dane z wielu źródeł. Kodowanie konwertuje wartości kategoryczne na liczby na potrzeby uczenia maszynowego. Każda operacja zmienia dane w zdefiniowany sposób. Reguły powinny być udokumentowane i podlegać kontroli wersji. Nieudokumentowana transformacja to czarna skrzynka. Gdy dane wyjściowe wyglądają nieprawidłowo, nikt nie wie dlaczego. Transformacje wymagają również testowania. Łączenie, które usuwa niedopasowane wiersze, powoduje utratę danych. Parser dat, który zakłada niewłaściwy format, uszkadza każdy rekord. Małe błędy transformacji kumulują się w milionach wierszy. Dane wyjściowe wyglądają wiarygodnie, ale są błędne. To najtrudniejsze do wykrycia błędy.

Typowe transformacje

• Czyszczenie — standaryzacja formatów i naprawa błędów
• Wzbogacanie — dodawanie danych pochodnych lub zewnętrznych
• Agregacja — podsumuj szczegóły w postaci sum
• Łączenie — łączenie danych z wielu źródeł
• Kodowanie — konwersja kategorii na wartości liczbowe

Transformacja to miejsce, w którym dane stają się użyteczne. To również miejsce, w którym wkradają się ukryte błędy. Przetestuj reguły i udokumentuj je.