Die Datentransformation wandelt Daten von einem Format oder einer Struktur in ein anderes um. Ein Datum, das in einem System als 14.03.2024 gespeichert ist, wird in einem anderen System als 14.03.2024 angezeigt. Ein auf zwei Felder verteilter Kundenname wird zusammengeführt. Währungswerte werden von Euro in Dollar umgerechnet. Die Daten selbst bleiben gleich. Nur die Darstellung ändert sich. Ohne Transformation können Systeme nicht miteinander kommunizieren.

Transformationen umfassen ein breites Spektrum an Operationen. Die Datenbereinigung behebt Fehler und standardisiert Formate. Die Datenanreicherung fügt abgeleitete Felder hinzu, beispielsweise zur Berechnung des Alters anhand des Geburtsdatums. Die Aggregation fasst Detailzeilen zu Summen zusammen. Die Verknüpfung kombiniert Daten aus mehreren Quellen. Die Kodierung wandelt kategoriale Werte für maschinelles Lernen in Zahlen um. Jede Operation verändert die Daten auf definierte Weise. Die Regeln sollten dokumentiert und versioniert werden. Eine undokumentierte Transformation ist eine Blackbox. Wenn die Ausgabe fehlerhaft aussieht, weiß niemand, warum. Transformationen müssen auch getestet werden. Eine Verknüpfung, die nicht übereinstimmende Zeilen verwirft, führt unbemerkt zu Datenverlust. Ein Datumsparser, der das falsche Format annimmt, beschädigt jeden Datensatz. Kleine Transformationsfehler summieren sich über Millionen von Zeilen. Die Ausgabe sieht plausibel aus, ist aber falsch. Das sind die am schwersten zu findenden Fehler.

Gängige Transformationen

• Bereinigung – Formate standardisieren und Fehler beheben
• Anreicherung – Hinzufügen abgeleiteter oder externer Daten
• Aggregation – Details zu Gesamtsummen zusammenfassen
• Zusammenführen – Daten aus mehreren Quellen kombinieren
• Kodierung – Kategorien in numerische Werte umwandeln

Die Transformation ist der Punkt, an dem Daten nutzbar werden. Hier schleichen sich aber auch unbemerkte Fehler ein. Testen Sie die Regeln und dokumentieren Sie sie.