ETL steht für Extrahieren, Transformieren und Laden. Es ist seit Jahrzehnten das Standardverfahren für die Datenübertragung in Data Warehouses. Beim Extrahieren werden Daten aus Quellsystemen extrahiert. Die Transformation bereinigt, validiert und formatiert diese Daten gemäß dem Zielschema. Das Laden schreibt die Daten in das Data Warehouse. Die Transformation findet vor dem Laden auf einem separaten Verarbeitungsserver statt. Das Data Warehouse erhält so bereinigte, strukturierte Daten.
ETL-Tools haben sich weiterentwickelt. Anfänglich wurde ETL manuell in SQL und Skripten programmiert. Kommerzielle Tools wie Informatica und DataStage ergänzten diese um grafische Oberflächen und Planungsfunktionen. Open-Source-Lösungen wie Apache NiFi und Talend erweiterten den Zugang. Das Grundprinzip bleibt jedoch gleich: Extrahieren, Transformieren, Laden. ETL ist nach wie vor die richtige Wahl, wenn das Zielsystem die Transformationslast nicht bewältigen kann, wenn Datenmengen vor dem Laden reduziert werden müssen oder wenn regulatorische Anforderungen die Transformation sensibler Daten vor dem Verlassen einer kontrollierten Umgebung erfordern. Auch in Legacy-Systemen, in denen das Data Warehouse ein herkömmliches Gerät mit begrenzter Rechenleistung ist, kommt ETL häufig zum Einsatz. Der Aufstieg von Cloud-Data-Warehouses und ELT hat die Dominanz von ETL zwar verringert, aber nicht vollständig beseitigt. Viele Unternehmen nutzen beides: ETL für Legacy-Systeme und sensible Daten sowie ELT für Cloud-native Pipelines. Das Grundprinzip ist nicht überholt, sondern eine von mehreren Optionen.
ETL-Charakteristika
- Zuerst transformieren – Daten vor dem Laden bereinigen.
- Separate Verarbeitung – Transformation auf einem dedizierten Server
- Reduziertes Datenvolumen – nur die benötigten Daten erreichen das Lager
- Etabliert – jahrzehntelange Erfahrung mit Werkzeugen und Praktiken
- Bestandsfreundlich – funktioniert mit traditionellen Lagerhäusern
ETL ist das klassische Verfahren. Es funktioniert immer noch. Es ist nicht immer die beste Wahl, aber selten falsch.
Comments
No comments yet. Be the first to share a thought.
Leave a comment