Ein Data Engineer entwickelt und pflegt die Infrastruktur für die Datenübertragung und -speicherung. Er erstellt Pipelines, verwaltet Datenbanken und stellt sicher, dass die Daten pünktlich und in nutzbarer Form am Zielort ankommen. Data Scientists und Analysten nutzen die von den Engineers erstellten Daten. Fällt die Pipeline aus, steht ihre Arbeit still.

Die Rolle des Data Engineers hat sich mit dem steigenden Datenvolumen weiterentwickelt. Früher verwalteten sie relationale Datenbanken und ETL-Skripte. Heute arbeiten sie mit Cloud-Plattformen, Frameworks für verteilte Datenverarbeitung und Streaming-Systemen. Sie programmieren in Python, Scala oder Java. Sie beherrschen SQL in- und auswendig. Sie wissen, wie man Schemas entwirft, Tabellen partitioniert und Abfragen optimiert. Auch der Betrieb gehört zu ihren Aufgaben: Überwachung, Alarmierung und Wiederherstellung, falls nachts etwas ausfällt. Der Job ist eine Mischung aus Softwareentwicklung, Datenbankadministration und Infrastruktur. Er ist nicht glamourös, aber unerlässlich. Ein Data Scientist, der die Hälfte seiner Zeit mit der Reparatur defekter Pipelines verbringt, betreibt keine Data Science. Ein guter Data Engineer löst dieses Problem. Die Pipelines laufen. Die Daten sind sauber. Die Analysten und Wissenschaftler können sich auf ihre eigentliche Arbeit konzentrieren.

Aufgaben eines Dateningenieurs

• Pipelines erstellen – Daten extrahieren, transformieren, laden
• Speicherverwaltung – Datenbanken, Data Lakes, Data Warehouses
• Zuverlässigkeit gewährleisten – Überwachung, Alarmierung, Wiederherstellung
• Leistungsoptimierung – Abfrageoptimierung, Partitionierung
• Unterstützung für Verbraucher – Analysten, Wissenschaftler, Anwendungen

Dateningenieure bauen die Straßen. Alle anderen fahren darauf. Wenn die Straßen gut sind, merkt es niemand.