Een data engineer bouwt en onderhoudt de infrastructuur voor het verplaatsen en opslaan van data. Ze schrijven pipelines, beheren databases en zorgen ervoor dat data op de juiste plek terechtkomt, op tijd en in bruikbare vorm. Data scientists en analisten gebruiken de data die engineers produceren. Als de pipeline uitvalt, stopt hun werk.

De rol van data engineer is meegegroeid met de toename van de datavolumes. Data engineers van vroeger beheerden relationele databases en ETL-scripts. Moderne data engineers werken met cloudplatforms, gedistribueerde verwerkingsframeworks en streamingsystemen. Ze schrijven code in Python, Scala of Java. Ze hebben een diepgaande kennis van SQL. Ze weten hoe ze schema's moeten ontwerpen, tabellen moeten partitioneren en query's moeten optimaliseren. Ze houden zich ook bezig met operationele zaken: monitoring, alerting en herstel wanneer er 's nachts om 3 uur iets misgaat. De baan is deels software engineering, deels databasebeheer en deels technisch onderhoud. Het is niet glamoureus. Maar wel essentieel. Een data scientist die de helft van zijn tijd besteedt aan het repareren van kapotte pipelines, is niet bezig met data science. Een goede data engineer lost dat probleem op. De pipelines draaien. De data is schoon. De analisten en scientists kunnen zich concentreren op hun eigenlijke werk.

Verantwoordelijkheden van een data engineer

• Bouw pipelines — extraheer, transformeer en laad data
• Opslag beheren — databases, data lakes, data warehouses
• Zorg voor betrouwbaarheid — bewaking, waarschuwingen, herstel
• Optimaliseer de prestaties — query-tuning, partitionering
• Ondersteuning bieden aan consumenten — analisten, wetenschappers, gebruikers

Data-engineers leggen de wegen aan. Iedereen rijdt eroverheen. Als de wegen goed zijn, merkt niemand het.