En dataingenjör bygger och underhåller infrastrukturen som flyttar och lagrar data. De skriver pipelines, hanterar databaser och säkerställer att data kommer fram dit de behöver vara, i tid och i användbart skick. Dataforskare och analytiker konsumerar det ingenjörer producerar. Om pipelinen går sönder avbryts deras arbete.

Rollen har vuxit i takt med att datavolymerna ökat. Tidiga dataingenjörer hanterade relationsdatabaser och ETL-skript. Moderna dataingenjörer arbetar med molnplattformar, distribuerade bearbetningsramverk och streamingsystem. De skriver kod i Python, Scala eller Java. De förstår SQL på djupet. De vet hur man designar scheman, partitionstabeller och optimerar frågor. De hanterar också operationer: övervakning, aviseringar och återställning när något går fel klockan 3 på morgonen. Jobbet är delvis mjukvaruutveckling, delvis databasadministration, delvis rörmokeri. Det är inte glamoröst. Det är viktigt. En data scientist som lägger hälften av sin tid på att fixa trasiga pipelines sysslar inte med data science. En bra dataingenjör får det problemet att försvinna. Pipelinerna körs. Datan är ren. Analytikerna och forskarna får fokusera på sitt faktiska arbete.

Dataingenjörens ansvarsområden

• Bygg pipelines — extrahera, transformera, ladda data
• Hantera lagring — databaser, datasjöar, lager
• Säkerställ tillförlitlighet – övervakning, varning, återställning
• Optimera prestanda — frågejustering, partitionering
• Stöd konsumenter — analytiker, forskare, applikationer

Dataingenjörer bygger vägarna. Alla andra kör på dem. När vägarna är bra märker ingen det.