En dataingeniør bygger og vedlikeholder infrastrukturen som flytter og lagrer data. De skriver pipelines, administrerer databaser og sørger for at dataene kommer dit de skal være, i tide og i brukbar form. Dataforskere og analytikere konsumerer det ingeniører produserer. Hvis pipelinen går i stykker, stopper arbeidet deres.

Rollen har vokst etter hvert som datavolumene økte. Tidlige dataingeniører administrerte relasjonsdatabaser og ETL-skript. Moderne dataingeniører jobber med skyplattformer, distribuerte prosesseringsrammeverk og strømmesystemer. De skriver kode i Python, Scala eller Java. De forstår SQL grundig. De vet hvordan de skal designe skjemaer, partisjonstabeller og optimalisere spørringer. De håndterer også drift: overvåking, varsling og gjenoppretting når noe feiler klokken 3 om natten. Jobben er delvis programvareutvikling, delvis databaseadministrasjon, delvis rørleggerarbeid. Det er ikke glamorøst. Det er essensielt. En dataforsker som bruker halve tiden sin på å fikse ødelagte pipelines, driver ikke med datavitenskap. En god dataingeniør får det problemet til å forsvinne. Pipelinene kjører. Dataene er rene. Analytikerne og forskerne får fokusere på sitt faktiske arbeid.

Ansvar for dataingeniør

• Bygg pipelines – uttrekk, transformer, last inn data
• Administrer lagring – databaser, datasjøer, lagre
• Sørg for pålitelighet – overvåking, varsling, gjenoppretting
• Optimaliser ytelse – spørrejustering, partisjonering
• Støtte for forbrukere – analytikere, forskere, applikasjoner

Dataingeniører bygger veiene. Alle andre kjører på dem. Når veiene er gode, er det ingen som legger merke til det.