Datový inženýr buduje a udržuje infrastrukturu, která přesouvá a ukládá data. Píše datové kanály, spravuje databáze a zajišťuje, aby data dorazila tam, kam potřebují, včas a v použitelném stavu. Datoví vědci a analytici spotřebovávají to, co inženýři vytvářejí. Pokud se kanál přeruší, jejich práce se zastaví.

Tato role rostla s rostoucími objemy dat. Raní datoví inženýři spravovali relační databáze a ETL skripty. Moderní pracují s cloudovými platformami, distribuovanými frameworky a streamovacími systémy. Píšou kód v Pythonu, Scale nebo Javě. Rozumí SQL do hloubky. Vědí, jak navrhovat schémata, tabulky oddílů a optimalizovat dotazy. Také se zabývají operacemi: monitorováním, upozorňováním a obnovou, když se něco ve 3 hodiny ráno selže. Práce je zčásti softwarové inženýrství, zčásti správa databází, zčásti instalatérství. Není to nic okouzlujícího. Je to nezbytné. Datový vědec, který tráví polovinu svého času opravou poškozených datových kanálů, se nevěnuje datové vědě. Dobrý datový inženýr tento problém zařídí. Kanálové kanály běží. Data jsou čistá. Analytici a vědci se mohou soustředit na svou skutečnou práci.

Zodpovědnosti datového inženýra

• Vytváření kanálů – extrakce, transformace, načítání dat
• Správa úložišť – databáze, datová jezera, datové sklady
• Zajištění spolehlivosti – monitorování, upozorňování, obnova
• Optimalizace výkonu – ladění dotazů, dělení
• Podpora spotřebitelů – analytiků, vědců, aplikací

Datoví inženýři staví silnice. Všichni ostatní po nich jezdí. Když jsou silnice dobré, nikdo si toho nevšimne.