Az adatmérnök kiépíti és karbantartja az adatokat mozgató és tároló infrastruktúrát. Adatfolyamokat ír, adatbázisokat kezel, és biztosítja, hogy az adatok a megfelelő helyre, időben és használható formában érkezzenek meg. Az adattudósok és elemzők felhasználják azt, amit a mérnökök előállítanak. Ha a folyamat megszakad, a munkájuk leáll.

A szerepkör az adatmennyiség növekedésével együtt bővült. A korai adatmérnökök relációs adatbázisokat és ETL szkripteket kezeltek. A modernek felhőplatformokkal, elosztott feldolgozási keretrendszerekkel és streaming rendszerekkel dolgoznak. Pythonban, Scalában vagy Java-ban írnak kódot. Mélyen értik az SQL-t. Tudják, hogyan kell sémákat, partíciós táblákat tervezni és lekérdezéseket optimalizálni. Emellett műveleteket is kezelnek: monitorozást, riasztást és helyreállítást, ha valami hajnali 3-kor meghibásodik. A munka részben szoftverfejlesztés, részben adatbázis-adminisztráció, részben vízvezeték-szerelés. Nem csillogó. Létfontosságú. Egy adattudós, aki idejének felét hibás folyamatok javításával tölti, nem foglalkozik adattudománnyal. Egy jó adatmérnök megoldja ezt a problémát. A folyamatok működnek. Az adatok tiszták. Az elemzők és a tudósok a tényleges munkájukra koncentrálhatnak.

Adatmérnöki felelősségek

• Csatornák építése — adatok kinyerése, átalakítása és betöltése
• Tárolás kezelése – adatbázisok, adattárak, adattárházak
• Megbízhatóság biztosítása – monitorozás, riasztás, helyreállítás
• Teljesítmény optimalizálása — lekérdezés finomhangolása, particionálás
• Fogyasztók – elemzők, tudósok, alkalmazások – támogatása

Az adatmérnökök építik az utakat. Mindenki más rajtuk közlekedik. Amikor az utak jók, senki sem veszi észre őket.