Un inginer de date construiește și întreține infrastructura care mută și stochează date. Aceștia scriu canale de procesare, gestionează baze de date și se asigură că datele ajung acolo unde trebuie, la timp și într-o formă utilizabilă. Specialiștii în științe și analiștii de date consumă ceea ce produc inginerii. Dacă canalul de procesare se întrerupe, munca lor se oprește.

Rolul a crescut odată cu creșterea volumelor de date. Inginerii de date timpurii gestionau baze de date relaționale și scripturi ETL. Cei moderni lucrează cu platforme cloud, framework-uri de procesare distribuită și sisteme de streaming. Scriu cod în Python, Scala sau Java. Înțeleg SQL în profunzime. Știu cum să proiecteze scheme, să partiționeze tabele și să optimizeze interogările. De asemenea, se ocupă de operațiuni: monitorizare, alertare și recuperare atunci când ceva eșuează la ora 3 dimineața. Slujba este parțial inginerie software, parțial administrare baze de date, parțial instalații sanitare. Nu este o activitate extravagantă. Este esențială. Un om de știință privind datele care își petrece jumătate din timp reparând conducte defecte nu face știință a datelor. Un inginer de date bun face ca această problemă să dispară. Conductele rulează. Datele sunt curate. Analiștii și oamenii de știință se pot concentra pe munca lor reală.

Responsabilitățile inginerului de date

• Construiți conducte — extrageți, transformați, încărcați date
• Gestionarea spațiului de stocare — baze de date, lacuri de date, depozite
• Asigurarea fiabilității — monitorizare, alertare, recuperare
• Optimizarea performanței — optimizarea interogărilor, partiționarea
• Sprijiniți consumatorii — analiști, oameni de știință, aplicații

Inginerii de date construiesc drumurile. Toți ceilalți conduc pe ele. Când drumurile sunt bune, nimeni nu observă.