Ένας μηχανικός δεδομένων κατασκευάζει και συντηρεί την υποδομή που μετακινεί και αποθηκεύει δεδομένα. Συντάσσει αγωγούς δεδομένων, διαχειρίζεται βάσεις δεδομένων και διασφαλίζει ότι τα δεδομένα φτάνουν εκεί που πρέπει, εγκαίρως και σε χρησιμοποιήσιμη μορφή. Οι επιστήμονες δεδομένων και οι αναλυτές καταναλώνουν ό,τι παράγουν οι μηχανικοί. Εάν ο αγωγός δεδομένων σπάσει, η εργασία τους σταματά.

Ο ρόλος έχει αυξηθεί καθώς αυξάνονταν οι όγκοι δεδομένων. Οι πρώτοι μηχανικοί δεδομένων διαχειρίζονταν σχεσιακές βάσεις δεδομένων και σενάρια ETL. Οι σύγχρονοι μηχανικοί εργάζονται με πλατφόρμες cloud, κατανεμημένα πλαίσια επεξεργασίας και συστήματα ροής. Γράφουν κώδικα σε Python, Scala ή Java. Κατανοούν σε βάθος την SQL. Γνωρίζουν πώς να σχεδιάζουν σχήματα, πίνακες διαμερισμάτων και να βελτιστοποιούν ερωτήματα. Χειρίζονται επίσης λειτουργίες: παρακολούθηση, ειδοποίηση και ανάκτηση όταν κάτι αποτυγχάνει στις 3 π.μ. Η δουλειά είναι εν μέρει μηχανική λογισμικού, εν μέρει διαχείριση βάσεων δεδομένων, εν μέρει υδραυλική. Δεν είναι λαμπερή. Είναι απαραίτητη. Ένας επιστήμονας δεδομένων που ξοδεύει τον μισό χρόνο του επιδιορθώνοντας σπασμένους αγωγούς δεν ασχολείται με την επιστήμη δεδομένων. Ένας καλός μηχανικός δεδομένων κάνει αυτό το πρόβλημα να εξαφανιστεί. Οι αγωγοί λειτουργούν. Τα δεδομένα είναι καθαρά. Οι αναλυτές και οι επιστήμονες μπορούν να επικεντρωθούν στην πραγματική τους εργασία.

Ευθύνες μηχανικού δεδομένων

• Δημιουργία αγωγών — εξαγωγή, μετασχηματισμός, φόρτωση δεδομένων
• Διαχείριση χώρου αποθήκευσης — βάσεις δεδομένων, λίμνες δεδομένων, αποθήκες
• Διασφάλιση αξιοπιστίας — παρακολούθηση, ειδοποίηση, ανάκτηση
• Βελτιστοποίηση απόδοσης — ρύθμιση ερωτημάτων, διαμέριση
• Υποστήριξη καταναλωτών — αναλυτές, επιστήμονες, εφαρμογές

Οι μηχανικοί δεδομένων κατασκευάζουν τους δρόμους. Όλοι οι άλλοι οδηγούν πάνω τους. Όταν οι δρόμοι είναι καλοί, κανείς δεν το προσέχει.