Un ingénieur de données conçoit et maintient l'infrastructure qui permet de déplacer et de stocker les données. Il crée des pipelines, gère les bases de données et veille à ce que les données arrivent à destination, à temps et sous une forme exploitable. Les data scientists et les analystes utilisent les données produites par les ingénieurs. Si le pipeline est interrompu, leur travail est bloqué.

Le rôle des ingénieurs de données a évolué au même rythme que le volume de données. À leurs débuts, ils géraient des bases de données relationnelles et des scripts ETL. Aujourd'hui, ils travaillent avec des plateformes cloud, des frameworks de traitement distribué et des systèmes de streaming. Ils programment en Python, Scala ou Java et maîtrisent parfaitement SQL. Ils savent concevoir des schémas, partitionner des tables et optimiser les requêtes. Ils assurent également l'exploitation : surveillance, alertes et reprise après incident, même en pleine nuit. Ce métier mêle ingénierie logicielle, administration de bases de données et infrastructure. Il n'est pas glamour, mais il est essentiel. Un data scientist qui passe la moitié de son temps à réparer des pipelines défaillants ne fait pas de data science. Un bon ingénieur de données résout ce problème. Les pipelines fonctionnent. Les données sont propres. Les analystes et les scientifiques peuvent ainsi se concentrer sur leur cœur de métier.

Responsabilités de l'ingénieur de données

• Créer des pipelines — extraire, transformer, charger des données
• Gérer le stockage — bases de données, lacs de données, entrepôts de données
• Garantir la fiabilité — surveillance, alerte, rétablissement
• Optimisation des performances — réglage des requêtes, partitionnement
• Soutien aux consommateurs — analystes, scientifiques, applications

Les ingénieurs en données conçoivent les routes. Tout le monde les emprunte. Quand les routes sont en bon état, personne ne s'en aperçoit.