Un ingeniero de datos construye y mantiene la infraestructura que mueve y almacena datos. Escribe flujos de datos, administra bases de datos y se asegura de que los datos lleguen a su destino a tiempo y en un formato utilizable. Los científicos y analistas de datos utilizan el trabajo que producen los ingenieros. Si el flujo de datos falla, su trabajo se detiene.

El rol ha evolucionado a medida que aumentaba el volumen de datos. Los primeros ingenieros de datos gestionaban bases de datos relacionales y scripts ETL. Los modernos trabajan con plataformas en la nube, marcos de procesamiento distribuido y sistemas de streaming. Escriben código en Python, Scala o Java. Dominan SQL. Saben diseñar esquemas, particionar tablas y optimizar consultas. También se encargan de las operaciones: monitorización, alertas y recuperación ante fallos. El trabajo combina ingeniería de software, administración de bases de datos y mantenimiento. No es glamuroso, pero es esencial. Un científico de datos que dedica la mitad de su tiempo a reparar pipelines defectuosos no está haciendo ciencia de datos. Un buen ingeniero de datos hace que ese problema desaparezca. Los pipelines funcionan. Los datos están limpios. Los analistas y científicos pueden centrarse en su trabajo principal.

Responsabilidades del ingeniero de datos

• Construir flujos de trabajo: extraer, transformar y cargar datos.
• Gestionar el almacenamiento: bases de datos, lagos de datos, almacenes de datos.
• Garantizar la fiabilidad: monitorización, alertas, recuperación
• Optimización del rendimiento: ajuste de consultas, particionamiento.
• Brindar soporte a los consumidores: analistas, científicos, aplicaciones.

Los ingenieros de datos construyen las carreteras. Los demás las transitan. Cuando las carreteras están en buen estado, nadie se da cuenta.