Um engenheiro de dados constrói e mantém a infraestrutura que movimenta e armazena os dados. Cria pipelines, gere bases de dados e garante que os dados chegam onde precisam, no prazo e num formato utilizável. Os cientistas e os analistas de dados utilizam o que os engenheiros produzem. Se o pipeline falhar, o trabalho deles pára.

O papel expandiu-se à medida que o volume de dados aumentou. Os primeiros engenheiros de dados geriam bases de dados relacionais e scripts ETL. Os modernos trabalham com plataformas na cloud, frameworks de processamento distribuído e sistemas de streaming. Escrevem código em Python, Scala ou Java. Compreendem SQL profundamente. Sabem como desenhar esquemas, particionar tabelas e otimizar consultas. Também tratam das operações: monitorização, alertas e recuperação quando algo falha às 3 da manhã. O trabalho é em parte engenharia de software, em parte administração de bases de dados e em parte infraestruturas. Não é glamoroso. É essencial. Um cientista de dados que passa metade do seu tempo a reparar pipelines avariados não está a fazer ciência de dados. Um bom engenheiro de dados faz com que este problema desapareça. Os pipelines funcionam. Os dados estão limpos. Os analistas e cientistas podem concentrar-se no seu trabalho de facto.

Responsabilidades do engenheiro de dados

• Construir pipelines — extrair, transformar e carregar dados
• Gerir armazenamento — bases de dados, data lakes, data warehouses
• Garantir a fiabilidade — monitorização, alertas e recuperação.
• Otimização do desempenho — ajuste de consultas, particionamento
• Apoiar os consumidores — analistas, cientistas, aplicações

Os engenheiros de dados constroem as estradas. Todos os outros conduzem nelas. Quando as estradas são boas, ninguém dá por isso.