Um cientista de dados extrai insights de dados complexos. Constrói modelos, realiza experiências e responde a perguntas que exigem mais do que uma simples consulta. Este cliente vai cancelar o serviço? Qual o preço que maximiza a receita? Quais os doentes que correm risco de reinternação? O trabalho combina estatística, programação e conhecimento do domínio. Os melhores cientistas de dados compreendem tanto o negócio como a matemática.

O papel evoluiu. Os primeiros cientistas de dados faziam tudo: limpeza de dados, modelação e implementação. As equipas modernas geralmente dividem o trabalho. Os engenheiros de dados tratam dos pipelines. Os engenheiros de aprendizagem automática implementam os modelos. Os cientistas de dados concentram-se na análise e experimentação. As ferramentas são Python e R, com bibliotecas como pandas, scikit-learn e TensorFlow. O SQL continua a ser essencial. As competências de comunicação são tão importantes como as técnicas. Um modelo que ninguém compreende ou em que ninguém confia não será utilizado. Os cientistas de dados precisam de explicar as suas descobertas aos executivos, gestores de produto e engenheiros. Precisam de ser honestos sobre a incerteza. Uma previsão com 70% de confiança não é garantia de sucesso. O mais difícil não é construir o modelo. É fazer com que a organização atue de acordo com o que o modelo indica. Isto requer confiança, e a confiança requer uma comunicação clara.

Competências de cientista de dados

• Estatística — teste de hipóteses, regressão, probabilidade
• Programação — Python, R, SQL
• Aprendizagem automática — seleção, formação e avaliação de modelos.
• Conhecimento do domínio — compreensão do problema de negócio
• Comunicação — explicar as conclusões de forma clara

Um cientista de dados é em parte analista, em parte engenheiro e em parte tradutor. O título é amplo porque o trabalho é amplo.