A limpeza de dados encontra e corrige erros nos dados. Duplicatas, valores em falta, formatos inconsistentes, gralhas e outliers. É a parte menos glamorosa do trabalho com dados e, frequentemente, a que consome mais tempo. Os analistas referem gastar 60% a 80% do seu tempo com a limpeza. O restante é dedicado à análise. A limpeza não é opcional. Dados incorretos geram respostas erradas. Um modelo treinado com maus dados faz previsões erradas. Um relatório baseado em duplicados sobrestima os totais.

O trabalho é metódico. Analise os dados para perceber o seu formato e problemas. Uniformize os formatos: datas, números de telefone, moradas. Lide com valores em falta removendo registos, imputando valores ou sinalizando-os para revisão. Elimine registos duplicados utilizando a correspondência aproximada quando as correspondências exatas falharem. Valide os dados em relação às restrições conhecidas. Documente cada transformação para que o processo seja reproduzível. As ferramentas automatizadas ajudam, mas não substituem o julgamento clínico. Um script de limpeza que remova todos os outliers pode excluir casos extremos legítimos. Um algoritmo de desduplicação pode fundir dois clientes diferentes com o mesmo nome. A limpeza exige a compreensão do contexto dos dados, e não apenas da sua estrutura. O objetivo não é obter dados perfeitos, mas sim dados adequados ao seu propósito. Diferentes análises toleram diferentes níveis de imprecisão.

Tarefas comuns de limpeza de dados

• Desduplicação — remover ou fundir registos duplicados
• Normalização — formatos consistentes para datas, nomes e endereços.
• Tratamento de valores em falta — imputar, remover ou sinalizar
• Detecção de outliers — identificar e investigar anomalias
• Validação — verificação em relação às regras e restrições de negócio.

A limpeza de dados é o preço a pagar por uma análise útil. Ignore-a e a análise torna-se inútil. Faça-a bem e o resto torna-se mais fácil.