A transformação de dados converte dados de um formato ou estrutura para outro. Uma data armazenada como 14/03/2024 num sistema passa a ser 2024-03-14 noutro. O nome de um cliente, dividido em dois campos, é consolidado num só. Os valores monetários são convertidos de euros para dólares. Os dados em si são os mesmos. A representação, porém, altera-se. Sem transformação, os sistemas não conseguem comunicar entre si.

A transformação abrange uma vasta gama de operações. A limpeza corrige erros e padroniza formatos. O enriquecimento adiciona campos derivados, como o cálculo da idade a partir da data de nascimento. A agregação resume as linhas de detalhe em totais. A junção combina dados de múltiplas fontes. A codificação converte valores categóricos em números para aprendizagem automática. Cada operação altera os dados de uma forma definida. As regras devem ser documentadas e controladas por versão. Uma transformação não documentada é uma caixa negra. Quando a saída parece incorreta, ninguém sabe porquê. As transformações também precisam de ser testadas. Uma junção que descarta linhas não correspondentes perde dados silenciosamente. Um analisador de datas que assume o formato errado corrompe todos os registos. Pequenos erros de transformação acumulam-se em milhões de linhas. A saída parece plausível, mas está errada. Estes são os erros mais difíceis de detetar.

Transformações comuns

• Limpeza — uniformizar formatos e corrigir erros.
• Enriquecimento — adicionar dados derivados ou externos
• Agregação — resume os detalhes em totais.
• Junção — combinar dados de múltiplas fontes
• Codificação — converter categorias em valores numéricos

A transformação é onde os dados se tornam úteis. É também onde os erros silenciosos se infiltram. Teste as regras e documente-as.