La transformation des données convertit les données d'un format ou d'une structure à un autre. Une date enregistrée au format 03/14/2024 dans un système devient 2024-03-14 dans un autre. Un nom de client réparti sur deux champs est fusionné en un seul. Les valeurs monétaires sont converties d'euros en dollars. Les données restent les mêmes ; seule leur représentation change. Sans transformation, les systèmes ne peuvent pas communiquer entre eux.

La transformation englobe un large éventail d'opérations. Le nettoyage corrige les erreurs et normalise les formats. L'enrichissement ajoute des champs dérivés, comme le calcul de l'âge à partir d'une date de naissance. L'agrégation synthétise les lignes de détail en totaux. La jointure combine des données provenant de sources multiples. L'encodage convertit les valeurs catégorielles en nombres pour l'apprentissage automatique. Chaque opération modifie les données de manière définie. Les règles doivent être documentées et versionnées. Une transformation non documentée est une boîte noire. Lorsque le résultat semble incorrect, personne ne sait pourquoi. Les transformations doivent également être testées. Une jointure qui supprime les lignes non appariées entraîne une perte de données silencieuse. Un analyseur de date qui suppose un format incorrect corrompt tous les enregistrements. De petites erreurs de transformation s'accumulent sur des millions de lignes. Le résultat semble plausible, mais il est erroné. Ce sont les erreurs les plus difficiles à détecter.

Transformations courantes

• Nettoyage — normaliser les formats et corriger les erreurs
• Enrichissement — ajout de données dérivées ou externes
• Agrégation — synthétiser les détails en totaux
• Fusion de données — combiner des données provenant de plusieurs sources
• Encodage — convertir les catégories en valeurs numériques

La transformation des données les rend utiles. C'est aussi là que les erreurs silencieuses se glissent. Testez les règles et documentez-les.