Le nettoyage des données permet de détecter et de corriger les erreurs : doublons, valeurs manquantes, incohérences de format, fautes de frappe et valeurs aberrantes. C'est la partie la moins attrayante du travail sur les données, et souvent la plus chronophage. Les analystes déclarent y consacrer entre 60 et 80 % de leur temps. Le reste est dédié à l'analyse. Le nettoyage est indispensable. Des données erronées produisent des résultats incorrects. Un modèle entraîné sur des données de mauvaise qualité génère de mauvaises prédictions. Un rapport basé sur des doublons surestime les totaux.

Le travail est méthodique. Il faut profiler les données pour comprendre leur structure et leurs problèmes. Standardiser les formats : dates, numéros de téléphone, adresses. Gérer les valeurs manquantes en supprimant les enregistrements, en imputant les valeurs ou en les signalant pour vérification. Dédupliquer les enregistrements à l’aide d’une correspondance approximative lorsque les correspondances exactes échouent. Valider par rapport aux contraintes connues. Documenter chaque transformation afin de garantir la reproductibilité du processus. Les outils automatisés sont utiles, mais ne remplacent pas le jugement. Un script de nettoyage qui supprime toutes les valeurs aberrantes risque d’éliminer des cas limites légitimes. Un algorithme de déduplication pourrait fusionner deux clients différents portant le même nom. Le nettoyage nécessite de comprendre le contexte des données, et pas seulement leur structure. L’objectif n’est pas d’obtenir des données parfaites, mais des données adaptées à leur usage. Différentes analyses tolèrent différents niveaux d’erreur.

tâches courantes de nettoyage de données

• Déduplication — supprimer ou fusionner les enregistrements en double
• Normalisation — formats uniformes pour les dates, les noms et les adresses
• Gestion des valeurs manquantes — imputer, supprimer ou signaler
• Détection des valeurs aberrantes — identifier et analyser les anomalies
• Validation — vérification par rapport aux règles et contraintes métier

Le nettoyage des données est indispensable à toute analyse pertinente. Sans cela, l'analyse est inutile. En revanche, un nettoyage soigné facilite grandement le reste.