Die Datenbereinigung findet und behebt Fehler in den Daten. Dazu gehören Duplikate, fehlende Werte, inkonsistente Formate, Tippfehler und Ausreißer. Sie ist der unspektakulärste und oft zeitaufwendigste Teil der Datenarbeit. Analysten berichten, dass sie 60 bis 80 Prozent ihrer Zeit mit der Bereinigung verbringen. Die restliche Zeit fließt in die Analyse. Die Bereinigung ist unerlässlich. Fehlerhafte Daten führen zu falschen Ergebnissen. Ein mit fehlerhaften Daten trainiertes Modell liefert falsche Vorhersagen. Ein Bericht, der auf Duplikaten basiert, überhöhte Summen.

Die Arbeit ist methodisch. Die Daten werden analysiert, um ihre Struktur und mögliche Probleme zu verstehen. Formate wie Datumsangaben, Telefonnummern und Adressen werden standardisiert. Fehlende Werte werden durch Entfernen, Ersetzen oder Kennzeichnen von Datensätzen zur Überprüfung behandelt. Bei fehlgeschlagenen exakten Übereinstimmungen werden Datensätze mithilfe von Fuzzy-Matching dedupliziert. Die Validierung erfolgt anhand bekannter Einschränkungen. Jede Transformation wird dokumentiert, um die Reproduzierbarkeit des Prozesses zu gewährleisten. Automatisierte Tools sind hilfreich, ersetzen aber nicht das Urteilsvermögen. Ein Bereinigungsskript, das alle Ausreißer entfernt, kann legitime Grenzfälle löschen. Ein Deduplizierungsalgorithmus kann zwei verschiedene Kunden mit demselben Namen zusammenführen. Die Bereinigung erfordert das Verständnis des Datenkontexts, nicht nur der Datenstruktur. Ziel sind nicht perfekte Daten, sondern Daten, die für ihren Zweck geeignet sind. Verschiedene Analysemethoden tolerieren unterschiedliche Grade an Datenfehlern.

Häufige Datenbereinigungsaufgaben

• Deduplizierung – Entfernen oder Zusammenführen doppelter Datensätze
• Standardisierung – einheitliche Formate für Datumsangaben, Namen und Adressen
• Umgang mit fehlenden Werten – imputieren, entfernen oder kennzeichnen
• Ausreißererkennung – Anomalien identifizieren und untersuchen
• Validierung – Prüfung anhand von Geschäftsregeln und Einschränkungen

Die Datenbereinigung ist die Voraussetzung für eine sinnvolle Analyse. Wird sie ausgelassen, ist die Analyse wertlos. Wird sie sorgfältig durchgeführt, wird der Rest einfacher.