Ο καθαρισμός δεδομένων εντοπίζει και διορθώνει σφάλματα σε δεδομένα. Διπλότυπα, ελλείπουσες τιμές, ασυνεπείς μορφές, τυπογραφικά λάθη και ακραίες τιμές. Είναι το λιγότερο εντυπωσιακό κομμάτι της εργασίας με δεδομένα και συχνά το πιο χρονοβόρο. Οι αναλυτές αναφέρουν ότι αφιερώνουν το 60 έως 80 τοις εκατό του χρόνου τους στον καθαρισμό. Το υπόλοιπο πηγαίνει στην ανάλυση. Ο καθαρισμός δεν είναι προαιρετικός. Τα βρώμικα δεδομένα παράγουν λανθασμένες απαντήσεις. Ένα μοντέλο που έχει εκπαιδευτεί σε κακά δεδομένα κάνει κακές προβλέψεις. Μια αναφορά που βασίζεται σε διπλότυπα υπερεκτιμά τα σύνολα.

Η εργασία είναι μεθοδική. Δημιουργήστε προφίλ των δεδομένων για να κατανοήσετε το σχήμα και τα προβλήματά τους. Τυποποιήστε μορφές: ημερομηνίες, αριθμούς τηλεφώνου, διευθύνσεις. Χειριστείτε τις ελλείπουσες τιμές αφαιρώντας εγγραφές, προσθέτοντας τιμές ή επισημαίνοντάς τες για έλεγχο. Καταργήστε τα διπλότυπα εγγραφών χρησιμοποιώντας ασαφή αντιστοίχιση όταν οι ακριβείς αντιστοιχίσεις αποτυγχάνουν. Επικυρώστε έναντι γνωστών περιορισμών. Καταγράψτε κάθε μετασχηματισμό, ώστε η διαδικασία να είναι αναπαραγώγιμη. Τα αυτοματοποιημένα εργαλεία βοηθούν, αλλά δεν αντικαθιστούν την κρίση. Ένα σενάριο καθαρισμού που αφαιρεί κάθε ακραία τιμή μπορεί να διαγράψει νόμιμες περιπτώσεις ακραίων τιμών. Ένας αλγόριθμος κατάργησης διπλότυπων δεδομένων μπορεί να συγχωνεύσει δύο διαφορετικούς πελάτες με το ίδιο όνομα. Ο καθαρισμός απαιτεί την κατανόηση του πλαισίου των δεδομένων, όχι μόνο της δομής τους. Ο στόχος δεν είναι τα τέλεια δεδομένα. Ο στόχος είναι τα δεδομένα να είναι κατάλληλα για τον σκοπό τους. Διαφορετικές αναλύσεις ανέχονται διαφορετικά επίπεδα ακαταστασίας.

Συνήθεις εργασίες καθαρισμού δεδομένων

• Αφαίρεση διπλότυπων εγγραφών — αφαίρεση ή συγχώνευση διπλότυπων εγγραφών
• Τυποποίηση — συνεπείς μορφές για ημερομηνίες, ονόματα, διευθύνσεις
• Λείπει ο χειρισμός τιμών — καταλογισμός, αφαίρεση ή επισήμανση
• Ανίχνευση ακραίων τιμών — εντοπισμός και διερεύνηση ανωμαλιών
• Επικύρωση — έλεγχος με βάση τους επιχειρηματικούς κανόνες και τους περιορισμούς

Ο καθαρισμός δεδομένων είναι το τίμημα μιας χρήσιμης ανάλυσης. Αν τον παραλείψετε, η ανάλυση θα είναι άχρηστη. Αν το κάνετε σωστά, τα υπόλοιπα θα γίνουν ευκολότερα.