Η εξόρυξη δεδομένων εντοπίζει μοτίβα σε μεγάλα σύνολα δεδομένων. Χρησιμοποιεί στατιστικά στοιχεία, μηχανική μάθηση και τεχνικές βάσεων δεδομένων για να αποκαλύψει σχέσεις που δεν είναι προφανείς. Ένας λιανοπωλητής ανακαλύπτει ότι οι πελάτες που αγοράζουν πάνες αγοράζουν επίσης μπύρα τα βράδια της Παρασκευής. Μια τράπεζα διαπιστώνει ότι ορισμένα μοτίβα συναλλαγών προβλέπουν απάτη. Ένα νοσοκομείο εντοπίζει παράγοντες κινδύνου για επανεισαγωγή. Τα μοτίβα είναι πραγματικά. Το αν είναι χρήσιμα εξαρτάται από το τι κάνετε με αυτά.

Η εξόρυξη δεδομένων δεν είναι το ίδιο με την ανάλυση δεδομένων. Η ανάλυση ελέγχει υποθέσεις. Η εξόρυξη τις παράγει. Δεν ξέρετε τι ψάχνετε. Ο αλγόριθμος βρίσκει συσχετίσεις και ανωμαλίες. Στη συνέχεια, ένας άνθρωπος αποφασίζει ποιες έχουν σημασία. Αυτό το τελευταίο βήμα είναι κρίσιμο. Η συσχέτιση δεν είναι αιτιότητα. Ένα μοτίβο μπορεί να είναι ψευδές. Μπορεί να αντικατοπτρίζει μια συγχυτική μεταβλητή. Μπορεί να είναι ένα τεχνούργημα δεδομένων. Η εξόρυξη παράγει υποψήφια, όχι συμπεράσματα. Οι τεχνικές περιλαμβάνουν ομαδοποίηση, ταξινόμηση, παλινδρόμηση, κανόνες συσχέτισης και ανίχνευση ανωμαλιών. Κάθε μία ταιριάζει σε διαφορετικά προβλήματα. Τα εργαλεία έχουν γίνει προσβάσιμα. Οι βιβλιοθήκες Python και οι υπηρεσίες cloud επιτρέπουν στους αναλυτές να εκτελούν πολύπλοκους αλγόριθμους χωρίς βαθιά εξειδίκευση. Ο κίνδυνος είναι η κακή χρήση. Η εκτέλεση χιλίων μοντέλων και η επιλογή αυτού με το καλύτερο αποτέλεσμα δεν είναι ανακάλυψη. Είναι υπερπροσαρμογή. Το μοτίβο πρέπει να διατηρεί τα νέα δεδομένα για να είναι πραγματικό.

Τεχνικές εξόρυξης δεδομένων

• Ομαδοποίηση — ομαδοποίηση παρόμοιων εγγραφών
• Ταξινόμηση — αντιστοίχιση εγγραφών σε κατηγορίες
• Κανόνες συσχέτισης — εύρεση στοιχείων που συνυπάρχουν
• Παλινδρόμηση — μοντελοποίηση σχέσεων μεταξύ μεταβλητών
• Ανίχνευση ανωμαλιών — εντοπισμός ασυνήθιστων εγγραφών

Η εξόρυξη δεδομένων βρίσκει μοτίβα. Οι άνθρωποι αποφασίζουν τι εννοούν. Ο αλγόριθμος είναι ένα εργαλείο, όχι ένα μαντείο.