Τα δεδομένα εκπαίδευσης διδάσκουν ένα μοντέλο μηχανικής μάθησης. Το μοντέλο βλέπει παραδείγματα και μαθαίνει τη σχέση μεταξύ εισόδων και εξόδων. Για ένα φίλτρο ανεπιθύμητης αλληλογραφίας, τα δεδομένα εκπαίδευσης είναι email που έχουν επισημανθεί ως ανεπιθύμητα ή όχι. Για έναν ταξινομητή εικόνων, είναι φωτογραφίες που έχουν επισημανθεί με το περιεχόμενό τους. Για ένα μοντέλο γλώσσας, είναι τεράστιες ποσότητες κειμένου. Το μοντέλο προσαρμόζει τις εσωτερικές του παραμέτρους για να ελαχιστοποιήσει τη διαφορά μεταξύ των προβλέψεών του και των σωστών ετικετών. Η ποιότητα και η ποσότητα των δεδομένων εκπαίδευσης καθορίζουν πόσο καλά αποδίδει το μοντέλο.

Τα δεδομένα εκπαίδευσης έχουν αρκετές απαιτήσεις. Πρέπει να είναι αντιπροσωπευτικά των δεδομένων του πραγματικού κόσμου που θα συναντήσει το μοντέλο. Ένα μοντέλο που εκπαιδεύεται μόνο σε φωτογραφίες ημέρας αποτυγχάνει σε φωτογραφίες νύχτας. Πρέπει να έχει ακριβή ετικέτα. Τα παραδείγματα με λανθασμένη ετικέτα διδάσκουν στο μοντέλο λάθος μοτίβα. Πρέπει να είναι αρκετά μεγάλα για να καταγράψουν την απόκλιση στα δεδομένα. Τα πολύ λίγα δεδομένα οδηγούν σε υπερπροσαρμογή, όπου το μοντέλο απομνημονεύει τα παραδείγματα εκπαίδευσης αντί να μαθαίνει γενικά μοτίβα. Πρέπει να είναι απαλλαγμένα από προκατάληψη, διαφορετικά το μοντέλο θα μάθει και θα ενισχύσει αυτήν την προκατάληψη. Τα δεδομένα εκπαίδευσης αποτελούν επίσης ζήτημα απορρήτου. Τα μοντέλα που εκπαιδεύονται σε προσωπικά δεδομένα ενδέχεται να τα απομνημονεύουν και να τα αναπαράγουν. Τα κανονιστικά πλαίσια απαιτούν όλο και περισσότερο τεκμηρίωση των πηγών και της επεξεργασίας των δεδομένων εκπαίδευσης. Τα δεδομένα δεν είναι απλώς μια εισροή. Είναι μια υποχρέωση και ένα περιουσιακό στοιχείο. Το μοντέλο είναι τόσο καλό όσο τα δεδομένα από τα οποία έμαθε.

Απαιτήσεις δεδομένων εκπαίδευσης

• Αντιπροσωπευτικό — αντικατοπτρίζει την πραγματική διακύμανση
• Ετικέτα — ακριβής αλήθεια
• Μεγάλα — αρκετά παραδείγματα για γενίκευση
• Αμερόληπτη — καμία συστηματική ασύμμετρη προσέγγιση
• Τεκμηριωμένο — γνωστή προέλευση και επεξεργασία

Τα δεδομένα εκπαίδευσης είναι ο δάσκαλος. Το μοντέλο μαθαίνει τι δείχνουν τα δεδομένα. Τα κακά δεδομένα διδάσκουν κακά μαθήματα.