Ένα μοντέλο που απομνημονεύει δεδομένα εκπαίδευσης αποτυγχάνει σε νέα παραδείγματα. Ένα μοντέλο που αγνοεί τις λεπτές αποχρώσεις χάνει εντελώς τα μοτίβα. Η ένταση μεταξύ αυτών των τρόπων αποτυχίας είναι η αντιστάθμιση μεροληψίας-διακύμανσης και διαμορφώνει σχεδόν κάθε απόφαση στη μηχανική μάθηση.

Η μεροληψία μετρά το σφάλμα από υπερβολικά απλές υποθέσεις. Η υψηλή μεροληψία σημαίνει υποπροσαρμογή. Η διακύμανση μετρά την ευαισθησία σε μικρές διακυμάνσεις στα δεδομένα εκπαίδευσης. Η υψηλή διακύμανση σημαίνει υπερπροσαρμογή. Το συνολικό σφάλμα συνδυάζει και τα δύο, συν τον μη αναγώγιμο θόρυβο.

Τυπικά σήματα

• Υψηλό σφάλμα εκπαίδευσης, υψηλό σφάλμα δοκιμής, υποπροσαρμογή
• Χαμηλό σφάλμα εκπαίδευσης, υψηλό σφάλμα δοκιμής, υπερπροσαρμογή
• Και τα δύο χαμηλά, καλά τοποθετημένα μοντέλα
• Και τα δύο υψηλά, λάθος μοντέλο οικογένειας

Η σύγχρονη πρακτική περιπλέκει την κλασική καμπύλη. Τα μεγάλα νευρωνικά δίκτυα μπορούν να επιτύχουν ταυτόχρονα χαμηλή μεροληψία και χαμηλή διακύμανση, κάτι που η παλαιότερη θεωρία δεν προέβλεπε. Η κανονικοποίηση, τα περισσότερα δεδομένα και η ενσωμάτωση παραμένουν τυπικά εργαλεία για τη διαχείριση του συμβιβασμού.