Ein Modell, das bei Trainingsdaten 99 Prozent und bei neuen Daten nur 60 Prozent erreicht, hat die falsche Lektion gelernt. Überanpassung bedeutet, dass das Modell Rauschen und Besonderheiten anstatt des zugrunde liegenden Musters auswendig lernt, und ist der häufigste Fehler im angewandten maschinellen Lernen.

Die Signale sind leicht zu erkennen. Der Trainingsverlust sinkt kontinuierlich, während der Validierungsverlust steigt. Das Modell erzielt gute Ergebnisse bei bereits bekannten Beispielen, aber schlechte bei allen anderen. Komplexität, kleine Datensätze und lange Trainingszeiten erhöhen das Risiko.

Gängige Gegenmaßnahmen

• Weitere Trainingsdaten
• Regularisierungsverfahren wie z. B. Gewichtungsabfall
• Abbruch während des Trainings
• Vorzeitiger Stopp aufgrund von Validierungsverlust
• Einfachere Modellarchitekturen
• Datenanreicherung

Unteranpassung ist das gegenteilige Problem, bei dem das Modell zu einfach ist, um das Muster überhaupt zu erfassen. Ziel ist ein Mittelweg, bei dem das Modell generalisiert, ohne sich Daten einzuprägen.