Een model dat 99 procent scoort op trainingsdata en 60 procent op nieuwe data, heeft de verkeerde les geleerd. Overfitting betekent dat het model ruis en eigenaardigheden onthoudt in plaats van het onderliggende patroon, en het is de meest voorkomende fout in toegepaste machine learning.

De signalen zijn gemakkelijk te herkennen. Het trainingsverlies blijft dalen, terwijl het validatieverlies stijgt. Het model presteert goed op voorbeelden die het al kent en slecht op andere voorbeelden. Complexiteit, kleine datasets en een lange trainingsduur vergroten allemaal het risico.

Gemeenschappelijke tegenmaatregelen

• Meer trainingsgegevens
• Regularisatie, zoals gewichtsvermindering.
• Uitval tijdens de training
• Vroegtijdige stopzetting op basis van validatieverlies
• Eenvoudigere modelarchitecturen
• Gegevensaugmentatie

Onderfitting is het tegenovergestelde probleem, waarbij het model te simpel is om het patroon überhaupt te kunnen vastleggen. Het doel is een middenweg, waarbij het model generaliseert zonder te onthouden.