Model, který si pamatuje trénovací data, selhává na nových příkladech. Model, který ignoruje nuance, zcela mine vzorce. Napětí mezi těmito režimy selhání je kompromisem mezi zkreslením a rozptylem a ovlivňuje téměř každé rozhodnutí ve strojovém učení.

Zkreslení měří chybu z příliš jednoduchých předpokladů. Vysoké zkreslení znamená nedostatečné přizpůsobení. Rozptyl měří citlivost na malé fluktuace v trénovacích datech. Vysoký rozptyl znamená nadměrné přizpůsobení. Celková chyba kombinuje obojí plus neredukovatelný šum.

Typické signály

• Vysoká chyba trénování, vysoká chyba testování, nedostatečné přizpůsobení
• Nízká chyba trénování, vysoká chyba testování, přeučení
• Nízký, dobře padnoucí model
• Oba vysoce postavené, špatná modelová rodina

Moderní praxe klasickou křivku komplikuje. Velké neuronové sítě mohou dosáhnout nízkého zkreslení a nízkého rozptylu současně, což starší teorie nepředpovídala. Regularizace, více dat a ensemblování zůstávají standardními nástroji pro zvládání tohoto kompromisu.