Egy olyan modell, amely memorizálja a betanítási adatokat, új példákon kudarcot vall. Egy olyan modell, amely figyelmen kívül hagyja az árnyalatokat, teljesen elszalasztja a mintázatokat. Ezen kudarcmódok közötti feszültség az elfogultság-variancia kompromisszum, és ez alakítja szinte minden döntést a gépi tanulásban.

Az elfogultság a túlságosan egyszerű feltételezésekből adódó hibát méri. A magas elfogultság alulillesztést jelent. A variancia a betanítási adatok kis ingadozásaira való érzékenységet méri. A magas variancia túlillesztést jelent. A teljes hiba mindkettőt egyesíti, plusz az irreducibilis zajt.

Tipikus jelek

• Magas betanítási hiba, magas teszthiba, alulillesztés
• Alacsony betanítási hiba, magas teszthiba, túlillesztés
• Alacsony, jól illeszkedő modell
• Mindkettő magas, rossz modellcsalád

A modern gyakorlat bonyolítja a klasszikus görbét. A nagy neurális hálózatok képesek egyszerre alacsony torzítást és alacsony varianciát elérni, amit a régebbi elméletek nem jósoltak meg. A regularizáció, a több adat és az együttes kialakítás továbbra is standard eszközök a kompromisszum kezeléséhez.