En model, der husker træningsdata, fejler i nye eksempler. En model, der ignorerer nuancer, overser mønstre fuldstændigt. Spændingen mellem disse fejltilstande er bias-varians-afvejningen, og den former næsten alle beslutninger i maskinlæring.

Bias måler fejl fra for simple antagelser. Høj bias betyder undertilpasning. Varians måler følsomhed over for små udsving i træningsdata. Høj varians betyder overtilpasning. Total fejl kombinerer begge dele plus irreducerbar støj.

Typiske signaler

• Høj træningsfejl, høj testfejl, undertilpasning
• Lav træningsfejl, høj testfejl, overtilpasning
• Både lave, veltilpassede modeller
• Begge høje, forkert modelfamilie

Moderne praksis komplicerer den klassiske kurve. Store neurale netværk kan opnå lav bias og lav varians samtidigt, hvilket ældre teori ikke forudsagde. Regularisering, mere data og ensemblering er fortsat standardværktøjer til at håndtere afvejningen.