Un model care memorează datele de antrenament eșuează la exemple noi. Un model care ignoră nuanțele ratează complet tiparele. Tensiunea dintre aceste moduri de eșec este compromisul dintre bias și varianță, iar acesta influențează aproape fiecare decizie din învățarea automată.

Distorsiunea (bias) măsoară eroarea din ipoteze prea simple. Distorsiunea mare înseamnă subadaptare. Varianța măsoară sensibilitatea la fluctuații mici în datele de antrenament. Varianța mare înseamnă supraadaptare. Eroarea totală combină ambele, plus zgomotul ireductibil.

Semnale tipice

• Eroare mare de antrenament, eroare mare de test, subadaptare
• Eroare de antrenament redusă, eroare de testare ridicată, supraadaptare
• Ambele modele joase, bine ajustate
• Ambele familii înalte, model greșit

Practica modernă complică curba clasică. Rețelele neuronale mari pot obține simultan o bias scăzută și o varianță scăzută, lucru pe care teoria mai veche nu l-a prevăzut. Regularizarea, mai multe date și asamblarea rămân instrumente standard pentru gestionarea acestui compromis.