Un modèle qui mémorise les données d'entraînement échoue face à de nouveaux exemples. Un modèle qui ignore les nuances passe complètement à côté de tendances. La tension entre ces deux modes d'échec constitue le compromis biais-variance, et elle influence quasiment toutes les décisions en apprentissage automatique.

Le biais mesure l'erreur due à des hypothèses trop simplistes. Un biais élevé indique un sous-apprentissage. La variance mesure la sensibilité aux petites fluctuations des données d'entraînement. Une variance élevée indique un surapprentissage. L'erreur totale combine ces deux facteurs, auxquels s'ajoute le bruit irréductible.

Signaux typiques

• Erreur d'entraînement élevée, erreur de test élevée, sous-apprentissage
• Faible erreur d'entraînement, erreur de test élevée, surapprentissage
• Les deux modèles bas et bien ajustés
• Les deux sont élevés, mais le modèle familial est incorrect.

La pratique moderne complexifie la courbe classique. Les grands réseaux de neurones peuvent atteindre simultanément un faible biais et une faible variance, ce que les théories antérieures n'avaient pas prédit. La régularisation, l'utilisation de données supplémentaires et le regroupement de données restent des outils courants pour gérer ce compromis.