Um modelo que memoriza dados de treino falha em novos exemplos. Um modelo que ignora as nuances perde padrões por completo. A tensão entre estes modos de falha é o equilíbrio entre o enviesamento e a variância, e isto influencia praticamente todas as decisões em aprendizagem automática.

O enviesamento mede o erro resultante de pressupostos demasiado simplistas. Um viés elevado indica subajuste. A variância mede a sensibilidade a pequenas flutuações nos dados de treino. Uma variância elevada indica sobreajuste. O erro total combina ambos, para além do ruído irredutível.

Sinais típicos

• Erro de treino elevado, erro de teste elevado, subajuste
• Baixo erro de treino, alto erro de teste, sobreajuste.
• Ambos os modelos são baixos e bem ajustados.
• Ambos são altos, modelo familiar errado.

A prática moderna complica a curva clássica. As grandes redes neuronais podem alcançar baixo viés e baixa variância simultaneamente, algo que a teoria antiga não previa. A regularização, mais dados e ensembles continuam a ser ferramentas padrão para gerir este equilíbrio.