Un modelo que memoriza los datos de entrenamiento falla con nuevos ejemplos. Un modelo que ignora los matices pasa por alto patrones por completo. La tensión entre estos modos de fallo constituye la compensación entre sesgo y varianza, y moldea prácticamente todas las decisiones en el aprendizaje automático.

El sesgo mide el error derivado de suposiciones demasiado simples. Un sesgo elevado indica un ajuste insuficiente. La varianza mide la sensibilidad a pequeñas fluctuaciones en los datos de entrenamiento. Una varianza elevada indica un sobreajuste. El error total combina ambos, además del ruido irreducible.

Señales típicas

• Alto error de entrenamiento, alto error de prueba, subajuste
• Bajo error de entrenamiento, alto error de prueba, sobreajuste
• Ambos modelos son bajos y se ajustan bien.
• Ambos modelos familiares de alto riesgo y equivocados

La práctica moderna complica la curva clásica. Las grandes redes neuronales pueden lograr simultáneamente un bajo sesgo y una baja varianza, algo que la teoría anterior no predecía. La regularización, el aumento de datos y el uso de conjuntos siguen siendo herramientas estándar para gestionar esta disyuntiva.