Модель, запоминающая обучающие данные, терпит неудачу на новых примерах. Модель, игнорирующая нюансы, полностью упускает закономерности. Противоречие между этими режимами отказа — это компромисс между смещением и дисперсией, и он определяет практически каждое решение в машинном обучении.

Смещение измеряет ошибку, возникающую из-за слишком простых предположений. Высокое смещение означает недообучение. Дисперсия измеряет чувствительность к малым колебаниям в обучающих данных. Высокая дисперсия означает переобучение. Общая ошибка объединяет оба параметра, а также неустранимый шум.

Типичные сигналы

• Высокая ошибка обучения, высокая ошибка тестирования, недообучение
• Низкая ошибка обучения, высокая ошибка тестирования, переобучение.
• Обе модели низкие и хорошо сидящие.
• Оба варианта высокие, неправильная модель семьи

Современная практика усложняет классическую кривую. Большие нейронные сети могут одновременно достигать низкого смещения и низкой дисперсии, чего не предсказывала более старая теория. Регуляризация, больше данных и ансамблевое моделирование остаются стандартными инструментами для управления этим компромиссом.