Сложные модели запоминают информацию. Регуляризация наказывает за сложность, подталкивая модель к более простым решениям, которые лучше обобщаются. Это один из самых надежных инструментов против переобучения.

L2-регуляризация добавляет штраф, пропорциональный квадрату весов, уменьшая их до нуля. L1-регуляризация способствует разреженности, штрафуя абсолютные значения. Dropout случайным образом отключает нейроны во время обучения, заставляя сеть быть устойчивой. Ранняя остановка останавливает обучение, когда показатель ошибки валидации перестает улучшаться.

Распространенные методы регуляризации

• Штрафы за вес L1 и L2
• Выбывать
• Ранняя остановка
• Расширение данных
• Пакетная нормализация

Чрезмерная регуляризация приводит к недообучению. Модель становится слишком простой, чтобы улавливать реальные закономерности. Настройка интенсивности регуляризации — часть мастерства, и выбор обычно определяется с помощью перекрестной проверки.