Для обучения необходима оценка. Функция потерь измеряет, насколько неверны предсказания модели, предоставляя оптимизатору возможность минимизировать эти значения. Для классификации используется кросс-энтропия, для регрессии — среднеквадратичная ошибка, для специализированных задач — пользовательские функции потерь.

Выбор определяет поведение. Модель, обученная на основе кросс-энтропии, изучает калиброванные вероятности. Модель, обученная на основе функции потерь Hinge, изучает маржу. Две модели с идентичной архитектурой и данными могут вести себя совершенно по-разному в зависимости от того, что вы попросите их минимизировать.

Общие функции потерь

• Среднеквадратичная ошибка для регрессии
• Перекрестная энтропия для классификации
• Функция потерь Hinge для классификаторов, основанных на границе раздела.
• Функция потерь контраста для эмбеддингов
• Тройная функция потерь для обучения сходству

Несбалансированные данные усложняют функцию потерь. Классификатор, обученный на основе кросс-энтропии, будет отдавать предпочтение классу большинства, если не скорректировать веса. Функция потерь Focal Loss и взвешивание классов решают эту проблему, но требуют дополнительной настройки.