Обучаются веса. Выбираются гиперпараметры. К этой категории относятся скорость обучения, размер пакета, количество слоев, коэффициент отсеивания (dropout) и сила регуляризации. Они определяют, как проходит обучение и как структурируется модель.

Ошибки приводят к потере времени и вычислительных ресурсов. Слишком высокая скорость обучения ведет к расходимости, слишком низкая — к медленному обучению. Размер пакета влияет на шум градиента и использование памяти. Глубина и ширина определяют емкость, которая должна соответствовать сложности задачи и размеру данных.

Распространенные методы настройки

• Поиск по сетке в заданном множестве
• Случайный поиск для более широкого охвата
• Байесовская оптимизация для повышения эффективности
• Обучение на основе численности населения
• Ручная настройка, основанная на интуиции.

Настройка параметров обходится дорого. Каждая конфигурация требует полного цикла обучения, а пространство поиска быстро расширяется. Опытные специалисты сужают это пространство, используя знания предметной области, прежде чем автоматизировать процесс, что часто оказывается эффективнее, чем перебор всех возможных вариантов.