Для обучения нейронной сети необходимо знать, как корректировать каждый вес. Обратное распространение ошибки вычисляет это. Оно применяет правило цепочки в исчислении для распространения ошибки от выходного слоя назад по сети, присваивая градиент каждому весу на этом пути.

Алгоритм работает в два этапа. На прямом этапе вычисляются прогнозы и функция потерь. На обратном этапе вычисляются градиенты относительно каждого параметра. Затем оптимизатор, например, стохастический градиентный спуск, обновляет веса в направлении, которое уменьшает функцию потерь.

Ключевые шаги

• Прямой проход через все слои
• Вычислить потери по отношению к целевым показателям
• Обратный проход с применением правила цепочки
• Обновление весов с использованием градиентов.

Этот метод получил широкое распространение в 1980-х годах и сделал глубокое обучение практичным в сочетании с более быстрым оборудованием и улучшенными функциями активации. Без него обучение многослойных сетей потребовало бы неразрешимой задачи поиска в пространстве весов.