Treinar uma rede neural requer saber como ajustar cada peso. A retropropagação calcula isso. Aplica a regra da cadeia do cálculo diferencial e integral para propagar o erro da camada de saída para trás através da rede, atribuindo um gradiente a cada peso ao longo do caminho.

O algoritmo funciona em duas etapas. Uma etapa de avanço calcula as previsões e a perda. Uma etapa de retrocesso calcula os gradientes em relação a cada parâmetro. Um otimizador, como o gradiente descendente estocástico, atualiza então os pesos na direção que reduz a perda.

Etapas principais

• Passagem direta através de todas as camadas
• Calcular a perda em relação aos alvos
• Passe para trás aplicando a regra da cadeia
• Atualizar pesos usando gradientes

A técnica foi popularizada na década de 1980 e tornou a aprendizagem profunda viável quando combinada com hardware mais rápido e melhores funções de ativação. Sem ela, o treino de redes multicamadas exigiria uma pesquisa intratável no espaço de pesos.