L'entraînement d'un réseau nécessite de savoir comment ajuster chaque poids. La rétropropagation permet de calculer cela. Elle applique la règle de la chaîne du calcul différentiel pour propager l'erreur de la couche de sortie à travers le réseau, en attribuant un gradient à chaque poids.

L'algorithme fonctionne en deux passes. Une passe avant calcule les prédictions et la perte. Une passe arrière calcule les gradients par rapport à chaque paramètre. Un optimiseur tel que la descente de gradient stochastique met ensuite à jour les poids dans la direction qui minimise la perte.

Étapes clés

• Passage direct à travers toutes les couches
• Calculer la perte par rapport aux cibles
• Passage en arrière en appliquant la règle de la chaîne
• Mise à jour des poids à l'aide des gradients

Cette technique a été popularisée dans les années 1980 et a rendu l'apprentissage profond accessible grâce à l'utilisation de matériel plus performant et de meilleures fonctions d'activation. Sans elle, l'entraînement des réseaux multicouches nécessiterait une recherche fastidieuse dans l'espace des poids.