Træning af et netværk kræver viden om, hvordan man justerer hver vægt. Backpropagation beregner dette. Den anvender kædereglen fra kalkulus til at udbrede fejlen fra outputlaget bagud gennem netværket og tildeler en gradient til hver vægt undervejs.

Algoritmen fungerer i to omgange. En fremadrettet omgang beregner forudsigelser og tab. En bagudrettet omgang beregner gradienter i forhold til hver parameter. En optimeringsenhed, såsom stokastisk gradientnedstigning, opdaterer derefter vægtene i den retning, der reducerer tabet.

Vigtige trin

• Fremadgående gennemgang af alle lag
• Beregn tab i forhold til mål
• Baglæns pasning med kædereglen
• Opdater vægte ved hjælp af gradienter

Teknikken blev populariseret i 1980'erne og gjorde deep learning praktisk, når den blev kombineret med hurtigere hardware og bedre aktiveringsfunktioner. Uden den ville træning af flerlagsnetværk kræve vanskelig søgning over vægtrum.