Het trainen van een neuraal netwerk vereist kennis van hoe elk gewicht moet worden aangepast. Backpropagatie berekent dat. Het past de kettingregel uit de differentiaalrekening toe om de fout van de uitvoerlaag achterwaarts door het netwerk te propageren, waarbij aan elk gewicht onderweg een gradiënt wordt toegekend.

Het algoritme werkt in twee stappen. Een voorwaartse stap berekent de voorspellingen en het verlies. Een achterwaartse stap berekent de gradiënten ten opzichte van elke parameter. Een optimalisatiemethode zoals stochastische gradiëntdaling werkt vervolgens de gewichten bij in de richting die het verlies vermindert.

Belangrijke stappen

• Voorwaartse pass door alle lagen
• Bereken het verlies ten opzichte van de doelstellingen.
• Achterwaartse pass met toepassing van de kettingregel
• Gewichten bijwerken met behulp van gradiënten

De techniek werd populair in de jaren 80 en maakte deep learning praktisch toepasbaar in combinatie met snellere hardware en betere activeringsfuncties. Zonder deze techniek zou het trainen van meerlaagse netwerken een onhandelbare zoektocht in de gewichtsruimte vereisen.