Att träna ett nätverk kräver att man vet hur man justerar varje vikt. Bakåtpropagering beräknar det. Den tillämpar kedjeregeln i kalkyl för att sprida felet från utdatalagret bakåt genom nätverket, och tilldelar en gradient till varje vikt längs vägen.

Algoritmen fungerar i två omgångar. En framåtriktad omgång beräknar förutsägelser och förlust. En bakåtriktad omgång beräknar gradienter med avseende på varje parameter. En optimerare, som till exempel stokastisk gradientnedgång, uppdaterar sedan vikterna i den riktning som minskar förlusten.

Viktiga steg

• Framåtpassage genom alla lager
• Beräkna förlust mot mål
• Bakåtpassning med tillämpning av kedjeregeln
• Uppdatera vikter med hjälp av gradienter

Tekniken populariserades på 1980-talet och gjorde djupinlärning praktiskt i kombination med snabbare hårdvara och bättre aktiveringsfunktioner. Utan den skulle träning av flerskiktsnätverk kräva svårhanterlig sökning över viktutrymme.