Å trene et nettverk krever at man vet hvordan man justerer hver vekt. Tilbakepropagering beregner dette. Den bruker kjederegelen i kalkulus for å forplante feilen fra utdatalaget bakover gjennom nettverket, og tilordner en gradient til hver vekt underveis.

Algoritmen fungerer i to omganger. En fremovergående omgang beregner prediksjoner og tap. En bakovergående omgang beregner gradienter med hensyn til hver parameter. En optimizer, som for eksempel stokastisk gradientnedstigning, oppdaterer deretter vektene i den retningen som reduserer tapet.

Viktige trinn

• Fremoverpassering gjennom alle lag
• Beregn tap mot mål
• Bakoverpassering ved bruk av kjederegelen
• Oppdater vekter ved hjelp av gradienter

Teknikken ble popularisert på 1980-tallet og gjorde dyp læring praktisk når den ble kombinert med raskere maskinvare og bedre aktiveringsfunksjoner. Uten den ville trening av flerlagsnettverk kreve vanskelig søk over vektplass.