Egy hálózat betanításához ismerni kell az egyes súlyok beállítását. A visszaterjesztés ezt számítja ki. A kalkulus láncszabályát alkalmazza a hiba kimeneti rétegből visszafelé történő terjesztésére a hálózaton keresztül, és minden egyes súlyhoz gradienst rendel.

Az algoritmus két menetben működik. Az előrehaladás kiszámítja az előrejelzéseket és a veszteséget. A visszafelé haladás kiszámítja az egyes paraméterekhez viszonyított gradienseket. Egy optimalizáló, mint például a sztochasztikus gradiens süllyedés, ezután frissíti a súlyokat a veszteséget csökkentő irányban.

Főbb lépések

• Előrehaladás az összes rétegen keresztül
• Számítsa ki a veszteséget a célokhoz képest
• Hátramenet a láncszabály alkalmazásával
• Súlyok frissítése színátmenetek használatával

A technika az 1980-as években vált népszerűvé, és a gyorsabb hardverrel és jobb aktiválási funkciókkal párosítva tette praktikussá a mélytanulást. Enélkül a többrétegű hálózatok betanítása megoldhatatlan keresést igényelne a súlyozott térben.