Antrenarea unei rețele necesită cunoașterea modului de ajustare a fiecărei ponderi. Propagarea inversă calculează acest lucru. Aplică regula lanțului de calcul pentru a propaga eroarea de la stratul de ieșire înapoi prin rețea, atribuind un gradient fiecărei ponderi pe parcurs.

Algoritmul funcționează în două etape. O etapă directă calculează predicțiile și pierderile. O etapă inversă calculează gradienții în raport cu fiecare parametru. Un optimizator precum coborârea stocastică a gradientului actualizează apoi ponderile în direcția care reduce pierderile.

Pași cheie

• Trecerea înainte prin toate straturile
• Calculează pierderea în raport cu țintele
• Pasă înapoi aplicând regula lanțului
• Actualizarea ponderilor folosind gradienți

Tehnica a fost popularizată în anii 1980 și a făcut ca învățarea profundă să fie practică atunci când a fost asociată cu hardware mai rapid și funcții de activare mai bune. Fără ea, antrenarea rețelelor multistrat ar necesita o căutare dificilă în spațiul de ponderare.