Uczenie sieci wymaga wiedzy, jak dostosować każdą wagę. Propagacja wsteczna to oblicza. Stosuje ona regułę łańcuchową rachunku różniczkowego i całkowego, aby propagować błąd z warstwy wyjściowej wstecz przez sieć, przypisując gradient do każdej wagi po drodze.

Algorytm działa w dwóch przejściach. Przebieg w przód oblicza prognozy i straty. Przebieg w tył oblicza gradienty względem każdego parametru. Optymalizator, taki jak stochastyczny gradient spadkowy, aktualizuje następnie wagi w kierunku, który zmniejsza straty.

Kluczowe kroki

• Przejście do przodu przez wszystkie warstwy
• Oblicz stratę w stosunku do celów
• Podanie wsteczne z zastosowaniem reguły łańcucha
• Aktualizuj wagi za pomocą gradientów

Technika ta zyskała popularność w latach 80. XX wieku i uczyniła głębokie uczenie praktycznym w połączeniu z szybszym sprzętem i lepszymi funkcjami aktywacji. Bez niej trenowanie sieci wielowarstwowych wymagałoby uciążliwego przeszukiwania przestrzeni wag.