Trénování sítě vyžaduje vědět, jak upravit každou váhu. To se počítá metodou zpětného šíření chyby (backpropagation). Aplikuje řetězové pravidlo diferenciálního počtu k šíření chyby z výstupní vrstvy zpět skrz síť a přiřazuje gradient každé váze na cestě.

Algoritmus pracuje ve dvou průchodech. Vpředný průchod počítá predikce a ztráty. Zpětný průchod počítá gradienty s ohledem na každý parametr. Optimalizátor, podobný stochastickému gradientnímu sestupu, poté aktualizuje váhy ve směru, který snižuje ztráty.

Klíčové kroky

• Průchod dopředu všemi vrstvami
• Vypočítat ztráty oproti cílům
• Zpětný průchod s použitím pravidla řetězu
• Aktualizace vah pomocí přechodů

Tato technika se zpopularizovala v 80. letech 20. století a ve spojení s rychlejším hardwarem a lepšími aktivačními funkcemi učinila hluboké učení praktickým. Bez ní by trénování vícevrstvých sítí vyžadovalo obtížné prohledávání váhového prostoru.