Bir ağı eğitmek, her ağırlığın nasıl ayarlanacağını bilmeyi gerektirir. Geri yayılım (backpropagation) bunu hesaplar. Hatayı çıktı katmanından ağ boyunca geriye doğru yaymak için diferansiyel denklemlerin zincir kuralını uygular ve yol boyunca her ağırlığa bir gradyan atar.

Algoritma iki aşamada çalışır. İleri aşama tahminleri ve kaybı hesaplar. Geri aşama ise her parametreye göre gradyanları hesaplar. Ardından, stokastik gradyan inişi gibi bir optimizasyon algoritması, kaybı azaltan yönde ağırlıkları günceller.

Önemli adımlar

• Tüm katmanlardan ileri geçiş
• Hedeflere karşı kayıp hesaplaması
• Zincir kuralını uygulayarak geriye pas
• Eğimleri kullanarak ağırlıkları güncelleyin.

Bu teknik 1980'lerde popülerleşti ve daha hızlı donanım ve daha iyi aktivasyon fonksiyonlarıyla birleştirildiğinde derin öğrenmeyi pratik hale getirdi. Bu teknik olmadan, çok katmanlı ağların eğitimi, ağırlık uzayı üzerinde çözülmesi imkansız bir arama gerektirirdi.