Melatih jaringan membutuhkan pengetahuan tentang cara menyesuaikan setiap bobot. Backpropagation menghitung hal itu. Ia menerapkan aturan rantai kalkulus untuk menyebarkan kesalahan dari lapisan keluaran mundur melalui jaringan, menetapkan gradien ke setiap bobot di sepanjang jalan.

Algoritma ini bekerja dalam dua tahap. Tahap maju menghitung prediksi dan kerugian. Tahap mundur menghitung gradien terhadap setiap parameter. Pengoptimal seperti stochastic gradient descent kemudian memperbarui bobot ke arah yang mengurangi kerugian.

Langkah-langkah penting

• Lewati semua lapisan
• Hitung kerugian terhadap target
• Operan mundur dengan menerapkan aturan rantai.
• Perbarui bobot menggunakan gradien

Teknik ini dipopulerkan pada tahun 1980-an dan membuat pembelajaran mendalam menjadi praktis ketika dipadukan dengan perangkat keras yang lebih cepat dan fungsi aktivasi yang lebih baik. Tanpa itu, melatih jaringan multi-lapisan akan membutuhkan pencarian yang sulit diatasi pada ruang bobot.