Bayangkan berjalan menuruni bukit berkabut, merasakan kemiringan di bawah kaki Anda, dan melangkah ke arah yang menurun. Gradient descent melakukan hal yang sama dengan fungsi kerugian. Ia menghitung kemiringan, mengambil satu langkah, dan mengulanginya hingga kerugian berhenti membaik.

Tingkat pembelajaran mengontrol ukuran langkah. Terlalu besar dan Anda akan melampaui nilai minimum. Terlalu kecil dan pelatihan akan memakan waktu sangat lama. Momentum, Adam, dan pengoptimal lainnya menyesuaikan tingkat pembelajaran selama pelatihan untuk mempercepat konvergensi.

Varian umum

• Penurunan gradien batch menggunakan semua data
• Penurunan gradien stokastik menggunakan satu sampel
• Penurunan gradien mini-batch menggunakan kelompok kecil
• Momentum dan metode adaptif seperti Adam

Permukaan kerugian non-cembung membuat perjalanan menjadi rumit. Titik pelana, minimum lokal, dan dataran tinggi semuanya memperlambat kemajuan. Dalam praktiknya, metode stokastik menghindari jebakan dangkal dan menemukan solusi yang baik bahkan tanpa jaminan optimalitas global.