Sisli bir tepeden aşağı doğru yürüdüğünüzü, ayaklarınızın altındaki eğimi hissettiğinizi ve aşağı doğru giden yöne doğru adım attığınızı hayal edin. Eğim inişi de aynı şeyi bir kayıp fonksiyonuyla yapar. Eğimi hesaplar, bir adım atar ve kayıp iyileşmeyi durdurana kadar tekrarlar.

Öğrenme oranı, adım boyutunu kontrol eder. Çok büyük olursa minimum noktayı aşarsınız. Çok küçük olursa eğitim sonsuza kadar sürer. Momentum, Adam ve diğer optimizasyon algoritmaları, yakınsamayı hızlandırmak için eğitim sırasında oranı ayarlarlar.

Yaygın varyantlar

• Tüm verileri kullanarak toplu gradyan inişi
• Tek örneklem kullanan stokastik gradyan inişi
• Küçük gruplar kullanılarak mini-batch gradyan inişi
• Momentum ve Adam gibi uyarlanabilir yöntemler

Dışbükey olmayan kayıp yüzeyleri yolculuğu zorlaştırır. Eyer noktaları, yerel minimumlar ve platolar ilerlemeyi yavaşlatır. Pratikte, stokastik yöntemler sığ tuzaklardan kurtulur ve küresel optimumluk garantisi olmadan bile iyi çözümler bulur.