Stellen Sie sich vor, Sie gehen einen nebligen Hügel hinab, spüren das Gefälle unter Ihren Füßen und setzen Ihre Schritte in die bergab führende Richtung. Gradientenabstieg funktioniert ähnlich mit einer Verlustfunktion. Er berechnet die Steigung, führt einen Schritt aus und wiederholt diesen Vorgang, bis sich der Verlust nicht mehr verbessert.

Die Lernrate steuert die Schrittweite. Ist sie zu hoch, wird das Minimum überschritten. Ist sie zu niedrig, dauert das Training ewig. Momentum, Adam und andere Optimierer passen die Lernrate während des Trainings an, um die Konvergenz zu beschleunigen.

Häufige Varianten

• Batch-Gradientenabstieg unter Verwendung aller Daten
• Stochastischer Gradientenabstieg mit einer Stichprobe
• Mini-Batch-Gradientenabstieg mit kleinen Gruppen
• Momentum und adaptive Methoden wie Adam

Nicht-konvexe Verlustfunktionen erschweren die Lösungsfindung. Sattelpunkte, lokale Minima und Plateaus verlangsamen den Fortschritt. In der Praxis vermeiden stochastische Methoden jedoch flache Fallen und finden gute Lösungen, selbst ohne Garantie globaler Optimalität.