Stel je voor dat je een mistige heuvel afloopt, de helling onder je voeten voelt en in de richting stapt die naar beneden leidt. Gradient descent doet hetzelfde met een verliesfunctie. Het berekent de helling, neemt een stap en herhaalt dit totdat het verlies niet meer verbetert.

De leerfrequentie bepaalt de stapgrootte. Is deze te groot, dan schiet je voorbij het minimum. Is deze te klein, dan duurt de training oneindig lang. Momentum, Adam en andere optimalisatiealgoritmen passen de leerfrequentie tijdens de training aan om de convergentie te versnellen.

Veelvoorkomende varianten

• Batch-gradientdaling met alle gegevens
• Stochastische gradiëntafdaling met één steekproef
• Mini-batch gradiëntafdaling met behulp van kleine groepen
• Impuls en adaptieve methoden zoals Adam

Niet-convexe verliesoppervlakken maken de zoektocht lastig. Zadelpunten, lokale minima en plateaus vertragen allemaal de voortgang. In de praktijk ontsnappen stochastische methoden aan oppervlakkige valkuilen en vinden ze goede oplossingen, zelfs zonder garanties voor globale optimaliteit.