Képzeld el, hogy lefelé sétálsz egy ködös dombon, érzed a lejtőt a lábad alatt, és abba az irányba lépsz, amely lefelé vezet. A gradienses ereszkedés ugyanezt teszi egy veszteségfüggvénnyel. Kiszámítja a lejtőt, tesz egy lépést, és addig ismétli, amíg a veszteség javulása meg nem szűnik.

A tanulási sebesség szabályozza a lépésméretet. Ha túl nagy, túlléped a minimumot. Ha túl kicsi, a betanítás örökké tart. A Momentum, az Adam és más optimalizálók a betanítás során a konvergencia felgyorsítása érdekében módosítják a sebességet.

Gyakori változatok

• Kötegelt gradiens süllyedés az összes adat felhasználásával
• Sztochasztikus gradiens süllyedés egy minta felhasználásával
• Mini-batch gradiens süllyedés kis csoportok használatával
• Lendület és adaptív módszerek, mint például Ádám

A nem konvex veszteségfelületek megnehezítik az utat. A nyeregpontok, a lokális minimumok és a platók mind lassítják a haladást. A gyakorlatban a sztochasztikus módszerek elkerülik a sekély csapdákat, és jó megoldásokat találnak még a globális optimalitás garanciái nélkül is.