Představte si, že jdete z mlhavého kopce, cítíte pod nohama svah a kráčíte ve směru, kterým to vede dolů. Gradientní sestup dělá totéž s funkcí ztráty. Vypočítá sklon, udělá krok a opakuje to, dokud se ztráta nepřestane zlepšovat.

Rychlost učení řídí velikost kroku. Příliš velký krok a překročíte minimum. Příliš malý krok a trénování trvá věčně. Momentum, Adam a další optimalizátoři přizpůsobují rychlost během trénování, aby urychlili konvergenci.

Běžné varianty

• Dávkový gradientní sestup s využitím všech dat
• Stochastický gradientní sestup s použitím jednoho vzorku
• Minidávkový gradientní sestup s využitím malých skupin
• Hybnost a adaptivní metody jako Adam

Nekonvexní ztrátové plochy cestu komplikují. Sedlové body, lokální minima a plateau zpomalují pokrok. V praxi stochastické metody unikají mělkým pastím a nacházejí dobrá řešení i bez záruk globální optimality.