कल्पना कीजिए कि आप एक धुंध भरी पहाड़ी से नीचे उतर रहे हैं, अपने पैरों के नीचे ढलान को महसूस कर रहे हैं, और नीचे की ओर जाने वाली दिशा में कदम बढ़ा रहे हैं। ग्रेडिएंट डिसेंट लॉस फंक्शन के साथ ठीक यही करता है। यह ढलान की गणना करता है, एक कदम आगे बढ़ता है, और तब तक दोहराता है जब तक कि लॉस में सुधार होना बंद न हो जाए।

लर्निंग रेट स्टेप साइज को नियंत्रित करता है। बहुत अधिक होने पर आप न्यूनतम सीमा से आगे निकल जाते हैं। बहुत कम होने पर प्रशिक्षण में बहुत अधिक समय लगता है। मोमेंटम, एडम और अन्य ऑप्टिमाइज़र अभिसरण की गति बढ़ाने के लिए प्रशिक्षण के दौरान दर को समायोजित करते हैं।

सामान्य प्रकार

• सभी डेटा का उपयोग करके बैच ग्रेडिएंट डिसेंट
• एक नमूने का उपयोग करके स्टोकेस्टिक ग्रेडिएंट डिसेंट
• छोटे समूहों का उपयोग करके मिनी-बैच ग्रेडिएंट डिसेंट
• एडम जैसी गति और अनुकूली विधियाँ

गैर-उत्तल हानि सतहें इस प्रक्रिया को जटिल बना देती हैं। सैडल पॉइंट, स्थानीय न्यूनतम बिंदु और पठार सभी प्रगति को धीमा कर देते हैं। व्यवहार में, स्टोकेस्टिक विधियाँ उथले अवरोधों से बच निकलती हैं और वैश्विक इष्टतमता की गारंटी के बिना भी अच्छे समाधान ढूंढ लेती हैं।