تخيل أنك تسير على منحدر ضبابي، تشعر بانحداره تحت قدميك، وتخطو في اتجاه الانحدار. يُحاكي انحدار التدرج نفس الفكرة باستخدام دالة خسارة. فهو يحسب الانحدار، ويخطو خطوة، ويكرر العملية حتى تتوقف الخسارة عن التحسن.

يتحكم معدل التعلم في حجم الخطوة. إذا كان كبيرًا جدًا، ستتجاوز الحد الأدنى. وإذا كان صغيرًا جدًا، سيستغرق التدريب وقتًا طويلاً. تقوم خوارزميات التحسين مثل Momentum وAdam وغيرها بتعديل المعدل أثناء التدريب لتسريع التقارب.

المتغيرات الشائعة

• انحدار التدرج الدفعي باستخدام جميع البيانات
• الهبوط التدرجي العشوائي باستخدام عينة واحدة
• انحدار التدرج المصغر باستخدام مجموعات صغيرة
• الزخم والأساليب التكيفية مثل آدم

تُصعّب أسطح الخسارة غير المحدبة عملية البحث. فنقاط السرج، والحد الأدنى المحلي، والهضاب، كلها تُبطئ التقدم. عمليًا، تتجنب الطرق العشوائية الفخاخ الضحلة وتجد حلولًا جيدة حتى بدون ضمانات للحل الأمثل العالمي.