想像一下，你走在霧氣瀰漫的山坡上，感受腳下的坡度，然後朝著下坡的方向邁步。梯度下降法就是用類似的方式處理損失函數。它計算坡度，邁出一步，然後重複這個過程，直到損失不再改善為止。

學習率控制著步長。步長過大會導致演算法偏離最小值，步長過小則會導致訓練時間過長。動量優化器、Adam 優化器和其他一些優化器會在訓練過程中調整學習率，以加快收斂速度。

常見變異

• 使用所有資料進行批量梯度下降
• 使用單一樣本的隨機梯度下降法
• 使用小批量梯度下降法
• 動量和自適應方法，例如 Adam

非凸損失曲面使求解過程充滿挑戰。鞍點、局部最小值和平台都會阻礙進展。在實務中，隨機方法能夠避開淺層陷阱，即使無法保證全域最優解，也能找到較好的解。