想象一下，你走在雾气弥漫的山坡上，感受着脚下的坡度，然后朝着下坡的方向迈步。梯度下降法就是用类似的方式处理损失函数。它计算坡度，迈出一步，然后重复这个过程，直到损失不再改善为止。

学习率控制着步长。步长过大会导致算法偏离最小值，步长过小则会导致训练时间过长。动量优化器、Adam 优化器和其他一些优化器会在训练过程中调整学习率，以加快收敛速度​​。

常见变异

• 使用所有数据进行批量梯度下降
• 使用单样本的随机梯度下降法
• 使用小批量梯度下降法
• 动量和自适应方法，例如 Adam

非凸损失曲面使求解过程充满挑战。鞍点、局部最小值和平台都会阻碍进展。在实践中，随机方法能够避开浅层陷阱，即使无法保证全局最优解，也能找到较好的解。