训练神经网络需要知道如何调整每个权重。反向传播算法正是计算这一点的。它运用微积分的链式法则，将误差从输出层反向传播到网络中的每一个节点，并沿途为每个权重赋予一个梯度。
该算法分两步进行。前向传播计算预测值和损失值。后向传播计算每个参数的梯度。然后，像随机梯度下降这样的优化器会根据损失值的变化方向更新权重。
关键步骤
- 正向传递穿过所有层
- 计算相对于目标的损失
- 反向推导应用链式法则
- 利用梯度更新权重
这项技术在 20 世纪 80 年代开始普及，并与更快的硬件和更好的激活函数相结合，使深度学习得以实际应用。如果没有这项技术，训练多层网络将需要在权重空间中进行极其复杂的搜索。
Comments (2)
Leave a comment