反向傳播 — 人工智慧

🔙 反向傳播

一種計算梯度以更新神經網路權重的演算法。

訓練神經網路需要知道如何調整每個權重。反向傳播演算法正是計算這一點的。它運用微積分的鍊式法則，將誤差從輸出層反向傳播到網路中的每一個節點，並沿途為每個權重賦予一個梯度。

該演算法分兩步驟進行。前向傳播計算預測值和損失值。後向傳播計算每個參數的梯度。然後，像隨機梯度下降這樣的最佳化器會根據損失值的變化方向更新權重。

關鍵步驟

這項技術在 20 世紀 80 年代開始普及，並與更快的硬體和更好的激活函數相結合，使深度學習得以實際應用。如果沒有這項技術，訓練多層網路將需要在權重空間中進行極其複雜的搜尋。

Comments (2)

Grad student September 19, 2026

Vanishing gradients were a real headache before better activations and residual connections.
Deep learning hobbyist September 2, 2026

The algorithm that makes training neural nets practical. Chain rule applied repeatedly is the core idea.