線性運算堆疊起來仍然得到一條直線。在層之間加入激活函數，網路就會彎曲。正是這種彎曲使得神經網路能夠模擬曲線、邊緣以及所有直線運算無法捕捉的事物。

修正線性單元（ReLU）是現代神經網路中的主流函數。它們對負輸入輸出零，對正輸入則保持不變。 ReLU 計算成本低，訓練速度快。 Sigmoid 和 tanh 函數出現得更早，它們將輸出壓縮到限定的範圍內，但它們容易飽和，並會降低深度神經網路的學習速度。

常見激活函數

• ReLU 是大多數深度網路的預設激活函數。
• Leaky ReLU，允許負數梯度較小。
• Sigmoid 函數，用於二進位輸出
• Tanh，零中心擠壓
• Softmax，將分數轉換為機率

選擇錯誤會造成嚴重後果。僅由線性活化函數構成的網絡，無論堆疊多少層，最終都會坍縮成單一的線性變換。非線性並非裝飾，而是深度模型發揮作用的根本原因。