线性运算堆叠起来仍然会得到一条直线。在层之间添加激活函数，网络就会弯曲。正是这种弯曲使得神经网络能够模拟曲线、边缘以及所有直线运算无法捕捉的事物。

修正线性单元（ReLU）是现代神经网络中的主流函数。它们对负输入输出零，对正输入则保持不变。ReLU 计算成本低，训练速度快。Sigmoid 和 tanh 函数出现得更早，它们将输出压缩到限定的范围内，但它们容易饱和，并会降低深度神经网络的学习速度。

常见激活函数

• ReLU 是大多数深度网络的默认激活函数。
• Leaky ReLU，允许负数梯度较小。
• Sigmoid 函数，用于二进制输出
• Tanh，零中心挤压
• Softmax，将分数转换为概率

选择错误会造成严重后果。仅由线性激活函数构成的网络，无论堆叠多少层，最终都会坍缩成单一的线性变换。非线性并非装饰，而是深度模型发挥作用的根本原因。