记忆训练数据的模型在处理新样本时会失效。忽略细微差别的模型则会完全错过模式。这两种失效模式之间的矛盾就是偏差-方差权衡，它几乎影响着机器学习中的每一个决策。

偏差衡量的是由过于简单的假设造成的误差。高偏差意味着欠拟合。方差衡量的是对训练数据微小波动的敏感度。高方差意味着过拟合。总误差结合了偏差、方差以及不可约噪声。

典型信号

• 训练误差高，测试误差高，欠拟合
• 训练误差低，测试误差高，过拟合
• 低，拟合良好的模型
• 两者都很高，错误的模型家庭

现代实践使经典的神经网络曲线变得复杂。大型神经网络可以同时实现低偏差和低方差，这是早期理论无法预测的。正则化、增加数据量和集成学习仍然是解决这种权衡问题的标准工具。