如果一个模型在训练数据上的准确率达到 99%，而在新数据上的准确率却只有 60%，那么它就学到了错误的“课程”。过拟合意味着模型记住的是噪声和特殊情况，而不是潜在的模式，这是应用机器学习中最常见的失败。

信号很容易识别。训练损失持续下降，而验证损失却不断上升。模型在已见过的样本上表现良好，但在其他任何样本上都表现不佳。模型的复杂性、小数据集和长时间训练都会增加风险。

常见应对措施

• 更多训练数据
• 正则化，例如权重衰减
• 训练期间退出
• 基于验证损失的提前终止
• 更简单的模型架构
• 数据增强

欠拟合则恰恰相反，它指的是模型过于简单，根本无法捕捉到模式。我们的目标是找到一个中间状态，即模型既能泛化又不会死记硬背。