如果一個模型在訓練資料上的準確率達到 99%，而在新資料上的準確率卻只有 60%，那麼它就學到了錯誤的「課程」。過度擬合意味著模型記住的是雜訊和特殊情況，而不是潛在的模式，這是應用機器學習中最常見的失敗。

信號很容易識別。訓練損失持續下降，而驗證損失卻不斷上升。模型在已看過的樣本上表現良好，但在其他任何樣本上都表現不佳。模型的複雜度、小資料集和長時間訓練都會增加風險。

常見因應措施

• 更多訓練數據
• 正則化，例如權重衰減
• 訓練期間退出
• 基於驗證損失的提前終止
• 更簡單的模型架構
• 數據增強

欠擬合則相反，它指的是模型過於簡單，根本無法捕捉模式。我們的目標是找到一個中間狀態，即模型既能泛化又不會死記硬背。