記憶訓練資料的模型在處理新樣本時會失效。忽略細微差別的模型則會完全錯過模式。這兩種失效模式之間的矛盾就是偏差-方差權衡，它幾乎影響機器學習中的每一個決策。

偏差衡量的是過於簡單的假設所造成的誤差。高偏差意味著欠擬合。方差衡量的是對訓練資料微小波動的敏感度。高方差意味著過擬合。總誤差結合了偏差、方差以及不可約噪聲。

典型訊號

• 訓練誤差高，測試誤差高，欠擬合
• 訓練誤差低，測試誤差高，過度擬合
• 低，擬合良好的模型
• 兩者都很高，錯誤的模型家庭

現代實踐使經典的神經網路曲線變得複雜。大型神經網路可以同時實現低偏差和低方差，這是早期理論無法預測的。正規化、增加資料量和整合學習仍然是解決這種權衡問題的標準工具。