訓練データを記憶するモデルは、新しい事例には対応できない。ニュアンスを無視するモデルは、パターンを完全に見逃してしまう。これらの失敗モード間の緊張関係がバイアス・バリアンスのトレードオフであり、機械学習におけるほぼすべての意思決定に影響を与える。

バイアスは、過度に単純な仮定に基づく誤差を測定します。バイアスが大きいということは、適合度が低いことを意味します。分散は、訓練データの小さな変動に対する感度を測定します。分散が大きいということは、適合度が高いことを意味します。総誤差は、バイアスと分散の両方に加えて、除去不可能なノイズを合わせたものです。

典型的な信号

• 高い訓練誤差、高いテスト誤差、アンダーフィッティング
• 訓練誤差が低く、テスト誤差が高い、過学習
• どちらも低めで、フィット感の良いモデル
• どちらも高い、モデルファミリーが違う

現代の実践は、古典的な曲線を複雑化させている。大規模なニューラルネットワークは、従来の理論では予測できなかった低バイアスと低分散を同時に達成できる。正則化、データ量の増加、アンサンブル学習は、トレードオフを管理するための標準的な手法であり続けている。