訓練データでは99%の正答率を示すものの、新規データでは60%しか正答しないモデルは、誤った学習をしてしまったと言える。過学習とは、根本的なパターンではなく、ノイズや特異な現象を記憶してしまうことであり、応用機械学習において最もよく見られる失敗である。

兆候は容易に見分けられます。訓練損失は低下し続ける一方で、検証損失は上昇します。モデルは既に学習したデータに対しては良好な性能を発揮しますが、それ以外のデータに対しては性能が低下します。複雑なデータセット、小規模なデータセット、そして長時間の訓練は、いずれもリスクを高めます。

一般的な対策

• より多くのトレーニングデータ
• 重み減衰などの正則化
• トレーニング中の脱落
• 検証損失に基づく早期停止
• よりシンプルなモデルアーキテクチャ
• データ拡張

アンダーフィッティングはその逆の問題で、モデルが単純すぎてパターンを全く捉えられない状態です。目標は、モデルが記憶することなく一般化できる、その中間的な状態です。