単一の訓練データとテストデータの分割では、誤った結果を招く可能性があります。どのデータが各セットに割り当てられるかによって、モデルの性能が幸運にも不運にも左右されるからです。交差検証では、テストセットとして使用するデータをローテーションすることで、このリスクを軽減します。

k分割交差検証では、データをk個の等しい部分に分割します。モデルはk-1個の部分で学習し、残りの1個で検証します。これをk回繰り返し、各分割を1回ずつ検証として使用します。結果を平均することで、より安定した推定値が得られます。

一般的な変異体

• K折り、通常は5つ折りまたは10つ折り
• 階層化k分割法、階級比率を維持
• リーブワンアウト法では、kはサンプル数に等しい。
• 時系列データを分割し、時間順序を尊重する

交差検証には計算コストがかかります。k個のモデルを学習させるには、1個のモデルを学習させる場合のk倍の時間がかかります。大規模なデータセットでは、単一のホールドアウトセットで十分な場合が多いですが、小規模なデータセットでは、交差検証を行う価値があります。