單一的訓練集-測試集劃分可能會產生誤導。模型的擬合效果可能會因樣本被分配到哪個資料集而有所不同。交叉驗證透過輪換使用不同的資料集作為測試集來降低這種風險。

在 k 折交叉驗證中，資料被分成 k 個相等的部分。模型以 k-1 個部分進行訓練，並用剩餘的一部分進行驗證。重複 k 次，每次驗證都使用一個部分。取平均值以獲得更穩定的估計值。

常見變異

• K 折，通常為五折或十折
• 分層k折交叉驗證，維持類別比例
• 留一法，k 等於樣本數
• 時間序列依時間順序分割

交叉驗證的成本是可以計算的。訓練 k 個模型所需的時間是訓練一個模型的 k 倍。對於大型資料集，通常只需一個保留集就足夠了。對於小型資料集，交叉驗證的成本是值得的。