Rozdělení jednoho vlakového testu může být zavádějící. Model může mít štěstí nebo smůlu v závislosti na tom, které příklady se v každé sadě objeví. Křížová validace toto riziko snižuje rotací dat sloužících jako testovací sada.

Při k-násobné křížové validaci jsou data rozdělena na k stejných částí. Model se trénuje na k-1 částech a validuje se na zbývající. Opakuje se k-krát, přičemž každá násobná validace slouží jednou jako validace. Pro stabilnější odhad se výsledky zprůměrují.

Běžné varianty

• K-fold, obvykle pět nebo deset přehybů
• Stratifikovaný k-násobek, zachovávájící poměry tříd
• Vynechejte jeden, k se rovná počtu vzorků
• Rozdělení časových řad s respektováním časového pořadí

Náklady na křížovou validaci se vypočítají. Trénování k modelů trvá kkrát déle než trénování jednoho. Na velkých datových sadách často stačí jedna rezervní sada. Na malých se křížová validace vyplatí.