Egyetlen tesztsorozat-sorozat félrevezető lehet. A modell szerencsés vagy balszerencsés lehet attól függően, hogy mely példák kerülnek az egyes halmazokba. A keresztellenőrzés csökkenti ezt a kockázatot azáltal, hogy rotálja a teszthalmazként szolgáló adatokat.

A k-szoros keresztvalidáció során az adatokat k egyenlő részre osztják. A modell k-1 részen tanul, és a fennmaradó egyen validál. Ismételjük meg k alkalommal, minden egyes keresztvalidáció egyszer szolgál validációként. Az eredményeket átlagoljuk a stabilabb becslés érdekében.

Gyakori változatok

• K-hajtás, jellemzően öt vagy tíz hajtás
• Rétegzett k-szeres, megőrzi az osztályarányokat
• Hagyj ki egyet, k egyenlő a minták számával
• Idősorok felosztása, tiszteletben tartva az időbeli sorrendet

A keresztellenőrzés számítási költségeket igényel. k darab modell betanítása k-szor tovább tart, mint egy modellé. Nagy adathalmazokon gyakran elegendő egyetlen kihagyási készlet. Kisebb adathalmazok esetén a keresztellenőrzés megéri a költséget.