En enkelt tog-test-opdeling kan være vildledende. Modellen kan være heldig eller uheldig afhængigt af hvilke eksempler der lander i hvert sæt. Krydsvalidering reducerer denne risiko ved at rotere hvilke data der fungerer som testsættet.

I k-fold krydsvalidering opdeles dataene i k lige store dele. Modellen træner på k-1 dele og validerer på den resterende. Gentag k gange, hvor hver fold tjener én gang som validering. Beregn gennemsnittet af resultaterne for et mere stabilt estimat.

Almindelige varianter

• K-fold, typisk fem eller ti folder
• Stratificeret k-fold, bevarer klasseforhold
• Udelad én, k er lig med antallet af prøver
• Tidsserieopdeling med respekt for tidsmæssig rækkefølge

Krydsvalidering koster beregning. Træning af k modeller tager k gange længere tid end træning af én. På store datasæt er et enkelt holdout-sæt ofte nok. På små datasæt er krydsvalidering udgiften værd.