En enkelt tog-test-deling kan villede. Modellen kan være heldig eller uheldig, avhengig av hvilke eksempler som havner i hvert sett. Kryssvalidering reduserer denne risikoen ved å rotere hvilke data som fungerer som testsett.

I k-fold kryssvalidering deles dataene inn i k like deler. Modellen trener på k-1 deler og validerer på den resterende. Gjenta k ganger, hver fold fungerer én gang som validering. Beregn gjennomsnittet av resultatene for et mer stabilt estimat.

Vanlige varianter

• K-fold, vanligvis fem eller ti folder
• Stratifisert k-fold, bevarer klasseproporsjoner
• Utelat én, k er lik antall prøver
• Tidsserieinndeling, med respekt for tidsrekkefølge

Kryssvalidering koster beregning. Det tar k ganger lengre tid å trene k modeller enn å trene én. På store datasett er et enkelt holdout-sett ofte nok. På små datasett er kryssvalidering verdt utgiften.