Een enkele splitsing in trainings- en testsets kan misleidend zijn. Het model kan geluk of pech hebben, afhankelijk van welke voorbeelden in elke set terechtkomen. Kruisvalidatie vermindert dat risico door te rouleren welke data als testset dienen.

Bij k-voudige kruisvalidatie worden de gegevens in k gelijke delen verdeeld. Het model traint op k-1 delen en valideert op het resterende deel. Dit wordt k keer herhaald, waarbij elke vouw één keer als validatie dient. Middel de resultaten voor een stabielere schatting.

Veelvoorkomende varianten

• K-vouw, meestal vijf of tien vouwen
• Gestratificeerde k-fold, waarbij de klasseproporties behouden blijven
• Leave-one-out, k is gelijk aan het aantal steekproeven
• Tijdreeksen opgesplitst, met respect voor de chronologische volgorde

Kruisvalidatie kost rekenkracht. Het trainen van k modellen duurt k keer langer dan het trainen van één model. Bij grote datasets is één testset vaak voldoende. Bij kleine datasets is kruisvalidatie de kosten waard.