Une simple division des données en ensembles d'entraînement et de test peut induire en erreur. Le modèle peut être plus ou moins performant selon les exemples qui se retrouvent dans chaque ensemble. La validation croisée réduit ce risque en faisant tourner les données utilisées pour l'ensemble de test.

Dans la validation croisée à k plis, les données sont divisées en k parties égales. Le modèle est entraîné sur k-1 parties et validé sur la partie restante. On répète l'opération k fois, chaque pli servant une fois de validation. On calcule la moyenne des résultats pour obtenir une estimation plus stable.

variantes courantes

• K-fold, généralement cinq ou dix fois
• Répartition stratifiée k-fold, préservant les proportions de classes
• Validation par exclusion d'un élément, k étant égal au nombre d'échantillons
• Séparation de la série temporelle, en respectant l'ordre temporel

Le coût de la validation croisée est calculé. L'entraînement de k modèles prend k fois plus de temps que celui d'un seul. Sur les grands ensembles de données, un seul ensemble de validation est souvent suffisant. Sur les petits ensembles, la validation croisée justifie son coût.