O singură divizare a seturilor de teste poate induce în eroare. Modelul ar putea avea noroc sau ghinion, în funcție de exemplele care apar în fiecare set. Validarea încrucișată reduce acest risc prin rotirea datelor care servesc drept set de testare.

În validarea încrucișată de k ori, datele sunt împărțite în k părți egale. Modelul se antrenează pe k-1 părți și validează pe partea rămasă. Se repetă de k ori, fiecare ori servind o singură dată ca validare. Se face media rezultatelor pentru o estimare mai stabilă.

Variante comune

• Pliere în K, de obicei cinci sau zece plieri
• Stratificat k-fold, păstrând proporțiile clasei
• Dacă se lasă o mostră, k este egal cu numărul de eșantioane
• Împărțirea seriilor temporale, respectând ordinea temporală

Validarea încrucișată costă. Antrenarea a k modele durează de k ori mai mult decât antrenarea unui singur model. Pe seturi de date mari, un singur set de rezervă este adesea suficient. Pe cele mici, validarea încrucișată merită cheltuiala.