Pojedynczy podział na grupy testowe i treningowe może być mylący. Model może mieć szczęście lub pecha, w zależności od tego, które przykłady trafią do poszczególnych zestawów. Walidacja krzyżowa zmniejsza to ryzyko poprzez rotację danych, które służą jako zestaw testowy.

W k-krotnej walidacji krzyżowej dane są dzielone na k równych części. Model trenuje na k-1 częściach i waliduje na pozostałej. Powtórz k razy, przy czym każda walidacja służy jako jednokrotna walidacja. Uśrednij wyniki, aby uzyskać bardziej stabilną estymację.

Typowe warianty

• K-fold, zwykle pięcio- lub dziesięciokrotny
• Stratyfikowany k-fold, zachowujący proporcje klasowe
• Pozostaw jeden, k równa się liczbie próbek
• Podział szeregów czasowych z uwzględnieniem kolejności czasowej

Koszty walidacji krzyżowej są szacowane. Trenowanie k modeli zajmuje k razy więcej czasu niż trenowanie jednego. W przypadku dużych zbiorów danych często wystarczy pojedynczy zbiór wydzielony. W przypadku małych zbiorów danych, walidacja krzyżowa jest warta swojej ceny.