Eine einfache Aufteilung in Trainings- und Testdaten kann irreführend sein. Je nachdem, welche Beispiele in den jeweiligen Datensätzen landen, kann das Modell Glück oder Pech haben. Kreuzvalidierung reduziert dieses Risiko, indem die Testdaten regelmäßig gewechselt werden.

Bei der k-fachen Kreuzvalidierung werden die Daten in k gleich große Teile aufgeteilt. Das Modell wird mit k-1 Teilen trainiert und mit dem verbleibenden Teil validiert. Dieser Vorgang wird k-mal wiederholt, wobei jede Teilung einmal zur Validierung dient. Die Ergebnisse werden gemittelt, um eine stabilere Schätzung zu erhalten.

Häufige Varianten

• K-Faltung, typischerweise fünf oder zehn Faltungen
• Stratifizierte k-fache Faltung unter Beibehaltung der Klassenanteile
• Leave-one-out-Verfahren, k entspricht der Anzahl der Stichproben
• Aufteilung der Zeitreihe unter Berücksichtigung der zeitlichen Reihenfolge

Die Kreuzvalidierung ist rechenintensiv. Das Training von k Modellen dauert k-mal länger als das Training eines einzelnen Modells. Bei großen Datensätzen genügt oft ein einzelner Validierungsdatensatz. Bei kleinen Datensätzen lohnt sich die Kreuzvalidierung trotz des Aufwands.