Однократное разделение на обучающую и тестовую выборки может ввести в заблуждение. Модель может оказаться удачливой или неудачливой в зависимости от того, какие примеры попадут в каждый набор данных. Перекрестная проверка снижает этот риск за счет ротации данных, используемых в качестве тестового набора.

При k-кратной перекрестной проверке данные делятся на k равных частей. Модель обучается на k-1 частях и проверяется на оставшейся одной. Повторить k раз, при этом каждая часть используется один раз в качестве проверки. Усреднить результаты для получения более стабильной оценки.

Распространенные варианты

• K-образное складывание, обычно в пять или десять раз.
• Стратифицированный k-кратный метод с сохранением пропорций классов.
• Метод исключения одного образца, где k равно количеству выборок.
• Разделение временного ряда с соблюдением временного порядка.

Перекрестная проверка требует вычислительных затрат. Обучение k моделей занимает в k раз больше времени, чем обучение одной. На больших наборах данных часто достаточно одного контрольного набора. На небольших наборах данных перекрестная проверка оправдывает затраты.