DamiRocK

5-fold cross-validation: сколько раз каждый объект бывает в validation

В обычной 5-fold CV каждый объект ровно один раз находится в validation и четыре раза в train; каждое обучение использует 80% данных.

Задача

Данные делятся на 5 непересекающихся folds примерно одинакового размера. Сколько раз каждый объект участвует в train и validation?

Ответ

Проводится 5 обучений. Каждый fold один раз становится validation.

Поэтому каждый объект:

1 раз — validation;
4 раза — train.

Каждое обучение использует примерно 4/5=80% данных.

Итоговая оценка

Метрику усредняют по пяти validation folds, лучше с учётом размеров folds, если они различаются.

Настройка и честная оценка

Если CV используется для выбора hyperparameters, тот же средний CV-score становится оптимистичным как окончательная оценка выбранной модели. Для строгой оценки используют внешний test-set или nested CV.

Для временных рядов случайное перемешивание folds может нарушать порядок времени и создавать leakage; нужна временная схема.

Редакционная практика по model evaluation mlearn_pro · CC BY 4.0.

Reading preferences

Appearance
Contrast
More options

Saved only in this browser. Your device’s reduced-motion setting is always respected. Browser zoom works throughout the site.