Задача
Данные делятся на 5 непересекающихся folds примерно одинакового размера. Сколько раз каждый объект участвует в train и validation?
Ответ
Проводится 5 обучений. Каждый fold один раз становится validation.
Поэтому каждый объект:
1 раз — validation;
4 раза — train.
Каждое обучение использует примерно 4/5=80% данных.
Итоговая оценка
Метрику усредняют по пяти validation folds, лучше с учётом размеров folds, если они различаются.
Настройка и честная оценка
Если CV используется для выбора hyperparameters, тот же средний CV-score становится оптимистичным как окончательная оценка выбранной модели. Для строгой оценки используют внешний test-set или nested CV.
Для временных рядов случайное перемешивание folds может нарушать порядок времени и создавать leakage; нужна временная схема.
Редакционная практика по model evaluation mlearn_pro · CC BY 4.0.