LOOCV errors: k=1 → 4; k=3 → 1
Условие
Красные колонии: (−1,1), (1,−1), (1,1). Чёрная: (0,0). Сравните 1-NN и 3-NN и выберите k∈{1,3} по leave-one-out cross-validation.
3-NN
В полной выборке среди любых трёх ближайших из четырёх точек либо присутствуют две или три красные точки. Поэтому majority vote всегда красный: вся плоскость классифицируется как красная — вывод источника.
1-NN и область чёрного класса
Точка (x,y) ближе к (0,0), чем к каждой красной, когда одновременно
y≤x+1, y≥x−1, x+y≤1.
Это неограниченная область, уходящая влево-вниз. Ключ называет её «прямоугольником, бесконечным влево вниз»; точные неравенства показывают, что геометрически это пересечение трёх полуплоскостей, а не буквальный прямоугольник.
LOOCV при k=1
Если убрать любую красную точку, ближайшей к ней среди оставшихся оказывается чёрная (0,0), поэтому возникает ошибка. Если убрать чёрную, все оставшиеся точки красные, и она тоже классифицируется неверно. Итого 4 ошибки.
LOOCV при k=3
После удаления одного наблюдения остаются ровно три. Для удалённой красной majority среди training — две красные против одной чёрной, прогноз верен. Для удалённой чёрной training состоит из трёх красных, прогноз неверен. Итого 1 ошибка.
Поэтому источник выбирает k=3.
Борис Демешев и участники · mlearn_pro, задача 126 · CC BY 4.0. Ошибки CV и k=3 сохранены; геометрическая формулировка области уточнена.