Задача
Пять ближайших соседей имеют метки (1,1,0,1,0) и расстояния (1,2,2,4,5). Найдите прогноз обычного 5-NN и взвешенного k-NN с весами 1/d.
Обычное голосование
За класс 1 подано три голоса, за класс 0 — два. Поэтому ŷ=1.
Взвешенное голосование
Вес класса 1:
1/1+1/2+1/4=1,75.
Вес класса 0:
1/2+1/5=0,70.
Снова выбирается класс 1.
Почему масштаб признаков важен
k-NN использует расстояния непосредственно. Если один признак измеряется тысячами, а другой долями единицы, первый может почти полностью определять ближайших соседей. Стандартизация часто нужна до поиска соседей.
Слишком малое k повышает variance, слишком большое — сглаживает локальную структуру. Значение k обычно выбирают по validation/CV, а не по обучающей accuracy.
Редакционная практика по nearest-neighbor методам в тематике mlearn_pro · CC BY 4.0.