Задача
Центрированные трёхмерные данные имеют covariance eigenvalues 7,2,1. Какова средняя squared reconstruction error после проекции только на первую principal component?
Оптимальная одномерная проекция
PCA выбирает направление с максимальной сохранённой variance — eigenvector для λ₁=7.
Потерянная variance
Ортогональные компоненты 2 и 3 отбрасываются. Поэтому
E||X−P₁X||²=λ₂+λ₃=2+1=3.
Доля сохранённого разброса
Общая variance 10, сохранено 7, то есть 70%; потеряно 30%.
Почему PCA оптимальна
Среди всех линейных одномерных ортогональных проекций первая PC минимизирует ожидаемую squared reconstruction error. Это не означает оптимальность для prediction target y, которого PCA не использует.
Редакционная практика по PCA в тематике mlearn_pro · CC BY 4.0.