PCA max variance ↔ λ_max; reverse PCA starts from λ_min
Задача источника
Предложен метод «бесполезных компонент»: первая линейная комбинация единичной длины имеет минимальную выборочную дисперсию; следующая ортогональна первой и снова минимизирует дисперсию, и так далее. Как он связан с PCA?
Ответ источника
Это те же компоненты, только в обратном порядке.
Отношение Релея
Для центрированного вектора признаков с ковариационной матрицей S дисперсия компоненты wᵀX при ||w||=1 равна
Var(wᵀX)=wᵀSw.
Максимум отношения Релея достигается на eigenvector максимального eigenvalue — это первая PCA-компонента. Минимум достигается на eigenvector минимального eigenvalue.
Последовательная ортогональность
После выбора минимального eigenvector ограничение ортогональности исключает его направление. Следующий минимум достигается на eigenvector второго снизу eigenvalue, затем третьего и т.д.
Если λ₁≥λ₂≥…≥λ_d, обычный PCA выдаёт v₁,v₂,…,v_d, а описанный метод — v_d,v_{d−1},…,v₁.
Кратные eigenvalues
При одинаковых собственных значениях конкретные базисные векторы внутри соответствующего eigenspace не уникальны. Поэтому «те же компоненты» следует понимать как те же собственные подпространства, с обратным порядком уровней дисперсии.
Борис Демешев и участники · mlearn_pro, задача 75 · CC BY 4.0. Ответ источника сохранён; спектральное объяснение добавлено.