Задача
После PCA две компоненты имеют дисперсии 9 и 4. Как выполнить whitening?
Шаг масштабирования
Если z₁,z₂ уже некоррелированы, разделите их на стандартные отклонения:
w₁=z₁/3, w₂=z₂/2.
Тогда Var(w₁)=Var(w₂)=1, Cov(w₁,w₂)=0.
Матричная форма
Для covariance Σ=VΛVᵀ и центрированного x:
w=Λ^{-1/2}Vᵀx.
При положительных eigenvalues Cov(w)=I.
Проблема малых eigenvalues
Если λ очень мало, деление на √λ усиливает шум. Поэтому на практике используют отсечение компонент или regularized whitening.
Whitening меняет масштаб данных и не сохраняет исходные евклидовы расстояния, хотя PCA-поворот без масштабирования их сохраняет.
Редакционная практика по PCA/whitening mlearn_pro · CC BY 4.0.