Задание источника
Известно сингулярное разложение X=UDVᵀ. Найдите разложения XᵀX, (XᵀX)⁻¹, (XᵀX)⁻¹Xᵀ и X(XᵀX)⁻¹Xᵀ.
В ключе нет ответа. Далее — редакционный вывод для X размера n×k полного столбцового ранга, n≥k, с сокращённым SVD: UᵀU=I_k, VᵀV=I_k, D=diag(d₁,…,d_k), dⱼ>0.
Матрица Грама и её обратная
XᵀX=VD²Vᵀ. Поэтому собственные и сингулярные значения этой положительно определённой матрицы — dⱼ².
(XᵀX)⁻¹=VD⁻²Vᵀ. Если dⱼ записаны по убыванию, обратные квадраты идут по возрастанию. Чтобы представить стандартное SVD с убывающей диагональю, одновременно переставьте соответствующие столбцы обоих V.
Матрица оценки коэффициентов
(XᵀX)⁻¹Xᵀ=VD⁻¹Uᵀ. Её размер k×n; ненулевые сингулярные значения 1/dⱼ. Левая система направлений теперь задаётся V, правая — U.
Проектор на пространство регрессоров
H=UUᵀ. Сокращённое разложение имеет k единичных сингулярных значений. В полном разложении дополните U до ортогональной матрицы [U,U⊥]; диагональ равна diag(I_k,0_{n−k}).
Проверка ограничений
Обратная матрица Грама существует только при положительных dⱼ. Нулевые сингулярные значения нельзя просто обратить. Для матрицы неполного ранга можно определить псевдообратную, но это отдельное расширение условия. Проектор зависит от столбцового пространства U, а не от величин ненулевых dⱼ.
Борис Демешев и участники · Исходное задание · CC BY 4.0. Решение редакции.