R²~Beta((k−1)/2,(n−k)/2) при чистом шуме
Два задания источника
В первой задаче истинный отклик y=u, ошибки независимы N(0,σ²), но оценивается регрессия на X. Требуются законы ȳ, Σyᵢ²/σ², Σŷᵢ²/σ², nȳ²/σ², TSS/σ², SSR/σ² и ESS/σ². Во второй задаче X включает константу, все истинные наклоны равны нулю; требуется распределение R².
Ключи не заполнены. Далее — редакционное решение при фиксированной матрице X ранга k, 1<k<n. Для стандартного разложения TSS предполагается, что константа входит в пространство X.
Чистый шум
ȳ∼N(0,σ²/n); Σyᵢ²/σ²∼χ²_n; Σŷᵢ²/σ²∼χ²_k; nȳ²/σ²∼χ²₁; TSS/σ²∼χ²_{n−1}; SSR/σ²∼χ²_{n−k}; ESS/σ²∼χ²_{k−1}.
Каждая сумма является квадратом длины нормальной проекции. Матрицы H−J/n и I−H проецируют на ортогональные пространства рангов k−1 и n−k, поэтому ESS/σ² и SSR/σ² независимы.
Распределение R²
Если истинный отклик имеет только постоянное среднее, центрирование убирает его. Тогда R²=ESS/(ESS+SSR) — доля одной из двух независимых χ²-величин. Поэтому R²∼Beta((k−1)/2,(n−k)/2).
В частности, E(R²)=(k−1)/(n−1). Даже при отсутствии настоящей связи обучающий R² в среднем положителен и растёт с числом регрессоров.
Ограничения
Без константы законы необработанных норм проекций сохраняются, но указанное разложение центрированных ESS и TSS и бета-формула не следуют автоматически. При k=1 объяснённая центрированная сумма равна нулю, а R² вырожден в нуле; при k=n остаточная степень свободы исчезает.
Борис Демешев и участники · Нормальные суммы, закон R² · CC BY 4.0. Решение редакции.