TSS=ESS+SSR, если 1∈col(X)
Вопрос источника
При каких условиях выполняется TSS=ESS+SSR?
Ответ сборника
Либо в регрессию включена константа, либо единичный столбец можно получить линейной комбинацией регрессоров. Пример — индикаторы всех возможных значений категориальной переменной.
Редакционное доказательство
Определим TSS=‖y−ȳ1‖², ESS=‖ŷ−ȳ1‖², SSR=‖y−ŷ‖². Разложим y−ȳ1=(ŷ−ȳ1)+û. По МНК остаток û ортогонален пространству столбцов X. Если 1 лежит в этом пространстве, туда же входит ŷ−ȳ1, поэтому перекрёстное произведение равно нулю.
Теорема Пифагора даёт ‖y−ȳ1‖²=‖ŷ−ȳ1‖²+‖û‖². Отдельный столбец из единиц — лишь один способ обеспечить требуемое включение.
Полный набор индикаторов
Если каждый объект принадлежит ровно одной из g категорий, сумма g индикаторных столбцов равна 1. Регрессия без отдельной константы, но со всеми этими столбцами содержит константу в своей линейной оболочке. Добавлять ещё один единичный столбец не нужно: он создал бы избыточность.
Граница утверждения
Условие источника гарантирует разложение для любого y. Для отдельной случайно выбранной выборки равенство может выполниться и без такого устройства X, например при нулевых остатках. Поэтому оно не заявляется необходимым для каждого конкретного набора чисел. Если используются нецентрированные определения TSS или ESS, нужно отдельно согласовать обозначения.
Борис Демешев и участники · Исходный вопрос и ответ · CC BY 4.0. Доказательство и область гарантии добавлены.