Условие
Для точек (0,1), (1,2), (2,2) найдите прямую y≈a+bx, минимизирующую сумму квадратов ошибок.
Решение по шагам
Средние x̄=1, ȳ=5/3. Наклон b=Σ(x−x̄)(y−ȳ)/Σ(x−x̄)²=1/2. Свободный член a=ȳ−bx̄=7/6. Предсказания равны 7/6,5/3,13/6.
Остатки «наблюдение минус прогноз» равны −1/6,1/3,−1/6. Их сумма и сумма остатков, умноженных на x, равны нулю: это нормальные уравнения для модели с константой. Сумма квадратов равна 1/6.
Проверка результата
Матрица X со столбцами единиц и x удовлетворяет Xᵀr=0. Независимое решение системы XᵀXβ=Xᵀy даёт те же a,b.
Типичная ошибка
МНК-прямая обычно не проходит через каждую точку. Нулевые суммы остатков не означают, что все индивидуальные ошибки нулевые.
Что даёт этот метод
Геометрически прогноз Xβ — ортогональная проекция наблюдений на пространство столбцов X. Это связывает регрессию с проекциями.
Дальше по теме
Линейная алгебра: другие задачи и разборы.
Учебное условие и объяснение сформулированы редакцией damirock.com. Это самостоятельный разбор, а не официальный билет или ключ экзамена. Числа относятся к модели задачи.