Условие
По четырём наблюдениям оценена логистическая регрессия с константой и одним признаком. Сохранились три пары (y,b), где b=P̂(y=1|x): (1;0,7), (−1;0,2), (−1;0,3). В четвёртой строке метка и вероятность потеряны. Выпишите правдоподобие, условие по константе и восстановите пропуски.
Правдоподобие
Пусть tᵢ=1[yᵢ=1], bᵢ=Λ(β₁+β₂xᵢ). Тогда L=∏bᵢ^{tᵢ}(1−bᵢ)^{1−tᵢ}, ℓ=Σ[tᵢlogbᵢ+(1−tᵢ)log(1−bᵢ)].
В конечном внутреннем максимуме без штрафа по константе выполняется Σ(tᵢ−bᵢ)=0.
Восстановление
Сумма известных t равна 1, сумма известных b — 1,2. Поэтому t₄−b₄=0,2. Вариант t₄=0 требовал бы b₄=−0,2 и невозможен. Значит, t₄=1, y₄=1, b₄=0,8.
Исправление обозначения в ключе
Источник даёт метку 1 и число 0,8, но называет последнее x₄. Из таблицы и score восстанавливается именно предсказанная вероятность b₄, а не исходный регрессор. Чтобы найти x₄, нужны ещё оценки β₁,β₂ и ненулевой β₂; они не заданы.
Условия применимости
Точное равенство сумм относится к обычному логистическому максимальному правдоподобию с константой и конечной оценкой. При штрафе по константе, численно незавершённой оптимизации или округлении вероятностей оно может не выполняться точно. В упражнении десятичные значения трактуются как заданные точные числа, как и в исходном ответе.
Борис Демешев и участники · Исходная таблица и ключ · CC BY 4.0. Числа сохранены; ошибочное имя восстановленной величины исправлено.