Условие
Зависимая переменная равна 0,0,1,1, признак IQ — 50,60,100,120. Требуется оценить логит-модель с константой методом максимального правдоподобия.
Ответ источника
Конечное решение не находится: наклон стремится к +∞, свободный член — к −∞. Данные полностью разделяются по признаку.
Редакционное доказательство
Выберите порог c строго между 60 и 100, например c=80. Рассмотрим коэффициенты β₂=t, β₁=−ct при t>0. Линейный индекс равен t(IQ−c).
Для первых двух наблюдений он стремится к −∞, прогноз вероятности единицы — к нулю. Для последних двух индекс стремится к +∞, прогноз — к единице. Каждый множитель правдоподобия правильного класса стремится к 1, поэтому L→1, ℓ→0.
При любых конечных β логистические вероятности строго между 0 и 1. Поэтому L<1 и верхняя грань не достигается конечной парой коэффициентов. Это не просто медленная работа оптимизатора.
Почему нет единственной «огромной» оценки
Разные c внутри разделяющего интервала дают разные расходящиеся последовательности с той же предельной подгонкой. Остановившийся алгоритм может вернуть большие конечные числа, но они не являются уникальным максимизатором исходной задачи.
Что меняет модель
Штраф на коэффициенты или другой метод оценивания может дать конечный результат, однако изменяет критерий и требует отдельного выбора параметров. Источник просит обычное максимальное правдоподобие; здесь не подставляется произвольная регуляризация как будто она входила в условие.
IQ в этой задаче — только числовая учебная переменная. Четыре искусственных наблюдения не обосновывают содержательных выводов о людях или их способностях.
Борис Демешев и участники · Исходные четыре наблюдения · CC BY 4.0. Ответ сохранён; последовательность коэффициентов показана редакцией.