Исходный вопрос и ответ
В наборе данных и отклик, и предикторы бинарны. Три богатыря оценивают логит, обычный МНК и максимально глубокое классификационное дерево, Змей — пробит. Источник утверждает, что прогнозы всех методов равны внутригрупповым долям единиц.
Такой вывод требует насыщенной модели и не верен автоматически для нескольких бинарных признаков. Ниже указаны точная область равенства и редакционный контрпример.
Когда ключ верен
При одном индикаторе и константе существуют две группы. МНК прогнозирует их средние, а логит и пробит с конечными коэффициентами могут независимо воспроизвести две доли, лежащие внутри (0,1). Дерево с разбиением по этому индикатору даёт те же доли.
Для нескольких признаков равенство сохраняется, если модель включает отдельный параметр для каждой наблюдаемой комбинации — например, полный набор взаимодействий — и дерево действительно разделяет все соответствующие ячейки.
Контрпример без взаимодействий
Пусть четыре комбинации двух бинарных признаков имеют одинаковую численность и доли единиц 0,1;0,2;0,3;0,9 в порядке 00,01,10,11. Обычный МНК только с константой и двумя главными эффектами даёт 0,−0,? — такие значения нельзя угадывать по долям: нужен расчёт.
Точный расчёт даёт 0,−0,? только при ошибочной формуле. Корректные прогнозы: −0,025;0,325;0,425;0,775. Они получаются из среднего 0,375 и эффектов первого признака 0,45, второго 0,35.
Уже первый прогноз отрицателен, тогда как логит и пробит при конечных параметрах дают вероятности строго между 0 и 1. Поэтому все четыре метода не могут совпасть на этих данных. Дерево, разделившее все ячейки, воспроизведёт исходные доли.
Дополнительное ограничение дерева
Даже максимальная допустимая глубина не гарантирует фактическое разбиение: алгоритм может остановиться по приросту критерия или минимальному размеру узла. Чистые ячейки также создают граничные оценки для логита и пробита. Эти детали в кратком ключе отсутствуют и должны быть явно оговорены.
Борис Демешев и участники · Исходное утверждение · CC BY 4.0. Область равенства уточнена; контрпример редакции.