Вопрос
Может ли применение PCA к признакам повысить accuracy дерева решений, хотя PCA без отброса компонент является обратимым линейным преобразованием и не добавляет новой информации?
Ответ источника
Да, может.
Причина
Обычное дерево делает split вида x_j<c, то есть границы параллельны координатным осям. Если истинное разделение идёт по диагональному направлению, дерево вынуждено аппроксимировать его ступенчатой последовательностью многих узлов.
PCA поворачивает координаты. Если важное направление совпадает или становится ближе к одной главной компоненте, та же граница может быть описана одним или несколькими простыми осевыми split.
Контрпример
Представьте вытянутое облако точек вдоль диагонали x₁≈x₂, а класс определяется знаком x₁+x₂. После поворота одна новая координата пропорциональна x₁+x₂, и порог по ней непосредственно разделяет классы.
Не универсальное улучшение
PCA не использует метки y и выбирает направления максимальной дисперсии, а не максимальной предсказательной силы. Поэтому он может помочь, не изменить или ухудшить дерево — особенно если отбросить компоненты с малой дисперсией, содержащие важный сигнал.
Борис Демешев и участники · mlearn_pro, задача 135 · CC BY 4.0. Ответ источника сохранён; геометрический пример добавлен.