Задача
T=100 базовых прогнозов имеют одинаковое среднее и Var=25, независимы. Найдите дисперсию среднего ансамбля.
Независимый случай
Var[(1/T)ΣZ_t]=(1/T²)T·25=25/T=0,25.
Если модели коррелированы
При общей попарной корреляции ρ и одинаковой variance σ²:
Var(mean)=σ²[ρ+(1−ρ)/T].
Например, при ρ=0,2 и T=100 результат 25[0,2+0,8/100]=5,2, а не 0,25.
Смысл random forest
Bagging выигрывает сильнее, когда базовые модели и достаточно вариативны, и не слишком коррелированы. Random feature selection в forest помогает уменьшить корреляцию деревьев.
Редакционная практика по ensembles mlearn_pro · CC BY 4.0.