Повторная выборка из выборки: ожидания, дисперсии и ковариации бутстрэпа

Условие

X₁,…,Xₙ независимы и равномерны на [0; 1]. После получения выборки из её значений равновероятно с возвращением выбирают X₁*,…,Xₙ*. Найдите моменты исходного среднего, повторных наблюдений и их среднего, а также Cov(Xᵢ, Xⱼ*) и Cov(X̄, X̄*).

Сборник указывает равенство отдельных средних и дисперсий Xᵢ* и Xᵢ. Остальной вывод ниже редакционный. Повторные выборы считаются независимыми при фиксированной исходной выборке.

Исходное среднее

Положим μ = 1/2 и σ² = 1/12. Тогда E(X̄) = μ = 1/2 и Var(X̄) = σ²/n = 1/(12n).

Одно повторное наблюдение

Без условия на исходные данные Xⱼ* имеет то же равномерное распределение, что и любой Xᵢ: случайный индекс выбирает один из одинаково распределённых элементов. Поэтому E(Xⱼ*) = 1/2, Var(Xⱼ*) = 1/12, как указано в источнике.

При известных исходных данных условное среднее повторного наблюдения равно X̄. Следовательно, Cov(Xᵢ, Xⱼ*) = Cov(Xᵢ, X̄) = σ²/n = 1/(12n) для любых индексов i и j.

Условная дисперсия повторного среднего

Обозначим sₙ² = (1/n)Σ(Xᵢ − X̄)². При фиксированной выборке это дисперсия одного повторного выбора. Условная независимость даёт E(X̄* | X₁,…,Xₙ) = X̄ и Var(X̄* | X₁,…,Xₙ) = sₙ²/n.

Безусловные моменты

По полному ожиданию E(X̄*) = 1/2. Для полной дисперсии учитываем оба источника случайности:

Var(X̄*) = E(sₙ²)/n + Var(X̄).

Поскольку E(sₙ²) = (n − 1)σ²/n, получаем Var(X̄*) = σ²(2n − 1)/n² = (2n − 1)/(12n²).

Ковариация двух средних равна Cov(X̄, X̄*) = Var(X̄) = 1/(12n).

Почему появляются разные дисперсии

Условная дисперсия описывает повторный отбор из уже известных данных. Безусловная дополнительно учитывает, что исходная выборка тоже меняется от эксперимента к эксперименту. Поэтому при большом n безусловная дисперсия повторного среднего примерно вдвое больше σ²/n; это не противоречит условному бутстрэп-расчёту.

Повторные наблюдения условно независимы, но без условия используют одну случайную исходную выборку. Для двух разных повторных позиций их безусловная ковариация равна σ²/n, а не нулю.

Математика и статистика.

Б. Демешев и участники · statistics_pro, 1.15 · CC0 1.0. Частичный ответ источника сохранён; полный вывод добавлен.