Перечень вопросов
- Чем генеральная совокупность отличается от выборки?
- Что означает предположение iid?
- Что такое статистика и оценка параметра?
- Как определить несмещённость?
- Что такое состоятельность?
- Как связаны MSE, смещение и дисперсия?
- Каковы свойства выборочного среднего?
- Зачем в выборочной дисперсии делить на n−1?
- Что показывает эмпирическая функция распределения?
- Как применять метод моментов?
- Как построить функцию правдоподобия?
- Как найти оценку максимального правдоподобия?
- Что такое достаточная статистика?
- Что измеряет информация Фишера?
- Как использовать границу Рао — Крамера?
- Что утверждает метод дельты?
- Что означает доверительный уровень?
- Как строится t-интервал для нормального среднего?
- Как оценивать вероятность успеха по доле?
- Что такое нулевая и альтернативная гипотезы?
- Как правильно понимать p-значение?
- Как связаны доверительный интервал и тест?
- Чем различаются LR, Вальд и score-тест?
- Для чего нужны критерии согласия?
- Что меняется при множественных проверках?
- Как использовать bootstrap и где он может подвести?
Ответы к экзамену
1. Чем генеральная совокупность отличается от выборки?
Генеральная совокупность или вероятностная модель описывает изучаемые объекты и механизм их появления. Выборка — наблюдаемые данные, по которым делают выводы о модели. Размер выборки не равен размеру совокупности. Большая, но систематически смещённая выборка не становится репрезентативной автоматически: нужно учитывать отбор, пропуски и зависимость наблюдений.
2. Что означает предположение iid?
В стандартной модели X₁,…,Xₙ независимы и имеют одинаковое распределение Fθ. Независимость позволяет разложить совместную плотность в произведение, одинаковое распределение задаёт общий параметр. Это предположение не выполняется автоматически для временных рядов, семейных наблюдений или кластерной выборки. Если оно нарушено, стандартные формулы дисперсий и интервалов требуют изменения.
3. Что такое статистика и оценка параметра?
Статистика T(X₁,…,Xₙ) — измеримая функция данных, не содержащая неизвестного параметра. Оценка θ̂ — статистика, выбранная для приближения θ. До наблюдения данных она случайна, после подстановки получается число. Это число нельзя отождествлять с истинным параметром. Например, выборочное среднее оценивает ожидание, но не обязано совпадать с ним в конкретной выборке.
4. Как определить несмещённость?
Оценка несмещённа, если Eθθ̂=θ для всех допустимых θ, где ожидание берут по повторным выборкам. Это свойство процедуры, а не гарантия близости каждого результата к θ. Смещение равно Eθθ̂−θ. Несмещённая оценка может иметь большой разброс и проигрывать смещённой по среднеквадратичной ошибке.
5. Что такое состоятельность?
Оценка θ̂ₙ состоятельна, если при росте n сходится по вероятности к θ. Это асимптотическое свойство, которое не обещает малой ошибки при небольшом n. Несмещённость и состоятельность различаются: смещённая оценка может быть состоятельной, например когда её смещение и дисперсия стремятся к нулю, а несмещённая оценка с неуменьшающейся дисперсией может быть несостоятельной.
6. Как связаны MSE, смещение и дисперсия?
При конечном втором моменте MSEθ(θ̂)=Eθ(θ̂−θ)²=Varθ(θ̂)+(Eθθ̂−θ)². Разложение объясняет компромисс между разбросом и смещением. Сравнивать оценки по одной дисперсии корректно лишь при соответствующих одинаковых смещениях, например для несмещённых оценок. Потеря может быть иной, поэтому минимальная MSE не универсальный критерий любой задачи.
7. Каковы свойства выборочного среднего?
Для iid наблюдений с ожиданием μ и конечной дисперсией σ² имеем EX̄=μ и Var(X̄)=σ²/n. Среднее несмещённо и состоятельно при этих достаточных условиях. При зависимости дисперсия дополнительно содержит ковариации. Для тяжёлых хвостов без ожидания, например распределения Коши, стандартное рассуждение о среднем неприменимо.
8. Зачем в выборочной дисперсии делить на n−1?
Для iid выборки с конечным вторым моментом S²=Σ(Xᵢ−X̄)²/(n−1) несмещённо оценивает σ² при n≥2. После оценивания среднего остаётся n−1 степеней свободы. Версия с делением на n имеет ожидание (n−1)σ²/n. В нормальной модели именно она является ММП-оценкой дисперсии, поэтому несмещённость и максимизация правдоподобия дают разные ответы.
9. Что показывает эмпирическая функция распределения?
Fₙ(x)=n⁻¹ΣI{Xᵢ≤x} — доля наблюдений не больше x. Она ступенчата и является функцией распределения, даже если исходная модель непрерывна. Для фиксированного x в iid модели EFₙ(x)=F(x), Var(Fₙ(x))=F(x)(1−F(x))/n. Равномерная сходимость по всем x — отдельный результат, более сильный, чем сходимость в одной точке.
10. Как применять метод моментов?
Приравнивают выбранные теоретические моменты к выборочным и решают уравнения относительно параметров. Например, для Pois(λ) первый момент равен λ, поэтому λ̂=X̄. Нужно проверить существование используемых моментов, идентифицируемость параметров и допустимость решения. Если уравнений больше числа параметров, простое точное приравнивание может быть невозможно; нужна другая процедура.
11. Как построить функцию правдоподобия?
Правдоподобие L(θ;x) — совместная плотность или масса наблюдённых данных, рассматриваемая как функция θ при фиксированном x. Для iid данных это произведение fθ(xᵢ). Плотность и правдоподобие имеют разные аргументы, поэтому L не обязана интегрироваться в единицу по θ. Члены, не зависящие от θ, можно убрать при поиске максимума, сохраняя носитель модели.
12. Как найти оценку максимального правдоподобия?
ММП максимизирует L или логарифм ℓ на всём допустимом пространстве параметров. Уравнение ℓ′=0 даёт лишь кандидатов: проверяют границы, допустимость и максимум. В Бернулли-модели p̂=k/n, включая граничные случаи k=0,n. Для U[0,θ] максимум зависит от носителя и равен max Xᵢ; обычное внутреннее дифференцирование не решает эту задачу.
13. Что такое достаточная статистика?
Достаточная статистика сохраняет всю содержащуюся в выборке информацию о θ в смысле условного распределения выборки при её значении. Критерий факторизации: совместная плотность представляется gθ(T(x))h(x) с θ-независимым h. Для iid Бернулли сумма успехов достаточна для p. Достаточность не означает, что статистика автоматически несмещённа или оптимальна для любой потери.
14. Что измеряет информация Фишера?
В регулярной модели информация одного наблюдения I(θ)=Eθ[(∂ log fθ(X)/∂θ)²]; при нужных условиях она равна −Eθ[∂² log fθ(X)/∂θ²]. Для iid выборки информация складывается: Iₙ=nI. Она характеризует локальную чувствительность распределения к параметру. Равенства требуют возможности переносить производные под интеграл и других условий регулярности; меняющийся носитель может их нарушить.
15. Как использовать границу Рао — Крамера?
В регулярной одномерной модели для несмещённой оценки θ имеем Varθ(θ̂)≥1/Iₙ(θ) при соответствующих условиях. Достижение границы означает эффективность в указанном классе. Для несмещённой оценки g(θ) числитель меняется на (g′(θ))². Формулу нельзя механически применять к модели с зависимым от θ носителем или к произвольной смещённой оценке.
16. Что утверждает метод дельты?
Если √n(θ̂−θ) сходится по распределению к N(0,V), а g дифференцируема в θ, то √n(g(θ̂)−g(θ)) имеет предельное нормальное распределение с дисперсией (g′(θ))²V. Это локальная линейная аппроксимация. При g′(θ)=0 первый порядок вырождается: часто нужен другой масштаб и более высокий порядок разложения.
17. Что означает доверительный уровень?
Случайный интервал [L(X),U(X)] уровня 1−α покрывает фиксированный θ с вероятностью не меньше 1−α в рассматриваемой модели. После получения данных параметр не приобретает частотную вероятность находиться внутри уже фиксированных границ. Доверительный уровень характеризует процедуру в повторных выборках. Точный и асимптотический интервалы имеют разные гарантии.
18. Как строится t-интервал для нормального среднего?
Для iid N(μ,σ²) при неизвестной σ² статистика (X̄−μ)/(S/√n) имеет t(n−1). Интервал X̄±t₁₋α/₂,n−1S/√n точен при этой модели. Он требует n≥2 и ненулевого вычисленного масштаба для обычной записи. Подстановка нормального квантиля вместо t в малой нормальной выборке с неизвестной дисперсией даёт другую процедуру.
19. Как оценивать вероятность успеха по доле?
Для n независимых Бернулли-наблюдений с k успехами p̂=k/n. Точная дисперсия p̂ равна p(1−p)/n. Приближённый интервал Вальда использует p̂ и нормальный квантиль, но плохо работает при малом n и около 0 или 1. Интервал Уилсона обычно устойчивее; точные биномиальные интервалы могут быть консервативными. Обязательно укажите выбранный метод.
20. Что такое нулевая и альтернативная гипотезы?
H₀ и H₁ задают проверяемые множества параметров. До расчёта выбирают уровень α и статистику с известным или приближённым распределением при H₀. Ошибка первого рода — отвергнуть истинную H₀; второго — не отвергнуть её при заданной альтернативе. Мощность равна вероятности отвержения при альтернативе и зависит от конкретного эффекта и размера выборки.
21. Как правильно понимать p-значение?
p-значение — вероятность при H₀ получить результат не менее противоречащий H₀, чем наблюдённый, по заранее выбранному правилу экстремальности. Оно не является вероятностью истинности H₀ или величиной эффекта. При составной H₀ процедура должна учитывать неизвестные параметры. Для дискретных двусторонних тестов существуют разные соглашения, которые следует назвать.
22. Как связаны доверительный интервал и тест?
Для согласованной пары процедур двусторонний тест уровня α отвергает H₀:θ=θ₀ тогда и только тогда, когда θ₀ не входит в соответствующий интервал уровня 1−α. Это инверсия семейства тестов. Нельзя сопоставлять интервал одного метода с тестом другого и ожидать точного совпадения. Неотвержение гипотезы означает недостаточность выбранных данных для её отвержения, а не доказательство равенства.
23. Чем различаются LR, Вальд и score-тест?
LR сравнивает максимумы правдоподобия в ограниченной и полной моделях; Вальд измеряет отклонение неограниченной оценки от H₀ относительно её ковариации; score-тест использует наклон правдоподобия при H₀. В регулярных задачах они часто имеют одинаковую асимптотическую χ²-калибровку. В малых выборках различаются, а на границах или при нарушении идентифицируемости стандартная χ²-теория может не работать.
24. Для чего нужны критерии согласия?
Критерии согласия проверяют соответствие распределения выбранной модели. В χ²-критерии сравнивают наблюдённые и ожидаемые частоты по группам; оценивание параметров по тем же данным меняет степени свободы. В тесте Колмогорова стандартная калибровка для полностью заданного непрерывного распределения отличается от случая оценённых параметров. Неотвержение не доказывает, что модель единственно верна.
25. Что меняется при множественных проверках?
При большом числе тестов растёт вероятность хотя бы одного ложного отвержения. Поправка Бонферрони использует уровень α/m для m проверок и контролирует семейную вероятность ошибки без требования независимости. Контроль FDR решает другую задачу — ожидаемую долю ложных открытий среди отвержений при соответствующих условиях метода. Выбор семейства гипотез и поправки должен предшествовать выборочному показу удачных результатов.
26. Как использовать bootstrap и где он может подвести?
Непараметрический bootstrap многократно берёт выборки с возвращением из наблюдённых данных и пересчитывает статистику. Он приближает выборочную неопределённость, если процедура соответствует структуре данных и статистике. Для зависимых данных нужны специальные схемы, например блочные. Обычный bootstrap может быть некорректен для некоторых граничных или экстремальных статистик; большое число повторов не исправляет неподходящую модель ресэмплинга.
Разобранный пример и проверка
Из 10 независимых испытаний семь закончились успехом. Оценка p̂=7/10=0,7. Для 95%-го интервала Уилсона берём z≈1,959964 и получаем центр (p̂+z²/(2n))/(1+z²/n) и полуширину z√(p̂(1−p̂)/n+z²/(4n²))/(1+z²/n). Численные границы: примерно [0,397;0,892]. Это приближённая частотная процедура; её интерпретация не является апостериорной вероятностью параметра.
При H₀:p=1/2 двусторонний точный тест по отклонению |K−5| даёт p-value=P(K≤3)+P(K≥7)=11/32=0,34375. На уровне 5% H₀ не отвергается. Доля 0,7 сама по себе не доказывает, что вероятность успеха превышает 0,5.
Биномиальная сумма проверена точной арифметикой, а границы Уилсона — независимым расчётом в Python. Для невзаимозаменяемых или зависимых испытаний эта биномиальная модель требует пересмотра.
Как готовить устный ответ
Сначала сформулируйте определение и условия результата. Затем объясните, зачем он нужен, приведите короткий пример и назовите типичную ошибку. Формулу проверяйте на простом или граничном случае. У преподавателя может быть другой перечень тем; сопоставьте его с оглавлением этой страницы.
Источники тематического охвата
Перечень вопросов и все ответы составлены редакцией damirock.com. Официальные программы ниже использованы для сверки тем, а не как источник готовых ответов. Проверка источников: 8 октября 2026 года. НИУ ВШЭ: «Теория вероятностей и математическая статистика» — разделы оценивания параметров, линейных статистических моделей и проверки гипотез.
Проверить понимание на задачах
Выберите разбор по теме: условие, ход решения, проверка и типичная ошибка приведены отдельно.