Условие
В switchback-эксперименте воздействие меняется каждые 51 минуту: весь временной интервал получает одну метку. Как строить перестановочные выборки: независимо переназначать клиентов или переставлять метки целых интервалов?
Ответ источника
Второй вариант предпочтительнее: переставлять метки временных интервалов.
Почему клиентский уровень неверен
Клиенты, пришедшие в один реальный интервал, разделяют одно назначение и могут иметь общие временные факторы. Независимая перестановка их меток создаёт псевдоданные, которые экспериментальный дизайн никогда не мог породить.
Такая процедура искусственно увеличивает число независимых единиц рандомизации и обычно занижает дисперсию нулевого распределения. Источник предупреждает, что это ведёт к избыточным ложным обнаружениям эффекта.
Единица рандомизации
Переставляйте именно блоки, которым реально назначалось воздействие. Тогда все клиенты одного блока получают одинаковую переставленную метку, и структура зависимости внутри блока сохраняется.
Ограничение
Даже блочная перестановка должна уважать фактический механизм эксперимента: если назначения зависели от времени суток, чередовались по фиксированному расписанию или использовали стратификацию, допустимые перестановки должны отражать это. «Переставить интервалы» не означает игнорировать ограничения дизайна.
statistics_pro 10.5 · CC0 1.0 · рекомендация источника сохранена; rationale развёрнут.