Сколько времени нужно на тест
Здесь чаще всего совершают одну и ту же ошибку — останавливают тест через два-три дня, как только один из вариантов вырывается вперёд. Проблема в том, что короткие периоды подвержены случайным колебаниям: будний и выходной день, время суток, разовый всплеск активности одной группы пользователей способны исказить картину.
Минимальный разумный срок теста — полный недельный цикл, чтобы учесть разницу в поведении аудитории по дням недели. Стандартный порог статистической значимости в маркетинге — 95% (то есть вероятность случайной ошибки не выше 5%) — тест не стоит останавливать, пока не набрано достаточно данных для этого порога, даже если промежуточный результат выглядит убедительно. У школы английского языка тест с формой на первом экране держали ровно две недели: первые четыре дня оба варианта шли почти вровень, и только к концу первой недели новая страница начала стабильно опережать старую.