В этом уроке мы рассмотрим наиболее распространенную ошибку в AB-тестировании — подглядывание. Мы разберем, что это такое, какие риски она несет, и какие варианты решения для нее существуют.
Прежде всего вспомним, какие этапы AB-тестирования мы уже прошли. Мы определили цели, выбрали метрику, разработали гипотезу и установили временные рамки. Затем мы провели эксперимент, проанализировали результаты и получили статистически значимый результат.
Теперь, предположим, что на двадцатый день мы получили статистически значимый результат и решили досрочно завершить эксперимент, потому что он выглядит успешным. Это и есть ошибка подглядывания. Она искажает итоговый результат и приводит к неверным выводам, потому что:
- Так мы меняем длительность эксперимента, а это один из ключевых параметров эксперимента. Здесь все работает так же, как и с другими ключевыми параметрами — вряд ли увеличение выборки посреди эксперимента может дать надежные результаты
- Так мы рискуем сделать ошибку первого рода (ложноположительный результат). Это связано с тем, что вероятность обнаружения статистически значимой разницы увеличивается с каждым дополнительным взглядом на данные
- Так мы делаем выводы о промежуточном этапе. Эта информация нерепрезентативна для всего эксперимента
Чем чаще мы подглядываем результаты эксперимента и принимаем решения на основе промежуточных данных, тем выше вероятность ошибки и искажения результатов. В этом и есть вся суть ошибки подглядывания.
Перечислим другие распространенные ошибки:
- Смена настроек до завершения тестирования
- Изменение размера выборки
- Частые тестирования на одних и тех же данных
- Ненормальное распределение входных данных
Чтобы предотвратить эти ошибки, нужно строго следовать заранее установленным параметрам эксперимента и не менять их до завершения. Если входные данные оказываются ненормальными или неподходящими по размеру, нужно начать эксперимент заново на другой выборке.
Используя все эти принципы, вы сможете правильно проводить AB-тестирование, получать надежные результаты и принимать обоснованные решения на основе данных эксперимента.
Для полного доступа к курсу нужен базовый план
Базовый план откроет полный доступ ко всем курсам, упражнениям и урокам Хекслета, проектам и пожизненный доступ к теории пройденных уроков. Подписку можно отменить в любой момент.
