При анализе нам важно убедиться, что наши результаты имеют статистическую значимость, что у них есть надежные научные доказательства.
Чтобы проверить этот момент, нужно использовать P-значение, которое мы изучим в этом уроке.
Вспомним задачу про интерфейсы A и B. Чтобы определить лучший из них, мы разделили пользователей на две группы, показав им разные версии интерфейса. Мы предположили, что эти две выборки независимы друг от друга. Поэтому мы решили, что значения в каждой из групп тоже не зависят друг от друга.
Ранее в курсе мы сделали ставку на интерфейс B, а сегодня докажем статистическую значимость этого решения. Следует понимать, что мы не можем гарантировать абсолютную точность результатов наших исследований. Поэтому нужно оценить, насколько результаты статистически значимы. Это важно, потому что мы хотим учесть риск совершения ошибок. Ошибки могут быть двух типов:
- Ошибка первого рода — мы отвергаем нулевую гипотезу, хотя она на самом деле верна
- Ошибка второго рода — мы не отвергаем нулевую гипотезу, хотя она на самом деле неверна
Оценим уровень риска с заданным уровнем надежности, который определяется уровнем значимости.
Уровень значимости — это процент, который показывает, насколько уверенно мы хотим делать выводы на основе наших данных. Обычно уровень значимости выбирается в диапазоне от 0,001 до 0,05, что соответствует доверительному уровню от 99% до 95%.
Перейдем к P-значению — это вероятность, что полученные нами результаты случайны. Мы сравниваем P-значение с выбранным уровнем значимости. Если P-значение меньше уровня значимости, то результат можно считать статистически значимым.
График нормального распределения показывает, что основная часть результатов должна лежать в центральной области, и мы хотим, чтобы P-значение было как можно меньше, чтобы избежать случайных факторов. Сравнивая P-значение с уровнем значимости, мы делаем вывод о статистической значимости результатов.
Сравнение P-значения и статистической значимости
Поговорим подробнее о P-значении. Оно представляет собой вероятность совершения ошибки при отклонении нулевой гипотезы. Это отклонение происходит, когда мы принимаем первую нулевую гипотезу, но на самом деле эта гипотеза неверна.
Чтобы определить статистическую значимость результатов, мы сравниваем P-значение с уровнем значимости, который обычно равен 0,01 или 0,05 и так далее. Существует таблица, которая показывает, какому уровню значимости соответствует какое значение P-значения. Например:
- Если P-значение ниже 0,03, то результаты считаются надежными и статистически значимыми
- Если P-значение находится между 0,04 и 0,05, то оно на пороговом значении — мы сами решаем, доверять ли таким данным
- Если P-значение находится выше 0,05, то результаты не считаются статистически значимыми
Обычно мы ориентируемся на уровень значимости 0,05, то есть принимаем 5% вероятность ошибки.
Для полного доступа к курсу нужен базовый план
Базовый план откроет полный доступ ко всем курсам, упражнениям и урокам Хекслета, проектам и пожизненный доступ к теории пройденных уроков. Подписку можно отменить в любой момент.
