Байесовский А/Б-тест: вероятность, что вариант B лучше
Вместо «значимо/не значимо» — точная вероятность что вариант B лучше A.
Классический А/Б-тест отвечает на неудобный вопрос: «насколько странны эти данные, если разницы нет». Отсюда и путаница с p-значением, и соблазн остановить тест, как только он показал нужное. Байесовский подход отвечает на вопрос, который и задаёт бизнес: какова вероятность, что вариант B лучше A, и на сколько процентов. Результат читается прямо — «B лучше с вероятностью 87%, ожидаемый выигрыш 12%», и решение принимается с понятной ценой ошибки. Подглядывать в такой тест менее опасно, но не бесплатно: маленькая выборка даёт широкий разброс, и уверенность в 60% — это почти монетка.
Как открыть
Инструмент работает внутри PRO-кабинета на ваших ключах Метрики и Директа — данные клиентов никуда не копируются. Доступ — от 990 ₽/мес, первые 15 дней бесплатно и без карты.
Бесплатно и без регистрации — прямо сейчас
Соседние инструменты этой же темы, считают в браузере.
Хочешь сравнить два креатива — сколько показов нужно для уверенного ответа.…
У тебя 100 заявок и 15 сделок — реально конверсия 9-23%, а не «ровно 15%».…
2000 симуляций будущего: насколько вероятно выйти в плюс при шуме в параметрах.…
Частые вопросы
Чем байесовский тест отличается от обычного?+
Обычный отвечает «отличается или нет» на заданном уровне значимости. Байесовский даёт вероятность превосходства и размер выигрыша. Второе проще применять: решение принимается по ожидаемой выгоде, а не по факту прохождения порога.
При какой вероятности можно останавливать тест?+
Обычный ориентир — 90–95% при заметном размере выигрыша. Если разница мизерная, высокая вероятность ничего не даёт: выигрыш в доли процента не стоит внедрения.
Можно ли смотреть результат каждый день?+
Смотреть можно, останавливаться по первому всплеску нельзя. Ранние данные шумят, и решение по ним чаще ошибочно. Заранее прикиньте нужный объём и не сокращайте его вдвое из нетерпения.
Разобрать тему
Ещё в PRO по этой теме
- 🔗 Markov Chain атрибуция — Какой канал реально привёл клиента — с учётом всех заходов и распределением заслуги между каналами. Используется в Googl…
- 🎚 Media Mix Modeling — Оптимальное распределение бюджета между каналами с учётом насыщения.…