Многорукий бандит: распределение трафика между креативами
Оптимальное распределение трафика между N креативами через Thompson sampling.
В обычном А/Б-тесте трафик делится поровну до самого конца, и половина показов уходит заведомо слабому варианту. Многорукий бандит перераспределяет поток по ходу: чем лучше вариант показывает себя, тем больше трафика получает, но остальные не отключаются полностью и продолжают проверяться. За счёт этого потери во время теста меньше, а результат приходит быстрее. Плата за удобство — менее строгая статистика: бандит оптимизирует результат, а не доказывает разницу. Если нужно именно доказательство для отчёта или решения о переделке, честнее провести обычный тест.
Как открыть
Инструмент работает внутри PRO-кабинета на ваших ключах Метрики и Директа — данные клиентов никуда не копируются. Доступ — от 990 ₽/мес, первые 15 дней бесплатно и без карты.
Бесплатно и без регистрации — прямо сейчас
Соседние инструменты этой же темы, считают в браузере.
Хочешь сравнить два креатива — сколько показов нужно для уверенного ответа.…
У тебя 100 заявок и 15 сделок — реально конверсия 9-23%, а не «ровно 15%».…
2000 симуляций будущего: насколько вероятно выйти в плюс при шуме в параметрах.…
Частые вопросы
Когда бандит лучше А/Б-теста?+
Когда важнее не потерять деньги во время проверки, чем получить строгий вывод: короткие акции, много вариантов креативов, быстрая ротация. Для решений, которые надо обосновать, лучше классический тест.
Сколько вариантов можно тестировать?+
Больше, чем в обычном тесте, — метод для того и придуман. Но каждый вариант требует данных: десяток креативов на маленьком трафике будут выбираться месяцами.
Директ так умеет сам?+
Отчасти: система сама смещает показы в сторону объявлений с лучшим прогнозом. Отдельный расчёт нужен, когда вы распределяете что-то за пределами одной группы объявлений — бюджеты, площадки, посадочные страницы.
Разобрать тему
Ещё в PRO по этой теме
- 🔗 Markov Chain атрибуция — Какой канал реально привёл клиента — с учётом всех заходов и распределением заслуги между каналами. Используется в Googl…
- 🎰 Bayesian A/B тест — Вместо «значимо/не значимо» — точная вероятность что вариант B лучше A.…