Сплит-тест лендингов и офферов
Сплит-тест помогает проверить гипотезу о лендинге или оффере. Заранее определите метрику, контроль и условия завершения: отдельная удачная конверсия ещё не доказывает преимущество.
Гипотеза и контрольная группа
Сформулируйте одно изменение: например, другой лендинг при том же оффере и источнике. Первый вариант служит контролем. Сравнивайте аудитории за один период и с одинаковыми ограничениями по гео и устройствам. Одновременная замена источника, оффера и страницы не позволит понять причину различия.
Фиксированные доли трафика в A/B-тесте
Эксперименту нужны заранее заданные доли. Бандит меняет распределение по результатам, поэтому это другой сценарий. В inotrack при запуске теста поток с бандитом или приоритетами временно переходит на фиксированный сплит; после завершения исходный режим возвращается. Проверяйте фактические клики по вариантам: капы и доступность могут влиять на состав аудитории.
CR, EPC и достаточность данных
CR связывает число выбранных конверсий с кликами, EPC — доход с кликами. В отчёте теста статистический вывод строится по доле апрувов; EPC показан справочно. По умолчанию требуется минимум 200 кликов на вариант, но это технический порог, а не гарантия достаточной мощности для любого эффекта. Учитывайте задержку подтверждений.
Мультивариантный тест лендингов и офферов
Можно сравнить от двух до шести офферов или лендов с первым вариантом. Применяется поправка Холма–Бонферрони на множественные сравнения. Не добавляйте варианты после просмотра удачного результата без пересмотра плана: чем больше незапланированных проверок, тем легче принять случайность за закономерность.
Победитель, нет разницы или мало данных
Трекер различает победителя, отсутствие различий, недостаток данных и ситуацию с несколькими вариантами лучше контроля без однозначного лидера. «Нет разницы» не означает полную эквивалентность. Авто-стоп проверяется при открытии отчёта теста; это важно учитывать при наблюдении за экспериментом.
Как применить результат сплит-теста
После подтверждения команды «Применить победителя» его вес получает сумму весов вариантов теста, остальные сохраняются с нулевым весом; поток остаётся на фиксированном сплите. Проверьте маршрут и постбек после изменения. Результат относится к исследованной аудитории и периоду: рост ROI в будущем не гарантирован.
Вопросы
Сколько кликов нужно для A/B-теста?
Единого числа нет: нужны ожидаемая конверсия, размер эффекта и достаточное число подтверждений. Порог 200 кликов на вариант по умолчанию не заменяет план эксперимента.
Можно ли тестировать лендинги и офферы одновременно?
Возможности тестирования есть для обоих типов, но для понятной причинной интерпретации меняйте один фактор за эксперимент.
Читать дальше
Поставь inotrack на свой сервер
Установка одной командой на чистый VPS за 10–15 минут. Ключ — сразу после оплаты на сайте или бесплатный на 7 дней.
Вопросы — в Telegram @SmokeJung.