Где: Кабинет → A/B-тесты → ваш тест → вкладка «Результаты». Краткие цифры и график — по значку аналитики в списке тестов.
Таблица вариантов
- Показы — сколько посетителей увидели вариант.
- Конверсия — доля посетителей, которые оставили заявку (или кликнули — зависит от типа теста).
- В тесте с — с какой даты вариант участвует в тесте.
Если варианты добавлены в разное время — например, один заменил другой, — статистика каждого считается с даты его добавления. Сравнение честное, но периоды наблюдения не совпадают.
Есть ли настоящая разница
Под таблицей — вывод, достаточно ли данных, чтобы считать разницу между вариантами настоящей, а не случайной:
- Разница — насколько конверсия одного варианта выше другой;
- 95% доверительный интервал — в каких пределах, скорее всего, лежит настоящая разница. Если интервал целиком больше нуля — вариант действительно лучше;
- p-value — вероятность увидеть такую разницу случайно. Чем меньше, тем надёжнее; обычно ориентируются на значение меньше 0,05.
Пока данных мало, уверенного вывода не будет — наберитесь терпения: для надёжного результата обычно нужны сотни показов на каждый вариант.
Если у вариантов разные метрики успеха, значимость между ними не считается — цифры каждого варианта при этом верны.
Выбрать победителя
Когда победитель ясен, нажмите у него «Остановить тест и отдать весь трафик этому варианту». Тест остановится, а все посетители будут видеть лучший вариант.
Список тестов
В Кабинет → A/B-тесты у каждого теста видны статус («Активен» или «Остановлен») и лидер с его конверсией. Фильтр вверху показывает тесты нужного типа.