Как проводить A-B тестирование и анализировать результаты? Важные аспекты

Что такое A-B тестирование?

А-В тестирование или сплит-тестирование – это инструмент, используемый с целью увеличения конверсии, основываясь на сравнительных характеристиках/ факторах изменяемого параметра. Например, у вас есть посадочная страница и вы отслеживаете её показатели эффективности. Перепишите заголовок на главном экране и показатели эффективности будут отличаться от показателей прошлого периода (до внесения изменений). Могут стать выше, а могут спуститься вниз.

Нужно ли проводить A-B тестирование?

Конечно нужно! Как по-другому понять, что именно это объявление отрабатывает себя хорошо? Возможно, существует другой заголовок на сайте, который принесет заявок и денег больше, чем действующий? Как увеличить конверсию рекламы/ объявления/ посадочной страницы? Для решения этих вопросов и проводится тестирование.

Зачем проводить А-В тесты/ сплит-тестирования?

• во-первых, всегда нужно стремиться улучшать результаты. Нет предела совершенству, и ваше «идеальное объявление», как правило, можно улучшить и поднять показатели эффективности. К чему и нужно стремиться. Попробуйте спрогнозировать как изменятся ваши показатели, если улучшить рекламное объявление хотя бы на 1-2%? Увеличение отобразится на количестве заявок, на выручке и прибыли без увеличения расходов на рекламу.
• во-вторых, есть понятие выгорания, когда креатив больше не цепляет аудиторию. Конечно, можно пустить всё на самотек и оставить как есть - «оно же приносит заявки». Но, это не наш метод (и вам не советуем его придерживаться), поэтому напрягаем свои извилины, собираем фокус-группу и вперед на мозговой штурм.

Как правильно проводить A-B тесты?

Ключевое в любом тестировании - отслеживать результаты. Спрогнозировать что приведет заинтересованную аудиторию на ваш сайт довольно сложно. Можно сделать несколько разных креативов, запустить рекламу и через какое-то время посмотреть, как эти действия себя проявили. В данном случае ваши объявления чередуют сами поисковики, без вашего участия. По окончанию теста, в интерфейсе отображаются показатели того или иного объявления. Там легко отследить: количество показов и кликов, расход, среднюю цену клика, количество и % конверсий, ctr, % отказов. На скриншоте аккаунт в Яндекс.Директ.

Важно понимать, если вы запускаете одномоментно тестирование разных креативов, что изначально при запуске, роботы чередуют объявления не в равной мере. Какому-то объявлению отдают предпочтение и показывают его чаще остальных. На скриншоте выше ярко видно, что третье объявление показывалось чаще других, при пониженном CTR. Поэтому, отдавать роботу поисковых систем возможность самому принимать решение по выбору креативов нельзя. Это как прийти в казино и отдать свои деньги крупье, чтобы он сам выставлял за вас «выигрышные» ставки.

Если вы хотите протестировать 3 разных креатива, то нужно это делать поочередно и одинаковое по продолжительности время. Т.е. в этом месяце/ неделе вы тестируете первое объявление, во-втором месяце/ неделе второе и т.д. Причем вы должны проводить А-В тест креативов при неизменных составляющих. В это время нельзя менять что-то на сайте, производить изменения ставок и прочее. Так как в данном случае будет не понятно, что повлияло на конечные показатели, смена креатива или изменение ставок. Начальные условия должны быть идентичны, чтобы свести к минимуму искажения в статистике. В данном случае, конечно, тоже имеется погрешность, например, в виде сезонности или спада/ роста спроса по каким-то внешним причинам.

При A-B тесте нельзя:

• вносить изменения на сайт;
• изменять ставки;
• менять гео показов;
• менять настройки и параметры;
• вносить корректировки на аудитории;
• проводить тест в разные дни недели и часы. Например, одно объявления показывать в будние дни, а другое - в выходные. Так делать не рекомендуется, так как концентрация пользователей значительно меняется от дня недели и временных отрезков;
• и много чего еще нельзя.

При A-B тестировании можно:

• наблюдать. Это здесь основное правило;
• делать срез и вносить корректировки.

Плюс необходимо четко ставить цели, чтобы понимать на что ориентирована ваша рекламная кампания, так как и показатели отслеживания тоже будут отличаться: просмотры, количество переходов на сайт, или же «деньги в кассе». Например, мы проводили рекламную кампанию для магазина велосипедов и цель была количественная прибыль с данного мероприятия. На первых порах оформили 3 разных креатива с картинками, но с одинаковым текстовым составляющим. На одной картинке была изображена фигура спортивной девушки рядом с велосипедом, на второй картинке была изображена счастливая семья на велосипедах, и на третьей картинке были изображены яркие модели велосипедов. Как вы понимаете, самая кликабельная картинка была именно со спортивной девушкой)) Вот, собственно, и она ↓

Но, далее встает вопрос какой был ROI именно с этого рекламного креатива? Принесли ли вложенные инвестиции на данное объявление прибыль, и сколько? Ведь в рамках данной рекламной кампании мало набрать кликов, нужно увидеть конечный результат в виде «денег в кассе». Для отслеживания данных показателей нужно учитывать заказы через корзину, звонки по номеру телефона, письма на почту и прочие составляющие, а для этого необходима -  сквозная аналитика.

Благодаря сквозной аналитике, мы можем сводить показатели и делать определенные выводы. И главное, мы можем узнать конечные показатели проведенного A-B тестирования:

• сколько денег принесло то или иное рекламное объявление;
• как текст или картинка повлияли на заинтересованность пользователей;
• сколько раз креатив довел клиента до заветной кнопки «купить»;
• какое именно ключевое слово привело большее количество продаж по минимальной стоимости.

Разберем на примере какие этапы принятия решения могут вас привести к правильным выводам и под каким углом надо смотреть на показатели.

Рекламная кампания направлена на привлечение юридических лиц (физ. лица заказчика не интересовали). Для примера используем показатели из Яндекс.Директа.

На скриншоте выше приведена сводка 3 разных рекламных объявлений. Данный тест проводился на старте рекламной кампании, чередование производилось автоматически, в зависимости от ротации роботами. И, как мы видим, количество показов явно разница между собой. Третье объявление явно проигрывает по количеству показов. Далее смотрим на CTR. Самый низкий показатель у второго объявления и составляет 35,9%. Далее обратим внимание на конверсию в заявки, где второе объявление показывает результат лучше, чем конкуренты. Количество заявок и CPL (стоимость заявки) у первого и второго объявления практически одинаковое, выбивается из общей картины только третье. Какие здесь можно сделать выводы? Да только один, что надо смотреть дальше, а именно:

• сам текст объявления. Необходимо выяснить, стоит ли отбойник в виде «работаем с юр. лицами» в тексте объявления;
• качество заявок. Так как идет интеграция с CRM-системой заказчика, можно увидеть комментарии по сделкам, пришедшим с этой кампании и определенного ключевого слова. С помощью комментариев понимаем, сколько сделок конвертировались в исполненную заявку, а кто ушел к конкуренту или же передумал вовсе. Так же увидим сколько обращается юр. лиц, а откуда приходят физ. лица (которые здесь не нужны);
• узнаем на сколько окупились инвестиции, вложенные на каждое отдельное объявление.

Только собрав полную картину, можно сделать правильные выводы и внести соответствующие изменения.

Проводить тестирование – это отлично, и это обязательно нужно делать. Но, важным здесь должно стать именно отслеживание результатов и правильная их интерпретация. Данная тема касается объявлений/ разных типов рекламных кампаний/ посадочных страниц и прочего, причем не только в онлайн продвижении. Подробнее про сквозную аналитику можно прочитать в статье.