А/Б тест объявлений: как проверить гипотезу и не обмануть себя

Что тестировать

• Заголовок: разные формулировки одной услуги
• Оффер: цена против срока, гарантия против бесплатного замера
• Призыв: расчёт, консультация, замер
• Изображение в сетях: объект, процесс, результат

Менять нужно один элемент за раз. Если поменяли и заголовок, и картинку, вы не узнаете, что дало эффект.

Сколько данных нужно

Главная ошибка это вывод по десяти кликам. Разница в один-два обращения на таком объёме это случайность.

Ориентир: хотя бы несколько десятков конверсий на вариант или, если конверсий мало, несколько сотен кликов. Если объём меньше, тест лучше не запускать, а опереться на здравый смысл и опыт ниши.

По какому показателю сравнивать

Не по кликабельности. Кликабельность показывает, насколько объявление привлекло внимание, а не насколько оно привело покупателя.

Сравнивайте по цене конверсии, а если у вас настроена квалификация, то по цене целевого обращения. Бывает, что вариант с меньшим CTR приносит больше сделок.

Как обеспечить честность

• Варианты должны крутиться одновременно, а не по очереди: спрос меняется от недели к неделе
• Одинаковые условия: одна группа, один регион, один период
• Не вмешиваться в ходе теста: правки обнуляют сравнение
• Фиксировать гипотезу заранее, до того как посмотрели результат

Частые ошибки

Тест во время сезонного всплеска или распродажи: результат не переносится на обычные недели.

Сравнение вариантов из разных кампаний с разными ставками и бюджетами.

Остановка теста в тот момент, когда нравится результат. Если смотреть каждый час, рано или поздно увидишь нужную картину.

Что делать с результатом

Победивший вариант становится новым стандартом, проигравший отключается. Следующий тест строится от победителя, а не с нуля.

Накопленные выводы полезно записывать: через полгода вы получите список того, что в вашей нише работает, и перестанете проверять одно и то же дважды.