Региональная сетьРегион
г. Гродно
Заказать звонок
Корзина:(0) услуг
Блог
Как проводить эксперименты в Яндекс.Директе

Как проводить эксперименты в Яндекс.Директе

Как проводить эксперименты в Яндекс.Директе

 

Нет универсального способа настраивать рекламу для всех ситуаций и бизнесов. Это касается и настроек, и текстов объявлений, и аудиторий, которым вы хотите показать эти объявления.
 
Полагаться на интуицию в этом случае точно не стоит. Лучше выяснить на практике, какие настройки кампаний сработают именно для вашего продукта, вашей компании. Без тестирования тут не обойтись. Провести его можно с помощью экспериментов в Яндекс.Директе.
 
Благодаря этому инструменту вам не придется вручную проводить сплит-тесты, этот процесс Яндекс автоматизирует и делает максимально простым и прозрачным. Как запускать и проводить эксперименты, смотрите в этом руководстве.

В чем помогают эксперименты

Эксперименты – это те же сплит-тесты, только с дополнительными возможностями. То есть тестирование разных комбинаций настроек, плюс к этому вы можете:
 
1) Выяснить, как влияют друг на друга кампании разных типов.
 
2) Посмотреть, как целевые действия на сайте зависят от показов рекламы.
 
3) Сравнить, как работают автостратегии и ручное назначение ставок, и на основании этого решить, какая стратегия больше подойдет.
 
4) Сравнить разные медиапланы (полезная штука для рекламных агентств).
 
Рекомендуем использовать эксперименты, прежде чем запускать любую новую рекламную кампанию, чтобы убедиться в том, что её нужно запускать в полную силу.
 
Всё происходит следующим образом. Вы задаете количество и размер (долю) сегментов, а Яндекс случайным образом разделяет вашу аудиторию на эти сегменты.
 
Ограничение: нельзя проводить эксперименты для рекламы мобильных приложений и медийных кампаний со сделками.

До запуска эксперимента

Учитывайте два момента:
 
1) Лучше для одного эксперимента брать одну гипотезу на проверку, как изменится один параметр. Сразу же решите и сформулируйте, что именно вы хотите проверить.
 
2) Эксперимент есть смысл проводить, если, во-первых, у вас настроены цели в Яндекс.Метрике. И во-вторых, цель, которая важна для эксперимента, набирает от 200 конверсий и больше ежемесячно. Только так вы получите статистически значимые результаты.
 
Если данных недостаточно, попробуйте взять цель, которая идет выше по воронке продаж и которую пользователи достигают чаще.
 
3) И еще один момент относительно стратегий: если вы сравниваете ручную и автостратегию, чтобы делать какие-то основательные выводы, нужно, чтобы за время теста на оба варианта израсходовалось одинаковое количество бюджета.

Как запускать эксперимент

Сейчас эксперименты доступны в интерфейсе Яндекс.Директа по умолчанию, не нужно делать запрос на доступ к этой функции.
 
 
Эксперименты в Яндекс.Директе – кнопка создания эксперимента
Далее:
 
Эксперименты в Яндекс.Директе – настройки эксперимента в Аудиториях
 
здесь вы заполняете:
 
1) Название эксперимента.
 
2) Номер счетчика Метрики, из которого подтянутся данные о целях. Можно выбрать из выпадающего списка нужный:
 
Эксперименты в Яндекс.Директе – выбор счетчика
 
Или добавляете нажатием на кнопку:
 
Эксперименты в Яндекс.Директе – добавление счетчика
 
Можно добавить таким образом несколько счетчиков в один эксперимент.
 
3) Количество и долю сегментов для тестирования, например:
 
Эксперименты в Яндекс.Директе – пример разделения на сегменты
 
По умолчанию – два сегмента 50 / 50. По факту они необязательно должны быть равномерными: это может быть и 90 / 10, 70 / 30 и т.д.
 
При необходимости можно разделить аудиторию более, чем на 2 тестовых сегмента, нажав «Добавить сегмент»:
 
Эксперименты в Яндекс.Директе – добавление новых сегментов

Как подготовить кампании для тестирования

1) Создайте несколько одинаковых тестовых кампаний.
 
Быстрее создать одну исходную и скопировать нужное количество раз. Для этого отметьте её галочкой в списке кампаний и выберите действие «Копировать»:
 
Эксперименты в Яндекс.Директе – кнопка для копирования кампании
 
2) Поменяйте статус тестовых кампаний на «Приостановлена».
 
3) Измените один параметр, который хотите протестировать, в каждой тестовой кампании. Остальные настройки (параметры, объявления и бюджет) оставьте без изменений.
 
4) Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.
 
Эксперименты в Яндекс.Директе – добавление счетчиков в Директе
 
5) Прикрепите кампании к нужным экспериментам в дополнительных настройках.
 
При редактировании кампаний в блоке «Эксперименты» нажмите кнопку «Изменить».
 
Эксперименты в Яндекс.Директе – добавление экспериментов в Директе
 
Затем в окне настройки экспериментов выберите эксперимент, который ранее создали в Яндекс.Метрике.
 
Одну кампанию можно одновременно использовать максимум в 5 экспериментах.
 
6) В каждой тестовой кампании выберите сегмент аудитории, которому будут показываться объявления этой кампании.
 
Объясним на простом примере. Допустим, у вас 2 сегмента – мужчины и женщины. При создании эксперимента вы задали им доли 45 и 55 соответственно. Если в одной из тестовых кампаний вы выбираете сегмент мужчин, значит, рекламу этой кампании увидят 45% от мужчин из всей аудитории.
 
Если нужно, установите корректировки ставок для выбранных сегментов. Для этого активируйте опцию и укажите, на какой процент повысить или понизить ставки по рекламной кампании.
 
Эксперименты в Яндекс.Директе – настройка эксперимента в Директе
 
Сохраните.
 
7) Когда всё готово, запустите одновременно все тестовые кампании.
 
На этом настройка эксперимента завершена. Дальше нужно подождать не менее 2 недель, а лучше месяц, чтобы накопить достаточно статистики для получения достоверных результатов.

Где смотреть результаты эксперимента

Первое – это Мастер отчетов в Яндекс.Директе с данными о расходах. Отметьте следующие столбцы для отображения и выберите условие фильтрации «Эксперименты». Выберите нужный эксперимент.
 
Эксперименты в Яндекс.Директе – фильтрация по экспериментам в Мастере отчетов
 
В итоге важно понять, какое размещение рекламы более рентабельное.
 
Второе – это стандартный отчет в Яндекс.Метрике, который называется «Директ, эксперименты». Из него вы узнаете данные о конверсиях.
 
Эксперименты в Яндекс.Директе – Директ, эксперименты
Далее в этом отчете выберите нужный эксперимент и сегмент с кампаниями в Яндекс.Директе, созданными для этого эксперимента.
 
Перейдите в режим сравнения и выберите цели. Вы увидите примерно такую таблицу:
 
Эксперименты в Яндекс.Директе – результаты эксперимента
 
 
В режиме сравнения в нем выделяются цветом следующие метрики:
 
  • Просмотры
  • Визиты
  • Целевые визиты
  • Посетители
  • Целевые посетители
  • Достижения цели
  • Достижения цели на посетителя
  • Конверсия
  • Конверсия посетителей
  • Отказы
 
и некоторые другие.
 
Что значит тот или иной цвет?
 
Зелёный – экспериментальный вариант (сегмент) сработал лучше, чем тот, с которым вы его сравниваете, красный – наоборот значительно хуже. Метрики, выделенные серым, по обоим вариантам не отличаются. Во всех трех случаях данных достаточно для оценки результата.
 
Если данные не выделены, это значит одно из двух:
 
1) Метрику нельзя применять в режиме сравнения.
 
2) Данных пока недостаточно.
 
Решение: подождите еще, чтобы накопилось больше статистики или поменяйте настройки эксперимента, чтобы быстрее собрать необходимый трафик.
 
Как видите, Метрика сама определяет, достаточно ли данных для анализа, что значительно облегчает вам работу.
 
Осталось сопоставить данные по обоим отчетам. Для этого:
 
  • Выберите одинаковые периоды
  • Отфильтруйте данные по одному и тому же региону показа.
 
Также убедитесь, что эксперимент не прерывался на протяжении выбранного периода.
 
Допустим, результаты такие:
 
Эксперименты в Яндекс.Директе – сопоставление результатов Метрики и Директа
 
В этом примере при одинаковых затратах сегмент Б принес на 150% больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60%. То есть кампания на сегмент Б эффективнее.
 
Естественно, если данных недостаточно, принимать решение, основываясь на этом результате, не стоит. Однако, как и в любом машинном алгоритме, в Метрике неизбежны погрешности.

Как учитывать погрешность

Реальное значение показателей всегда будет немного отличаться от того, что вы увидите при проведении эксперимента. Погрешности нет только в теории: если бы экспериментальная кампания длилась бесконечно.
 
В режиме сравнения включите отображение погрешности. Вы увидите, на сколько процентов возможен разброс величины. Соответственно, чем ниже погрешность, тем выше вероятность, что значение метрики истинное, и наоборот.
 
 
Введите свои данные в пустые поля:
 
Эксперименты в Яндекс.Директе – калькулятор достоверности
Здесь нужны:
 
  • Данные по сегментам: размер, расходы, конверсии, клики.
  • Целевое p-value (уровень значимости) – степень вашей уверенности в результатах эксперимента. Рекомендуемое значение 80%.
  • Максимальный коэффициент жесткости дополнительных инвестиций – во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий.
 
В результате расчета в последнем столбце появится слово «Да» напротив того сегмента, который эффективнее.
 
Например:
 
Эксперименты в Яндекс.Директе – пример расчета в калькуляторе достоверности
Или «Нет» – напротив того, который показал хуже результат. Если там будет знак вопроса, между сегментами нет статистически значимой разницы, и определить лучший невозможно. Узнать точную причину этого также почти невозможно.
 
Когда вы всё проанализируете и сделаете выводы, эксперимент можно завершать, а тестовые кампании все одновременно останавливать. В настройках кампании-победителя, которую вы хотите запускать «на боевую», не забудьте отключить эксперимент.
 
И напоследок – чек-лист в помощь для запуска эксперимента.

Чек-лист

1) Гипотеза сформулирована.
 
2) Счетчик Метрики с целями подключен.
 
3) Эксперимент в Яндекс.Аудиториях создан + тестовые кампании созданы и запущены.
 
4) Эксперимент длится непрерывно.
 
5) Необходимое количество данных собрано.
 
6) а) Метрика показывает более эффективный вариант, либо б) выдает результат, что по эффективности они значительно не отличаются.
7) а) Эксперимент завершен, вариант-победитель запущен «на боевую» б) настройки эксперимента изменены и он запущен заново, до получения статистически значимых результатов.
 
Как видите, для тестирования не нужно использовать навороченные дорогие инструменты или вручную что-то считать. Все за вас сделают инструменты Яндекса.
 
Высоких вам конверсий!
Еще в тему:
Фото
Расширения в AdWords повышают CTR (кликабельность) объявлений. Как и для чего их настраивать, а также в чем специфика каждого типа – в этой статье.
Фото
Сколько стоит клик по рекламному объявлению? В Яндексе это значение начинается от 30 копеек, в Google – от 1 цента ($0,01). В этой статье мы разберем все факторы, которые влияют на цену клика и дадим рекомендации, как её снизить.
Фото
В Google Рекламе есть возможность ручного назначения ставок и стратегии для автоматического управления ставками. Мы расскажем про оба способа, когда каждый из них больше подходит и на чем основываться при выборе ставок.
Фото
Впервые за последние 8 лет Google AdWords сменил интерфейс. Изменения коснулись навигации, настройки рекламных кампаний и отчетности.
Использование сайта, в том числе регистрация, заказ и оплата услуг, означает согласие с Пользовательским соглашением. Информация о cookies.
Заказать звонок
Удобное время для звонка:
08:00
-
08:00
Отправить