Общие сведения о переключателях эффективности

Переключатели эффективности в программе позволяют сравнить эффективность кампаний или других переменных (например, таймеров) в контексте потока программы. Например, можно протестировать:

Для кампаний по электронной почте:
- Строки темы, чтобы увидеть, какая из них имеет более высокий коэффициент открытий.
- Контент сообщения, чтобы определить сообщение с лучшим коэффициентом щелчков рекламных ссылок.
- Контент начальной страницы, чтобы видеть, какая страница дает лучший коэффициент преобразования.
- Временные рамки, чтобы понять, улучшается ли общий отклик при изменении интервала между сообщениями.
- Частоту контактов, актуальность сообщения или общую стратегию, чтобы видеть, какой подход приводит к самому низкому коэффициенту отмен подписки.
Для SMS-кампаний:
- Коэффициент полученных
- Короткий URL
- Коэффициент преобразования
- Каналы (электронная почта или SMS-сообщения), чтобы определить, какой канал позволяет добиться лучшего отклика.

После определения элементов, позволяющих получить наилучшие результаты, можно использовать эти сведения для повышения эффективности программ.

Здесь приведен образец программы, в которой для проверки эффективности двух кампаний используется переключатель эффективности (самый распространенный способ использования переключателя эффективности). Переключатель размещения отправляет случайную группу (10%) по каждому из двух тестовых путей, а остальные 80% (контрольную группу) в таймер задержки. После окончания времени таймера переключатель эффективности отправляет контрольную группу по пути, который позволил получить лучшие результаты.

Образец переключателя эффективности

Хотя можно создать много допустимых комбинаций действий, таймеров и переключателей, переключатель эффективности позволит получить наиболее наглядные результаты при ограничении набора тестируемых переменных. Чем больше переменных (кампаний, таймеров и т. п.) включено в каждый тестовый путь, тем с меньшей вероятностью можно будет связать результаты с конкретной переменной.

Выбор лучшего пути

В зависимости от настройки переключателя эффективности система может использовать одну из четырех метрик кампании для автоматического определения пути с кампанией, принесшей лучшие результаты. Можно также настроить приостановку переключателя до тех пор, пока пользователь не оценит результаты обоих путей и не выберет нужный.

Если переключатель кампании настроен на автоматический выбор лучшего пути, необходимо выбрать одну из следующих метрик и задать минимум или максимум как критерий для определения лучшего пути:

Коэффициент открытий. Число открытых сообщений
Коэффициент щелчков рекламных ссылок. Число сообщений, в которых получатель щелкнул ссылку
Коэффициент преобразования. Число сообщений, после которых получатель сделал покупку
Коэффициент отмен подписки. Число сообщений, после которых получатель отменил подписку

Если переключатель кампании настроен для выбора лучшего пути вручную, пользователь ждет выполнения теста, оценивает результаты (обычно с помощью интерактивных информационных панелей Insight) и возвращается к переключателю эффективности для назначения лучшего пути. Такой метод лучше подходит для сложных путей, которые содержат несколько кампаний, таймеров и других переменных. В следующем примере показан переключатель эффективности, оптимально приспособленный для выбора лучшего пути вручную.

Сложный переключатель эффективности

Совет. Автоматический выбор предназначен для оценки результатов одной кампании для каждого пути и лучше работает с сопоставимыми путями. Например, если в каждом пути используется одна кампания, легко определить, какая кампания позволила получить лучшие результаты. Однако если в каждом пути существует несколько кампаний и таймеров, оцениваемые эффекты от метрик кампании становятся менее явными. В этом случае лучше настроить переключатель эффективности для выбора лучшего пути вручную и самостоятельно проанализировать совокупную эффективность.

Как это работает

Перед использованием переключателя эффективности для сравнения эффективности кампании в каждом пути необходимо разделить целевую аудиторию на тестовую и контрольную группы и определить продолжительность тестирования. Кроме того, следует определить пути после переключателя.

Можно определить тестовую и контрольную группу с помощью переключателя размещения, который выбирает группы случайным образом. Или можно разместить перед переключателем размещения переключатель данных, чтобы отфильтровать контрольную группу перед разделением тестовой целевой аудитории на две группы.

Далее устанавливается таймер для определения продолжительности теста и сохранения контрольной группы в зоне ожидания, пока не будет определен путь с лучшими результатами. Можно использовать таймер задержки, чтобы задать продолжительность теста, или таймер на момент времени, чтобы завершить тест на заданные дату и время.

По другую сторону от переключателя эффективности располагаются тестовые пути (обычно два). Теоретически можно использовать переключатель данных для отделения контрольной группы и переключатель размещения для создания трех тестовых путей. Однако на практике два пути обеспечивают более реалистичный и показательный тест.

Хотя каждый путь может содержать произвольное число операций и событий, не рекомендуется усложнять его, контролируя количество тестируемых переменных. Если требуется оценить две кампании, используйте в обоих путях одинаковые таймеры. Аналогично, чтобы определить наиболее эффективный интервал между сообщениями (с помощью выбора вручную), рекомендуется проверить таймеры с использованием одинаковых сообщений. Если требуется проверить точно такое же сообщение с другими переменными, сделайте копию кампании, чтобы можно было получить два набора метрик.

Теперь, настроив все остальные элементы, можно добавить и настроить переключатель эффективности.

Чтобы использовать переключатель эффективности в программе

Перетащите в рабочую зону начальный переключатель размещения или данных, таймер, элементы пути и все остальные необходимые элементы. Соедините их нужным образом.
Перетащите переключатель эффективности в рабочую зону и соедините его с входящим таймером и двумя исходящими путями.
Дважды щелкните переключатель эффективности и определите следующие параметры:
- Уведомления по электронной почте. Введите список адресов электронной почты для рассылки уведомлений о завершении проверки. Для разделения нескольких адресов используйте запятые.
  В режиме автоматического выбора уведомление содержит сведения о том, какая кампания определена как лучшая. В режиме выбора вручную сообщение электронной почты информирует получателей о необходимости изучить эффективность тестовых путей и определить лучший. Программа также отправляет уведомление после определения лучшего варианта (победителя) для переключателя эффективности в режиме выбора вручную.
- Режим выбора победителя. ВыберитеАвтоматически или Вручную.
  Выбранный режим зависит от сложности тестовых путей и достаточности информации об отдельном показателе одной кампании на путь для определения лучшего пути. Если да, выберите Автоматически; в противном случае выберите Вручную. В режиме выбора вручную можно использовать Insight для самостоятельного изучения совокупных результатов для каждого пути и определения оптимального пути.
  Примечание. Обязательно выберите режим Вручную, если тестовый путь содержит SMS-кампанию для программы. Данные по эффективности, используемые для автоматического выбора, недоступны для SMS-кампаний.
- Метрика и критерий. В режиме автоматического выбора выберите одну из доступных метрик ("Коэффициент открытий", "Коэффициент щелчков рекламных ссылок", "Коэффициент преобразования" и "Коэффициент отмен подписки") и критерий (максимум или минимум) для метрики.
- Выбор имен путей и кампаний. Добавьте уникальную подпись для каждого тестового пути. При использовании режима автоматического выбора выберите одну кампанию для каждого пути.
Укажите, следует ли начинать сбор данных при публикации программы.
Данные, собранные переключателем, служат основой для определения пути с лучшими результатами. См.
Нажмите Готово.

Примечание. Для получения сведений о встраивании переключателей эффективности в программы см. Разработка программ.

Советы, рекомендации и примечания

Убедитесь, что тестовая группа достаточно велика для получения значимых результатов. Если тестовая группа слишком мала, разница в эффективности может быть статистически несущественна.
Независимо от режима выбора просмотрите результаты теста, чтобы убедиться в том, что для оценки выбраны правильные метрики. Например, на следующем рисунке показано, что путь с лучшей кампанией необязательно является общим победителем.
Переключатель эффективности работает с целевыми аудиториями, созданными с помощью точки входа Запланированный фильтр, Активация клиента, Деактивация клиента или Пользовательское событие.
Кампания не может быть выбрана в нескольких переключателях эффективности или многократно выбрана в одном переключателе эффективности.
Если для переключателя эффективности задан автоматический выбор и эффективность нескольких кампаний оказывается одинаковой, победителем объявляется путь, перечисленный в свойствах переключателя эффективности первым.

Управление опубликованными программами с помощью переключателя эффективности

При добавлении нового переключателя эффективности настройка Начать публикацию автоматически включена. При публикации эта настройка автоматически отключается. Это позволяет переключателю собирать данные с момента публикации до тех пор, пока пользователь не включит эту настройку и не опубликует программу повторно. Можно изменить эту настройку нужным образом, изменив определение переключателя.

При включении этой настройки до выбора лучшего пути в режиме выбора вручную и последующей повторной публикации программы все участники целевой аудитории в переключателе останутся здесь до выбора пользователем лучшего пути.

После определения лучшего пути (автоматически или вручную) поведение параметра Начать публикацию меняется:

Если определение переключателя изменено и настройка Начать публикацию включена, повторная публикация программы приведет к очистке всех существующих данных для переключателя. Затем переключатель использует новое определение для вычисления лучшего пути.
Если определение переключателя изменено и настройка Начать публикацию не включена, повторная публикация программы не изменит существующий выбор победителя для переключателя.

При изменении режима выбора программа автоматически перезапускает переключатель эффективности. Все участники целевой аудитории в переключателе на данный момент сохраняются до ввода новых участников целевой аудитории в переключатель и выбора лучшего пути. В этот момент все участники аудитории направляются по лучшему пути.

Отмена публикации программ с помощью переключателя эффективности

При отмене публикации программы, которая содержит переключатель эффективности:

Участники контрольной группы в переключателе сохраняются, если на вкладке Анализ после отмены публикации программы не выбрана команда прекратить все. Если этот параметр выбран, участники контрольной группы в переключателе удаляются из таблицы введений в действие.
Если победитель выбран, переключатель сохраняет этот выбор.
Если для переключателя настроен автоматический выбор и победитель не выбран, отмена публикации программы остановит процесс выбора до повторной публикации программы и ввода новых участников целевой аудитории в переключатель.

При изменении опубликованной программы, которая содержит переключатель эффективности:

Если переключатель эффективности не был изменен, он продолжает работать, как было опубликовано.
При удалении переключателя эффективности и повторной публикации программы участники контрольной группы в переключателе удаляются из таблицы введений в действие.
При добавлении пути выхода в переключатель эффективности или удалении пути выхода, за исключением существующего победителя, переключатель эффективности сохраняет выбор лучшего пути при повторной публикации программы.
При удалении лучшего пути и повторной публикации программы переключатель эффективности сбрасывается и ожидает новых участников целевой аудитории.

Выбор лучшего пути вручную

Переключатель эффективности работает (собирает данные), пока не истечет срок предшествующего таймера. Если переключатель настроен для автоматического выбора, победителем назначается путь, который содержит лучшую кампанию. Если переключатель настроен для выбора вручную, Program выводит предупреждение на странице Программы и рассылает сообщение электронной почты по адресам, определенным для переключателя. Это происходит, когда необходимо просмотреть результаты теста в Insight и определить путь с лучшими результатами.

После определения лучшего пути необходимо назначить его в переключателе эффективности.

Чтобы выбрать лучший путь:

Откройте программу, которая содержит переключатель эффективности, и выберите Снимок на вкладке Анализ.
Дважды щелкните переключатель эффективности, выберите лучший путь и щелкните Готово.

Выбранный путь будет выделен, и программа отправит последующее уведомление по определенным адресам электронной почты. Остальные участники целевой аудитории (и весь будущий трафик, поступающий в переключатель эффективности) направляются по выбранному пути.

Чтобы переопределить выбранный путь:

Откройте программу, которая содержит переключатель эффективности, и выберите Снимок на вкладке Анализ.
Дважды щелкните переключатель эффективности, выберите новый лучший путь и щелкните Готово.
Подтвердите, что требуется изменить путь.
Программа отправляет уведомление по электронной почте, оповещающее об изменении, по списку рассылки для переключателя эффективности. Если победитель выбран вручную до автоматического выбора, автоматический выбор не будет переопределять выбор вручную, когда закончится время таймера.