Entendendo seletores por desempenho

Use seletores por desempenho em um programa para comparar a eficácia das campanhas e outras variáveis (como temporizadores) dentro do contexto de fluxo de um programa. Por exemplo, você pode testar:

Para campanhas por e-mail:
- Linhas de assunto, para ver qual delas tem a taxa de abertos mais alta.
- Conteúdo da mensagem, para ver que mensagem tem a melhor taxa de cliques.
- Conteúdo da página inicial, para ver que página oferece a taxa de conversão mais alta.
- Temporização, para ver se você receber uma resposta melhor no geral quando varia o intervalo entre as mensagens.
- Frequência de toque, relevância da mensagem ou estratégia geral, para ver qual é a abordagem que resulta na taxa de cancelamento de assinatura mais baixa.
Para campanhas por SMS:
- Taxa recebida
- URL Curto
- Taxa de conversão
- Canais (e-mail ou SMS) para ver que canal propicia a melhor resposta.

Depois que você sabe que elementos geram os melhores resultados, você pode usar essas informações para aperfeiçoar o desempenho de seus programas.

Aqui está um exemplo de programa que usa o seletor por desempenho para testar a eficácia de duas campanhas por e-mail (o modo mais comum de usar um seletor por desempenho). Um seletor de alocação envia um grupo aleatório (10%) para cada um dos dois caminhos de teste e envia os outros 80%, o grupo de holdout, para um temporizador de tempo decorrido. Depois de transcorrido o temporizador, o seletor por desempenho envia o grupo de holdout pelo caminho que produziu os melhores resultados.

Seletor por Desempenho de Amostra

Embora você possa criar muitas combinações válidas de ações, temporizadores e seletores, o seletor por desempenho gera resultados mais claros quando você limita o conjunto de variáveis sendo testadas. Quanto mais variáveis (campanhas, temporizadores, etc.) você incluir em cada caminho de teste, menor a probabilidade de poder atribuir os resultados a uma única variável.

Sobre a seleção do vencedor

Dependendo de como você configura o seletor por desempenho, o sistema pode usar uma das quatro métricas de campanha para identificar imediatamente o caminho com a campanha que produz os melhores resultados. Ou então, você pode definir o seletor para pausar enquanto você avalia os resultados de ambos os caminhos antes de escolher o que você quer.

Quando define um seletor por desempenho para seleção automática de vencedor, você escolhe uma das seguintes métricas e define-a como critério mínimo ou máximo para a vitória:

Taxa de abertos: o número de mensagens abertas
Taxa de cliques (CTR): o número de mensagens resultantes de os destinatários clicarem em um link da mensagem
Taxa de conversão:o número de mensagens resultantes de os destinatários fazerem uma compra
Taxa de cancelamento de assinatura: o número de mensagens resultantes de os destinatários cancelarem a assinatura

Quando define um seletor por desempenho com seleção manual de vencedor, você aguarda que o teste seja executado, examina os resultados (em geral, usando os Painéis Interativos do Insight) e retorna ao seletor por desempenho para designar o caminho vencedor. Esta abordagem é maia adequada para caminhos complexos que contêm várias campanhas, temporizadores e outras variáveis. O exemplo a seguir ilustra um seletor por desempenho que é mais adequado para a seleção manual de vencedor.

Seletor por Desempenho Complexo

Dica: a seleção automática foi projetada para medir os resultados de uma campanha por caminho e funciona melhor com caminhos comparáveis. Por exemplo, se você tiver uma campanha em cada caminho, será fácil determinar que campanha alcança o melhor resultado. Entretanto, se você tiver várias campanhas e temporizadores em cada caminho, os efeitos das métricas da campanha que você está avaliando ficarem diluídos. Nesse caso, sua melhor opção é definir o seletor por desempenho para seleção manual e analisar o desempenho agregado de cada caminho em si.

Como funciona

Antes de usar o seletor por desempenho para comparar a eficácia de uma campanha em cada caminho, você deve dividir seu público-alvo entre grupo de teste e grupo refratário, e determinar a duração do teste. Você também deve definir os caminhos que saem do seletor.

Você pode identificar seus grupos de teste e o grupo refratário usando um seletor de alocação, que seleciona os grupos aleatoriamente. Ou então, você pode colocar um seletor de alocação na frente do seletor de alocação para filtrar o grupo de holdout antes de dividir o público de teste em dois grupos.

Em seguida, vem um temporizador para definir a duração do teste e manter o grupo refratário em um padrão de espera até que o caminho com os melhores resultados seja identificado. Você pode usar um temporizador de tempo decorrido para definir a duração do teste ou um temporizador de data futura para encerrar o teste em uma data e uma hora específicas.

Do outro lado do seletor por desempenho estão os caminhos de teste (normalmente, dois). Em teoria, você pode usar um seletor de dados para separar o grupo refratário e um seletor de alocação para criar três caminhos de teste. Na prática, entretanto, dois caminhos oferecem um teste mais realista e mais significativo.

Embora o caminho possa conter qualquer número de atividades e eventos, como prática recomendada, você deve simplificar, controlando o número de variáveis que vai testar. Se você deseja avaliar duas campanhas, use os mesmos temporizadores em ambos os caminhos. Do mesmo modo, se você desejar identificar o intervalo mais eficaz entre as mensagens (através da seleção manual), é uma boa ideia testar os temporizadores usando mensagens similares. Se você deseja testar exatamente a mesma mensagem com outras variáveis, faça uma cópia da campanha para ter dois conjuntos de métricas.

Com todos os outros elementos implementados, você agora está pronto para adicionar e configurar um seletor por desempenho.

Para usar um seletor por desempenho em um programa

Arraste o seletor de alocação ou de dados, o temporizador, os elementos do caminho e outros elementos necessários para a tela. Conecte-os conforme necessário.
Arraste o Seletor por desempenho para a tela e conecte-o ao seu temporizador de entrada e a dois caminhos de saída.
Clique duas vezes no seletor por desempenho e defina as seguintes opções:
- Notificações de e-mail: Insira uma lista de endereços de e-mail que você deseja notificar quando o teste terminar. Separe os vários endereços de e-mail com vírgulas.
  Com o modo de seleção automática, a notificação reporta qual foi a campanha identificada como vencedora. Com o modo de seleção manual, o e-mail informa aos destinatários que está na hora de examinar o desempenho dos caminhos de teste para identificar o vencedor. O programa também envia uma notificação quando o vencedor foi identificado para um seletor por desempenho no modo manual.
- Modo de seleção de vencedor: Escolha Automático ou Manual.
  O modo que você escolhe depende da complexidade dos caminhos de teste e se uma única métrica em uma única campanha por caminho fornecerá informações suficientes para o Programa determinar o caminho de melhor desempenho. Se for, escolha Automático, do contrário, escolha Manual. Com o modo de seleção manual, você usa o Insight para examinar os resultados agregados para cada caminho e determinar o caminho ideal você mesmo.
  Observação: certifique-se de escolher o modo de seleção Manual se um caminho de teste contiver uma campanha por SMS do Programa. Os dados de desempenho usados para seleção automática não estão disponíveis para campanhas de SMS.
- Métrica e critério: no caso do modo de seleção automática, escolha uma das métricas disponíveis (Taxa de abertos, Taxa de cliques, Taxa de conversão ou Taxa de cancelamento de assinatura) e um critério (máximo ou mínimo) para a métrica.
- Nomes de caminho e seleção de campanha: Adiciona um rótulo exclusivo para cada caminho de teste. Se você estiver usando o modo de seleção automática, selecione uma campanha em cada caminho.
Escolha se a coleta de dados para o seletor deve começar de novo quando este programa for publicado.
Os dados coletados pelo seletor são a base para identificar o caminho com os melhores resultados. Consulte
Clique em Concluído.

Observação: para obter mais informações sobre como os seletores por desempenho se adaptam aos programas, consulte Projetando programas.

Dicas, truques e anotações

Certifique-se de que seu grupo de teste seja grande o suficiente para gerar resultados significativos. Se seu grupo de teste for pequeno demais, a diferença de desempenho pode não ser estatisticamente significativa.
Qualquer que seja o modo de seleção, estude os resultados de seu teste para ter certeza de estar mensurando os elementos certos. Por exemplo, a ilustração a seguir mostra como o caminho com a campanha de melhor desempenho não é necessariamente o vencedor geral.
O seletor por desempenho funciona com públicos criados usando um ponto de entrada de Filtro Agendado, Ativado pelo Cliente, Desativado pelo Cliente ou Evento Personalizado.
Você não pode selecionar uma campanha em mais de um seletor por desempenho ou mais de uma vez no mesmo seletor por desempenho.
Se o seu seletor por desempenho não estiver definido para seleção automática e duas ou mais campanhas gerarem o mesmo desempenho, o caminho listado primeiro nas propriedades do seletor por desempenho será declarado vencedor.

Gerenciando programas publicados com um seletor por desempenho

A configuração Iniciar na publicação é automaticamente ativada quando você adiciona um novo seletor por desempenho. Quando o programa é publicado, esta configuração é automaticamente desativada. Isso permite que o seletor colete dados desde a hora da publicação até você ativar a configuração e republicar o programa. Você pode alterar essa configuração conforme necessário editando a definição do seletor.

Se você ativar esta configuração antes de selecionar o caminho vencedor no modo de seleção manual e depois republicar o programa, qualquer membro do público-alvo que esteja no seletor permanecerá ali, esperando por sua seleção do caminho vencedor.

Uma vez identificado o caminho vencedor (seja automaticamente ou manualmente), o comportamento da opção Iniciar na publicação muda:

Se você alterar a definição do seletor e desativar Iniciar na Publicação, a republicação do programa limpa todos os dados que existam para o seletor. O seletor então usa a nova definição para determinar o caminho vencedor.
Se você alterar a definição do seletor e não ativar Iniciar na Publicação, a republicação do programa não altera a seleção de vencedor existente para esse seletor.

Se você alterar o modo de seleção, o Programa automaticamente reinicia o seletor por desempenho. Qualquer membro do público-alvo que esteja no seletor na hora permanece ali até que novos membros do público-alvo entrem no seletor e um caminho vencedor seja selecionado. Nesse ponto, todos os membros do público-alvo são enviados para o caminho vencedor.

Cancelando a publicação de programas com um seletor por desempenho

Quando você cancela a publicação de um programa que contém um seletor por desempenho:

Os membros do grupo de holdout no seletor são mantidos a menos que você opte por encerrar todos na guia Analisar depois de cancelar a publicação do programa. Se o fizer, os membros do grupo refratário no seletor serão removidos da tabela de atuação.
Se um vencedor foi selecionado, o seletor mantém essa seleção.
Se o seletor não estiver definido para seleção automática e nenhum vencedor tiver sido selecionado, cancelar a publicação do programa interrompe o processo de seleção até que o programa seja publicado novamente e novos membros do público-alvo entrem no seletor.

Quando você edita a publicação de um programa que contém um seletor por desempenho:

Se você não alterar o seletor por desempenho, ele continuará a funcionar como foi publicado.
Se você excluir o seletor por desempenho e republicar o programa, os membros do grupo refratário no seletor serão removidos da tabela de atuação.
Se você adicionar um caminho de saída a um seletor por desempenho ou excluir qualquer caminho de saída exceto o vencedor existente, o seletor manterá a seleção do caminho vencedor quando você republicar o programa.
Se você excluir o caminho vencedor e republicar o programa, o seletor por desempenho será redefinido para esperar novos membros do público-alvo.

Selecionando um caminho vencedor manualmente

Um seletor por desempenho funciona (coleta dados) até o temporizador expirar. Se o seletor estiver definido para seleção automática, o caminho que contém a campanha de melhor desempenho é designado como vencedor. Se o seletor estiver definido para seleção manual, o Programa exibirá um aviso na página Programas e enviará um e-mail aos endereços definidos para o seletor. É aí que você deve revisar os resultados do teste no Insight e identificar o caminho que gerou os melhores resultados.

Depois de ter identificado o caminho vencedor, você precisa designá-lo no seletor por desempenho.

Para selecionar o caminho vencedor

Abra o programa que contém o seletor por desempenho e selecione Snapshot na guia Analisar.
Clique duas vezes no seletor por desempenho, selecione o caminho vencedor e clique em Concluído.

O caminho que você escolhe é realçado e o Programa envia uma notificação de acompanhamento aos endereços de e-mail especificados. O restante dos membros do público-alvo (e metade de todo o tráfego futuro que chegar ao seletor por desempenho) será enviado para o caminho que você seleciona.

Para substituir um caminho selecionado

Abra o programa que contém o seletor por desempenho e selecione Snapshot na guia Analisar.
Clique duas vezes no seletor por desempenho, escolha um novo caminho vencedor e clique em Concluído.
Confirme que você deseja alterar o caminho.
O programa envia uma notificação de e-mail anunciando a alteração na lista de distribuição para o seletor por desempenho. Se você selecionar manualmente um vencedor antes que ocorra uma solução automática, a seleção automática não substituirá a sua seleção manual quando o temporizador expirar.