了解绩效切换

在方案中使用绩效切换可以在方案流的上下文中比较市场活动或其他变量（例如计时器）的效用。例如，可以测试：

  • 对于电子邮件市场活动：
    • 主题行－以查看哪个打开率较高。
    • 消息内容－以查看哪条消息点击率较高。
    • 登录页面内容－以查看哪个页面转化率较高。
    • 时间安排－以查看消息之间间隔不同时整体响应是否较好。
    • 联系频率、消息相关性或整体策略－以查看哪种方法使得取消订阅率最低。
  • 对于 SMS 市场活动：
    • 接收率
    • 短 URL
    • 转化率
    • 渠道（电子邮件或 SMS）－以查看哪个渠道响应效果最佳。

了解哪些元素会产生最佳结果后，可以使用这些该信息提高方案的绩效。

这里是一个样本方案，它使用绩效切换测试两个电子邮件市场活动的效用（最常见的使用绩效切换的方式）。分配切换将随机组 (10%) 发送到两个测试路径中的每一个，将其余 80%（留出组）发送到用时计时器。计时器到期后，绩效切换会将留出组发送到产生最佳结果的路径。

绩效切换示例

尽管您可以创建操作、计时器和切换的多个有效组合，但是当您限制测试的一组变量时，绩效切换将为您提供最清晰的结果。在每个测试路径上包括的变量（市场活动、计时器等）越多，能够将结果归因于任何一个变量的可能性就越小。

关于选择成功者

根据您如何配置绩效切换，系统可以使用四个市场活动指标之一自动确定包含产生最佳结果的市场活动的路径。或者，也可以将切换设置为在选择所需路径之前对两个路径的结果进行评估时暂停。

将绩效切换设置为 automatic winner selection（自动选择成功者）时，要选择以下指标之一，并将其设置为最小值或最大值作为成功的条件：

  • Open rate（打开率）：打开的消息数
  • Click-through rate（点击率）：使得收件人点击消息中的链接的消息数
  • Conversion rate（转化率）：使得收件人进行购买的消息数
  • Unsubscribe rate（取消订阅率）：使得收件人取消订阅的消息数

将绩效切换设置为 manual winner selection（手动选择成功者）时，您需要等待测试运行，检查结果（通常使用 Insight 交互式仪表板），然后返回绩效切换来指定成功路径。这种方法最适合包含多个市场活动、计时器和其他变量的复杂路径。以下示例说明了最适合手动选择成功者的绩效切换。

复杂的绩效切换

提示：自动选择旨在度量每个路径上一个市场活动的结果，对于可比较的路径最有效。例如，如果每个路径上有一个市场活动，则很容易确定哪个市场活动会得到最佳结果。但是，如果每个路径上有多个市场活动和计时器，则评估的市场活动指标的影响就会变弱。在这种情况下，最好的办法是将绩效切换设置为手动选择成功者，由您自己分析每个路径的总体绩效。

工作原理

必须先将受众分成测试组和留出组并确定测试将运行多长时间，然后才能使用绩效切换比较每个路径上市场活动的效用。还必须定义引导走出切换的路径。

可以使用随机选择组的分配切换确定测试组和留出组。或者，也可以在分配切换前面放置数据切换，以便在将测试受众分成两个组之前筛选掉留出组。

接下来是计时器，它用于设置测试的时间长短，并使留出组保持在暂挂模式下，直到确定产生最佳结果的路径为止。可以使用用时计时器设置测试的持续时间，或者使用目标计时器在特定时间和日期结束测试。

绩效切换的另一端是测试路径（通常是两个）。从理论上讲，可以使用数据切换抽调留出组，并使用分配切换创建三个测试路径。但实际上，两个路径可以提供更现实且更有意义的测试。

尽管每个路径可以包含任意数量的活动和事件，但最佳做法是应该通过控制测试的变量数量使其保持简单。如果要评估两个市场活动，请在两个路径上使用相同的计时器。同样，如果要确定消息之间最有效的间隔（通过手动选择），最好针对相似的消息测试计时器。如果要使用其他变量测试完全相同的消息，请创建市场活动的副本，以便获得两套指标。

其他所有元素就位后，您现在就可以添加和配置绩效切换了。

在方案中使用绩效切换

  1. 将初始分配或数据切换、计时器、路径元素以及其他任何所需的元素拖到画布上。根据需要连接它们。
  2. 将 Performance switch（绩效切换）拖到画布上，并将其连接到其输入计时器和两个输出路径。
  3. 双击绩效切换，然后设置以下选项：
    • 电子邮件通知：输入测试完成时要通知的电子邮件地址的列表。使用逗号分隔多个电子邮件地址。
      在自动选择模式下，通知将报告哪个市场活动已确定为成功者。在手动选择模式下，电子邮件会通知收件人是时候检查测试路径的绩效并确定成功者了。为手动模式绩效切换确定成功者后，方案也会发送通知。
    • 成功者选择模式：选择自动或手动。
      选择哪种模式具体取决于测试路径的复杂程度以及每个路径上一个市场活动的单个指标是否会生成足够的信息以使方案确定绩效最高的路径。如果是，请选择 Automatic（自动）；否则，请选择 Manual（手动）。在手动选择模式下，可以使用 Insight 检查每个路径的总体结果，并自己确定最佳路径。

      注意：如果测试路径包含方案 SMS 市场活动，请确保选择 Manual（手动）选择模式。用于自动选择的绩效数据对于 SMS 市场活动不可用。

    • 指标和标准：对于自动选择模式，选择可用指标之一（“打开率”、“点击率”、“转化率”或“取消订阅率”）和指标的条件（最大值或最小值）。
    • 路径名称和市场活动选择：为每个测试路径添加唯一的标签。如果使用自动选择模式，请从每个路径中选择一个市场活动。
  4. 选择发布方案时切换是否重新开始数据搜集。
    切换搜集的数据是确定产生最佳结果的路径的基础。请参见管理包含绩效切换的已发布方案。
  5. 单击完成。

注意：有关绩效切换如何纳入方案的更多信息，请参见设计方案。

提示、技巧和注释

  • 确保测试组足够大，能够产生有意义的结果。如果测试组太小，绩效的差异可能在统计上不显著。
  • 无论在哪种选择模式下，都要查看测试的结果以确保您度量的对象正确无误。例如，下图显示了包含最高绩效市场活动的路径不一定是总体成功者。



  • 绩效切换支持使用 Scheduled filter（安排的筛选器）、Customer activated（客户激活）、Customer deactivated（客户停用）或 Custom event（自定义事件）进入点创建的受众。
  • 不能在多个绩效切换中选择一个市场活动或者在同一个绩效切换中选择多次。
  • 如果将绩效切换设置为自动选择以及两个或更多个市场活动产生相同的绩效，则将绩效切换属性中最先列出的路径声明为成功者。


管理包含绩效切换的已发布方案

添加新绩效切换时，将自动启用 Start on publish（发布时开始）设置。发布方案后，将自动禁用该设置。这样一来，切换可以搜集从发布之时直到启用该设置并重新发布方案为止的数据。通过编辑切换定义可以根据需要更改该设置。

如果在手动选择模式下选择成功路径之前启用该设置，然后重新发布方案，则切换中的任何受众成员都留在原地，等待您选择成功路径。

（自动或手动）确定成功路径后，Start on publish（发布时开始）选项的行为将发生变化：

  • 如果更改切换的定义并启用发布时开始，则重新发布方案将清除切换的任何现有数据。切换随后使用新定义确定成功路径。
  • 如果更改切换的定义而未启用发布时开始，则重新发布方案不会更改该切换的现有成功者选择。

如果更改选择模式，则 Program 将自动重新启动绩效切换。当时在切换中的任何受众成员都将留在原地，直到新受众成员进入切换并选择成功路径。那时，会将所有受众成员发送到成功路径。

取消发布包含绩效切换的方案

取消发布包含绩效切换的方案时：

  • 除非取消发布方案后在 Analyze（分析）选项卡上选择全部终止，否则保留切换中的留出组成员。如果这样做，会将切换中的留出成员从参与点表中删除。
  • 如果已选择成功者，切换将保留该选择。
  • 如果将切换设置为自动选择且尚未选择任何成功者，则取消发布方案会中止选择过程，直到重新发布方案并且新受众成员进入切换为止。

编辑包含绩效切换的已发布方案时：

  • 如果不改变绩效切换，它将像已发布一样继续工作。
  • 如果删除绩效切换并重新发布方案，则会将切换中的留出组成员从参与点表中删除。
  • 如果将退出路径添加到绩效切换，或者删除现有成功者以外的任何退出路径，则重新发布方案时切换将保持成功路径选择。
  • 如果删除成功路径并重新发布方案，将重置绩效切换以等待新受众成员。

手动选择成功路径

绩效切换将一直运行（收集数据），直到前面的计时器到期为止。如果将切换设置为自动选择，会将包含最高绩效市场活动的路径指定为成功者。如果将切换设置为手动选择，Program 将在 Programs（方案）页上显示一条警告，并向为切换定义的地址发送电子邮件。此时应在 Insight 中查看测试结果并确定产生最佳结果的路径。

确定成功路径后，需要在绩效切换中指定它。

选择成功路径

  1. 打开包含绩效切换的方案，然后在 Analyze（分析）选项卡上选择 Snapshot（快照）。
  2. 双击绩效切换，选择成功路径，然后单击 Done（完成）。



    您选择的路径将高亮显示，并且 Program 会向指定的电子邮件地址发送跟进通知。其余受众成员（以及到达绩效切换的所有将来的通信）将发送到您选择的路径。

覆盖选定的路径

  1. 打开包含绩效切换的方案，然后在 Analyze（分析）选项卡上选择 Snapshot（快照）。
  2. 双击绩效切换，选择新的成功路径，然后单击 Done（完成）。
  3. 确认您要更改路径。
    Program 会向绩效切换的分发列表发送宣布更改的电子邮件通知。如果在发生自动选择之前手动选择成功者，则当计时器到期时自动选择不会覆盖手动选择。

相关主题