パフォーマンス・スイッチの理解

プログラム内でパフォーマンス・スイッチを使用して、プログラム・フローの状況下でキャンペーンや他の変数(タイマーなど)の効果を比較します。たとえば、以下をテストできます。

Eメール・キャンペーンの場合:
- 件名 - 開封率のより高い件名を把握するため。
- メッセージ・コンテンツ - クリックスルー・レートのより高いメッセージを把握するため。
- ランディング・ページ・コンテンツ - コンバージョン・レートのより高いページを把握するため。
- タイミング - メッセージ間隔の変更により全体的によりよいレスポンスが得られるかを把握するため。
- タッチ頻度、メッセージの関連性、または全体的な戦略 - 配信停止レートの最も低いアプローチを把握するため。
SMSキャンペーンの場合:
- 受信レート
- 短縮URL
- コンバージョン・レート
- チャネル(EメールまたはSMS) - 最もレスポンスのよいチャネルを把握するため。

最良の結果が得られる要素を把握した後は、プログラムのパフォーマンスを改善するためにその情報を利用できます。

次は、パフォーマンス・スイッチを使用して2つのEメール・キャンペーンの効果をテストするサンプル・プログラムです(パフォーマンス・スイッチの最も一般的な使用法)。割当スイッチは無作為グループ(10%)を2つのテスト・パスに送り、残りの保留グループ80%を経過タイマーに送ります。タイマーが経過したら、パフォーマンス・スイッチは最良の結果が得られたパスに保留グループを送ります。

サンプル・パフォーマンス・スイッチ

アクション、タイマーおよびスイッチの有効な組み合わせを多数作成できますが、テストする変数のセットを制限したほうがパフォーマンス・スイッチから明確な結果を得ることができます。各テスト・パスに含める変数(キャンペーン、タイマーなど)が増えれば増えるほど、その結果の理由を1つの変数に特定しにくくなります。

ウィナーの選択について

パフォーマンス・スイッチの構成方法により、システムは4つのキャンペーン・メトリックのいずれかを使用して最良な成果が得られるパスを自動的に特定できます。あるいは、ユーザーが両方のパスの結果を評価してどちらにするかを決定する間、一時停止するようにスイッチを設定できます。

パフォーマンス・スイッチを自動ウィナー選択に設定する場合は、次のメトリックのいずれかを選んで、ウィナーとなるための条件としてそれを最低または最高に設定します。

開封率: 開封されたメッセージ数
クリックスルー・レート: 受信者がメッセージに含まれるリンクをクリックしたメッセージ数
コンバージョン・レート: 受信者が購入に至ったメッセージ数
配信停止レート: 受信者により配信停止されたメッセージ数

パフォーマンス・スイッチを手動ウィナー選択に設定する場合は、テストが実行されるまで待機し、(通常はInsightインタラクティブ・ダッシュボードを使用して)結果を確認した後、パフォーマンス・スイッチに戻ってウィナー・パスを指定します。このアプローチは、複数のキャンペーン、タイマーその他の変数を含む複雑なパスの場合に最適です。次の例は、手作業ウィナー選択に最適なパフォーマンス・スイッチを示しています。

複雑なパフォーマンス・スイッチ

ヒント: 自動選択はパスごとに1つのキャンペーン結果を測定することを目的としており、同等のパスと比較するのに適しています。たとえば、各パスにそれぞれ1つのキャンペーンがある場合、最も成果の良かったキャンペーンを決定するのは簡単です。ただし、各パスに複数のキャンペーンやタイマーがある場合、評価するキャンペーン・メトリックの効果は希薄になってしまいます。このような場合は、パフォーマンス・スイッチを手作業ウィナー選択に設定して、各パスの累計パフォーマンスを分析するのが最適であると考えられます。

仕組み

パフォーマンス・スイッチを使用して各パスのキャンペーンの効果を比較する前に、オーディエンスをテスト・グループと保留グループに分けて、テスト期間を決定する必要があります。スイッチから出るパスも定義してください。

テスト・グループと保留グループを無作為に選択する割当スイッチでこれらのグループを特定できます。またはデータ・スイッチを割当スイッチの前に配置して、保留グループをフィルタしてからテスト・オーディエンスを2つのグループに分割することもできます。

次にタイマーでテスト期間を設定して、最良の結果が得られたパスが特定されるまで保留グループを待機パターンに保持します。テスト期間を設定するには経過タイマーを使用し、特定の日時にテストを終了するにはターゲット・タイマーを使用できます。

パフォーマンス・スイッチの反対側にはテスト・パス(通常2本)があります。理論上は、データ・スイッチを使用して保留グループを取り除き、割当スイッチを使用して3つのテスト・パスを作成できます。ただし、実用的には、パスは2つにしておくほう現実的で有意義なテストになります。

各パスにはアクティビティやイベントを数多く含めることができますが、テストする変数の数を制限して簡潔に保つのがベスト・プラクティスです。2つのキャンペーンを評価する場合は、両方のパスに同じタイマーを使用してください。同様に、(手作業選択で)最も効果的なメッセージ間隔を特定する場合は、類似メッセージでタイマーをテストするとよいでしょう。まったく同じメッセージを異なる変数と組み合わせてテストする場合は、キャンペーンをコピーすると2組のメトリックを得ることができます。

その他すべての要素が揃ったら、パフォーマンス・スイッチを追加して構成できます。

プログラムでパフォーマンス・スイッチを使用するには

最初の割当スイッチまたはデータ・スイッチ、タイマー、パス要素、その他の必要要素をキャンバスにドラッグします。必要に応じてこれらを接続します。
「パフォーマンス・スイッチ」をキャンバスにドラッグして、入力タイマーと2つの出力パスに接続します。
「パフォーマンス・スイッチ」をダブルクリックし、次のオプションを設定します。
- Eメール通知: テストの終了時に通知するEメール・アドレスのリストを入力します。Eメール・アドレスが複数ある場合はカンマで区切ってください。
  自動選択モードになっていると、ウィナーであると特定されたキャンペーンが通知で報告されます。手作業選択モードになっていると、受信者にテスト・パスのパフォーマンスを分析してウィナーを特定する時間が来たことを知らせます。パフォーマンス・スイッチが手作業モードになっていてウィナーが特定されたときもプログラムから通知が送信されます。
- ウィナー選択モード: 「自動」または「手作業」を選択します。
  どちらのモードを選ぶかは、テスト・パスの複雑さと、1パス1キャンペーンにメトリックを1つ適用することによりプログラムがパフォーマンスのよいパスを決定するのに十分な情報が得られるかどうかによります。十分な情報が得られる場合は「自動」を、それ以外は「手動」を選択します。手作業選択モードになっていると、Insightを使用して各パスの集計結果を検討して最適なパスを決定できます。
  注意: テスト・パスにProgram SMSキャンペーンが含まれている場合は、必ず「手動」選択モードを選んでください。自動選択に使用されるパフォーマンス・データはSMSキャンペーンには使用できません。
- 「メトリック」および「条件」: 自動選択モードでは、使用可能なメトリックのいずれか(開封率、クリックスルー・レート、コンバージョン・レートまたは配信停止レート)とメトリックの条件(最高か最低)を選びます。
- 「パス」名とキャンペーンの選択: 各テスト・パスに一意のラベルを追加します。自動選択モードを使用している場合は、各パスに1つキャンペーンを選びます。
プログラムが公開されたらスイッチ用のデータ収集を最初からやり直すかどうかを選びます。
スイッチにより収集されたデータは最良な結果が得られるパスを特定する基礎となります。を参照してください。
「完了」をクリックします。

注意: パフォーマンス・スイッチのプログラムへの組込み方法の詳細は、「プログラムのデザイン」を参照してください。

ヒント、コツ、注意

テスト・グループが有意義な結果を得られる規模であることを確かめてください。テスト・グループが小さすぎると、パフォーマンスの差違は統計的に有意義でない場合があります。
選択モードに関係なく、テスト結果を見て、適切なデータを測定していることを確認してください。たとえば、次の図は最もパフォーマンスのよいキャンペーンが全体的なウィナーとはかぎらないことを示しています。
パフォーマンス・スイッチは、予定済フィルタ、顧客によるアクティブ化、顧客による非アクティブ化またはカスタム・イベントの入口点を使用して作成されたオーディエンスを処理します。
1つのキャンペーンを複数のパフォーマンス・スイッチで選択したり、同じパフォーマンス・スイッチで複数回選択できません。
パフォーマンス・スイッチが自動選択に設定されていて、2つ以上のキャンペーンが同じパフォーマンスを示した場合は、パフォーマンス・スイッチのプロパティに最初に表示されているパスがウィナーとなります。

パフォーマンス・スイッチを使用した公開済プログラムの管理

新しいパフォーマンス・スイッチを追加すると、「公開時に開始」設定が自動的にオンになります。プログラムを公開すると、この設定は自動的にオフになります。これによって、公開時から設定をオンにしてプログラムを再公開するまでスイッチでデータが収集されます。この設定は必要に応じてスイッチの定義を編集すると変更できます。

手作業選択モードでウィナー・パスを設定する前にこの設定をオンにしてプログラムを再公開すると、スイッチに入っているオーディエンス・メンバーはその場に残り、ユーザーがウィナー・パスを選択するのを待機します。

ウィナー・パスが(自動また手作業で)特定されると、「公開時に開始」オプションの動作が変更されます。

スイッチの定義を変更して「公開時に開始」をオンにすると、スイッチの既存データはプログラムの再公開時に消去されます。スイッチはその後、新しい定義を使用してウィナー・パスを決定します。
「公開時に開始」をオンにしないでスイッチの定義を変更すると、プログラムを再公開してもそのスイッチが選択した既存のウィナーは変更されません。

選択モードを変更すると、プログラムは自動的にパフォーマンス・スイッチを再開します。このときにスイッチに入っているオーディエンス・メンバーは新しいオーディエンス・メンバーがスイッチに入り、ウィナー・パスが選択されるまでその場に留まります。この時点ですべてのオーディエンス・メンバーはウィナー・パスに送られます。

パフォーマンス・スイッチを使用したプログラムの公開取消

パフォーマンス・スイッチが設定されたプログラムの公開を取り消すと、次のようになります。

スイッチに入っている保留グループのメンバーは、プログラムの公開を取り消した後に「分析」タブで「すべて終了」を選択するまでスイッチに保持されます。これを実行すると、スイッチ内の保留メンバーは実施表から削除されます。
ウィナーが選択されていると、スイッチはその選択を保持します。
スイッチが自動選択に設定されていて、ウィナーが未だ選択されていないのにプログラムの公開を取り消すと、プログラムが再公開されて新しいオーディエンス・メンバーがスイッチに入るまで選択プロセスは中断されます。

パフォーマンス・スイッチが設定された公開済プログラムを編集すると、次のようになります。

パフォーマンス・スイッチを変更しないと、公開された通りに作動し続けます。
パフォーマンス・スイッチを削除してプログラムを再公開すると、スイッチ内の保留メンバーは実施表から削除されます。
パフォーマンス・スイッチに終了パスを追加、または既存ウィナー以外の終了パスを削除すると、スイッチにはプログラムの再公開時に選択されたウィナー・パスが保持されます。
ウィナー・パスを削除してプログラムを再公開すると、パフォーマンス・スイッチはリセットされて、新しいオーディエンス・メンバーを待機します。

手作業によるウィナー・パスの選択

パフォーマンス・スイッチは、その前に配置されているタイマーの時間が切れるまで実行(データを収集)します。スイッチが自動選択になっている場合は、最もパフォーマンスのよいキャンペーンが含まれるパスがウィナーと指定されます。スイッチが手作業選択になっている場合、プログラムは、「プログラム」ページに警告を表示して、スイッチに定義されたアドレスにEメールを送信します。この時点で、テスト結果をInsightで確認して、最良な成果が得られたパスを特定してください。

ウィナー・パスを特定したら、パフォーマンス・スイッチでそのパスを指定する必要があります。

ウィナー・パスを選択するには

パフォーマンス・スイッチが設定されたプログラムを開き、「分析」タブで「スナップショット」を選択します。
「パフォーマンス・スイッチ」をダブルクリックしてウィナー・パスを選択し、「完了」をクリックします。

選択するパスがハイライトされて、プログラムから指定したEメール・アドレスにフォローアップ通知が送信されます。残りのオーディエンス・メンバー(およびパフォーマンス・スイッチに到着する今後のトラフィックすべて)は、選択したパスに送られます。

選択されたパスをオーバーライドするには

パフォーマンス・スイッチが設定されたプログラムを開き、「分析」タブで「スナップショット」を選択します。
「パフォーマンス・スイッチ」をダブルクリックして新しいウィナー・パスを選択し、「完了」をクリックします。
パスを変更することを確認します。
プログラムからパフォーマンス・スイッチの配布リストに変更通知がEメールで送信されます。自動選択が実行される前に手作業でウィナーを選択すると、手作業選択の項目はタイマーが切れても自動選択でオーバーライドされません。