注意:
このOracle WebCenter Sites製品のA/Bテスト機能は、Googleアナリティクスとの統合を介して提供されます。このOracle製品のA/Bテスト機能を使用するには、まずGoogleでGoogleアナリティクス・アカウントを登録し、A/Bテストのパフォーマンスを測定できるようにします。 また、A/Bテストの一環として、匿名のエンド・ユーザー情報(テストでWebサイトにアクセスするエンド・ユーザーの情報)がGoogleに提供され、その情報に適用されるGoogleの規約に基づいてGoogleによって使用される可能性があることに同意します。たとえば、A/B Testingを使用して次のことを調査できます。
ホーム・ページからより多くの見込み客を獲得できたのはどのバナー・イメージか
訪問者をWebサイトのプロモーション・セクションにランディングさせることができたのはどの特集記事か
訪問者は赤いバナーが表示されたホーム・ページと青いバナーが表示されたホーム・ページではどちらでより多くの時間を費やすか
お客様の声を追加するとクリック率は増加するか
より多くの訪問者が特集ホワイト・ペーパーをダウンロードする結果となったのはどのページ・レイアウトか
A/B Testingの使用の詳細は、次のトピックを参照してください。
A/Bテストの作成および実行には、次の主要手順が含まれます。これらについては、この章全体を通して詳しく説明します。
テストで比較する内容を決定します。
A/Bテストでは、複数のバリアントを比較します。バリアントAはコントロール(ベース)として機能し、バリアントBおよび任意の追加バリアント(C、Dなど)はそれぞれAと比較されます。
一度に複数のA/Bテストを実行できます。
テストで測定する内容を決定します。
目標を使用して、テストで取得する訪問者アクションを指定し、バリアントを比較し、A/Bテストの結果として表示します。目標とは、追跡用として識別する特定の訪問者アクションを示し、ユースケースと適合する目標のタイプを指定できます。デフォルトの目標は、宛先、期間、セッション別のページ数およびイベントです。たとえば、「宛先」を選択すると、surfing.html
などのページを指定できます。このページが訪問されるたびに変換が発生します。
Oracle WebCenter Sites: ContributorインタフェースのA/Bテスト・モードで、A/Bテストを作成し、これにバリアントを追加します。
管理システムでテストを作成し、WYSIWYG A/Bテスト・モードを使用して、選択したWebページまたはモバイル・ページに1つ以上のバリアントを追加します。カラーコーディング別にバリアントを識別し、追跡した変換を簡単に保存または破棄できます。下図では、最初のバリアント(B)がA/Bテスト・パネル(B)とページ上の各(1)の両方で緑色で表示されています。「A/Bテストの作成」を参照してください。
A/Bテストの基準を選択します。
テストをいつどのように開始および終了するかを指定します。Googleアナリティクスでは、期間として表示されます。たとえば、開始日に14、終了日に28を選択すると、Googleアナリティクスでは2週間として表示されます。「A/Bテストの開始および終了の指定」を参照してください。
達成すべき統計的な確信度レベルを指定します。たとえば、結果の確信度レベルが95%の場合は95を入力します。「A/Bテストの確信度レベルの選択」を参照してください。
目標の選択をクリックし、表示されたダイアログ・ボックスで目標を選択します。「A/Bテストで追跡する目標の指定」を参照してください。
テストのターゲットとする訪問者またはセグメントを選択します。訪問者プール全体のうち指定した割合までのテストや、選択した1つ以上の訪問者セグメントについて指定した割合までのテストを表示できます。「A/Bテストでターゲットとする訪問者またはセグメントの指定」を参照してください。
図11-2 A/Bテストの基準ペイン
テスト(およびその依存性)を承認し、実際の試験をGoogleで確認します。
「A/Bテストの承認およびパブリッシュ」を参照してください。
「A/Bテスト・レポートでのテスト結果の表示」を参照してください。
訪問者によってバリアントが閲覧され、変換が行われたら、個々のA/Bテストの結果をレポート上で参照できます。このレポートでは、テスト・バリアントの作成時に見たものと同じバリアントのカラーコーディングが保持されています。このレポートを使用して、測定可能な訪問者アクションの差異がバリアント間にあるかどうかを確認できます。Cookieが残されるため、訪問者がサイトに戻ったときに同じバリアントが表示されます。「A/Bテスト結果の表示」を参照してください。
必要に応じて、最優秀バリアントを使用するためにサイトを更新します。
最優秀バリアントをしばらく表示した後、A/Bテストをコピーまたは作成して新しいバリアントを組み込むことにより、テストを繰り返して精度を徐々に上げていくことができます。
A/Bテストを作成するには、次の前提条件を満たす必要があります。
A/Bテスト・アセット・タイプWCS_ABTest
を有効にする必要があります。これは、デフォルトでは有効ではありません(avisportsおよびFirstSite IIサンプル・サイトの場合は除きます)。
アセット・タイプはWebCenter Sites管理者または開発者が有効にします。
詳細は、『Oracle WebCenter Sitesの管理』のA/B Testingの管理に関する項を参照してください。
A/Bテストを実行するテンプレートにA/Bコード・エレメントが含まれる必要があります。このコード・エレメントは、デフォルトではテンプレートに含まれていません。
A/Bコード・エレメントはWebCenter Sites開発者がテンプレートに追加します。
詳細は、『Oracle WebCenter Sitesでの開発』のテンプレート・アセットに関する項を参照してください。
配信インスタンス(A/Bテスト・バリアントをサイト訪問者に配信する任意のインスタンス)でabtest.delivery.enabled
プロパティをtrueに設定する必要があります。このプロパティは、A/Bテストの作成のみに使用するインスタンスには設定しないでください。なぜなら、誤った結果が生成されるからです。abtest.delivery.enabled
プロパティは、wcs_properties.jsonファイルのABTestカテゴリ内にあります。
詳細は、Oracle WebCenter Sitesのプロパティ・ファイル・リファレンスのA/Bテストのプロパティに関する項を参照してください。
A/Bテストの最優秀バリアントをプロモーションできるユーザーには、MarketingAuthor
ロールを付与する必要があります。A/Bテスト・レポートを表示したりテストを中止できるユーザーには、MarketingEditor
ロールを付与する必要があります。
ユーザーの構成の詳細は、Oracle WebCenter Sitesの管理のユーザー、プロファイルおよび属性の構成に関する項を参照してください。
A/Bテストの作成には、テストするWebページのバリアントの設定、およびテスト中に適用する基準の設定が含まれます。
A/Bテストの作成の詳細は、次のトピックを参照してください。
ContributorでのA/Bテストの操作は、Webビューでの編集と似ています。主な違いは2つあり、1つは、A/Bテスト・モードの場合はサイト・ページ自体ではなくバリアントのテスト・レイヤに対して変更を行うこと、もう1つは、A/Bテスト・パネルは右側に表示されることです。
A/Bテスト・モードのオンとオフの切替えの詳細は、次のトピックを参照してください。
ページに対するA/Bテストが存在しない場合、右側のパネルには、「テストを作成してください」というテキストが示された1つのコントロールが表示されます。
ページに対して1つ以上のA/Bテストがすでに存在する場合、右側のパネルには、A/Bテスト・コントロールと、基準コントロールを変更するためのオプションが表示されます。
A/Bテスト・コントロールを使用して、ページに対するテストを作成および編集し、ページのバリアントに対して行う変更を追跡します。
基準コントロールを使用して、選択したテストの基準(開始と終了の決定子、測定対象の変換、ターゲットと確信度に関する情報など)を設定します。
A/Bテスト・モードの場合、ツールバーのコントロールも変化します。
ツールバー・ラベルはA/Bテストに変更されます。
テストがまだパブリッシュされていない場合、「保存」アイコンとページ・レイアウトの変更アイコンを使用できます。
「承認」アイコンと「削除」アイコンは常に使用できます。
「編集」、「プレビュー」、「チェックイン/チェックアウト」または「レポート」アイコンはありません。
A/Bテストを作成したり、これらをコピーしたり、既存のテストを選択できます。
A/Bテストの作成、コピーおよび選択の詳細は、次のトピックを参照してください。
これらのタスクでは、A/Bテスト・モードで作業していることを前提としています。
既存のテストのドロップダウン・リストを開き、必要なテストを選択します。
テストを作成、コピーまたは選択した後、バリアント(「A/Bテスト・バリアントの追加/選択および編集」を参照)を処理し、基準を選択できます。選択した基準は、テストのすべてのバリアントに適用されます。
A/Bテスト・バリアントの設定の詳細は、次のトピックを参照してください。
この手順では、パネル内でバリアントを選択してそのWebページを編集することによってA/Bテストを定義してから、カラーコーディングおよび番号付けを使用して、選択したバリアントとその変更を識別します。
テスト・バリアントを追加/選択および編集するには:
A/Bテスト基準の設定の詳細は、次のトピックを参照してください。
テストを作成する場合、その開始および終了日時を指定できます。開始日時を指定しない場合、テストはパブリッシュされると同時に開始します。テストの実行が開始したら、「A/Bテスト結果の表示」および「A/Bテスト結果に基づくサイトの変更」で説明しているように、現在の結果の表示、早期の停止、および最優秀バリアントのプロモーションを行うことができます。テストはパブリッシュされた後に編集することはできません。
テストを作成する場合、その結果の確信度レベルを選択できます。この数値により、テスト結果の重要度に関する確信度が決まります。これは特に、その変換の差異が、ランダムな訪問者のバリエーションにではなくバリアントの差異自体に原因がある場合です。A/Bテストの訪問者の数が大きくなるほど、バリアントの差異における統計的な重要度を確認しやすくなります。
確信度レベルを設定した場合、設定されているテストの終了時点を超えても、設定されているレベルに達するまでA/Bテストは続行されます。
確信度レベルの計算の詳細は、「A/Bテストの確信度レベルの計算方法」を参照してください。
テストの確信度レベルをを選択するには:
変換率とは、特定の訪問者アクションを実行した訪問者の数を、ページ・バリアントへの訪問者の数で割った数値を示します。この率はバリアントごとに計算されます。
確信度の間隔は、二項分布のWald検定を使用して計算されます。Wald検定(図11-6)では、変換率はpで表されています。
これにより、各バリアントの結果を使用してZスコア(図11-7)が計算されます。Zスコアにより、結果の正確度を測定します。A/B Testingで使用される一般的なZスコア(確信度範囲)は、最終スコアから3%の範囲です。ただし、これは単なる一般的な使用例であり、任意の範囲の使用が可能です。この場合、標準の正規分布の百分位数範囲の標準誤差を掛けることにより、変換率(p)に対する範囲が決まります。
この時点で、結果が重要である、つまり、ランダムなバリエーションに基づいて変換率に差異がないことを確認する必要があります。Zスコアは次の方法で計算されます。
Zスコアは、コントロールとテストの平均値の間における正の標準偏差値の数です。前述の標準的な確信度間隔を使用すると、ビュー・イベントの数が1000を超えており、Zスコアの確度が95%を超えているか5%を下回る場合、統計的重要度は95%であると判断できます。
マーケティング担当者は、GoogleアナリティクスでA/Bテストのカスタム目標を作成して使用する必要があります。これらの目標は、A/Bテストを設定する前に作成する必要があります。独自の目標を作成することも、他のユーザーによって作成された目標を使用することもできます。
追跡する目標を指定するには:
A/Bテストは、次のどちらかについて指定した率でランダムに表示できます。
訪問者プール全体
選択した1つ以上のセグメント
たとえば、50と入力することにより、テストのターゲットを、すべての訪問者の50%、または65才以上の訪問者セグメント内の訪問者の50%に設定できます。(セグメントの詳細は、「セグメントの作成」を参照してください。)
指定した率内で、テスト・バリアントがターゲット訪問者と等比率で表示されます。たとえば、訪問者の30%をターゲットとするテストに、コントロール(A)に加えて2つのバリアント(BおよびC)が含まれる場合、訪問者の10%がコントロールA、10%がバリアントB、および10%がバリアントCとして表示されます。
テストのバリアントを作成および編集し、基準を指定した後、次の手順は、配信システムへのテストのパブリッシュを承認することです。ここで、Googleアナリティクスにテストが作成されます。この時点まで、Googleアナリティクスには何もありません。テストを承認すると、Googleにログインして試験とそのすべての設定を確認できます。
承認について考慮すべき項目をいくつか次に示します。
テストを承認すると、テストとそのバリアントが承認されます。すべてのWebページの承認の場合と同じように、アセットとそのすべての依存性を承認する必要があります。
テストを承認するには、テストに目標が含まれる必要があります。
A/Bテストは、選択する宛先にパブリッシュされます。この宛先自体は管理者によってすでにパブリッシュされている必要があります。使用可能なパブリッシュ済宛先がない場合は、管理者に問い合せてください。
パブリッシュ時に、テストの基準に指定した日時でテストが開始します。この時間がすでに経過している場合、テストは即時開始します。
テストのアセットのパブリッシュを承認し、テストを開始するには:
A/Bテストの結果は、A/Bテスト・レポートに表示されます。これらを使用して、テストしたバリアント・ページの1つをアクティブなWebサイトにプロモーションするかどうかを決定できます。
A/Bテスト結果の使用の詳細は、次のトピックを参照してください。
テストが開始されたら、訪問者がWebページのコントロール(A)またはバリアント・バージョンを閲覧するたびに、サイトの訪問情報が取得され、これらの統計がA/Bテスト・レポートで使用可能になります。完了したテストの場合、このレポートには、ベースのWebページ設計とバリアントのWebページ設計の相対的なパフォーマンスを比較するためのデータが表示されます。この情報を使用して、バリアントの1つを、訪問者が閲覧するWebページにプロモーションするかどうかを決定できます。このレポートの完全な説明は、「A/Bテスト・レポート」を参照してください。
ContributorインタフェースでA/Bテスト・レポートを表示するには:
A/Bテスト・レポートには、ベースのWebページ設計とバリアントのWebページ設計の相対的なパフォーマンスを比較するためのデータが表示されます。この情報を使用して、バリアントの1つを、訪問者が閲覧するWebページにプロモーションするかどうかを決定できます。
ヘッダー・セクション
図11-8 A/Bテスト・レポート: ヘッダー・セクション
表11-1 A/Bテスト・レポートのヘッダー・セクションの機能
機能 | 説明 |
---|---|
製品およびレポート名領域 |
Oracle WebCenter Sites A/Bテスト・レポートが表示されていることを確認します。 |
ステータス領域 |
レポートが進行中であるか、完了しているか、またはパブリッシュされていないかを示します。 |
ボタン |
これは、赤色の「停止」ボタン、緑色の「昇格」ボタン、または緑色の「編集」ボタンです。 |
サマリー・セクション
図11-9 A/Bテスト・レポート: サマリー・セクション
表11-2 A/Bテスト・レポートのサマリー・セクションの機能
機能 | 説明 |
---|---|
情報領域 |
A/Bテストの名前、テストが実行されているWebページの名前、テストの所有者、およびテストの説明が表示されます。 |
変換 |
テストが監視している変換のタイプ。 |
セグメント |
テストにセグメント化されたユーザー・ベースが含まれる場合、ここでセグメント化について説明します。「すべて」は、ユーザー・ベースがセグメント化されていないことを意味します。 |
停止 |
テストを停止する日時と方法。 |
チャート |
比較できるようにまとめて表示された各バリアントの変換率。 |
メトリック・バー
図11-10 A/Bテスト・レポート: メトリック・バー
表11-3 A/Bテスト・レポートのメトリック・バーの機能
機能 | 説明 |
---|---|
ターゲット |
テストに設定されているすべての訪問者の割合、終了日、および確信度の割合。 |
今日までのサマリー |
すべてのバリアントを合算した、サービスを提供した訪問者の数、変換の数、およびこれまでに達成した確信度の割合。1つのバリアントが他のバリアントより優れていることをテストで識別できた場合、テストの完了時にこれが最優秀バリアントとして表示されます。 |
変換セクション
図11-11 A/Bテスト・レポート: 変換セクション
表11-4 A/Bテスト・レポートの変換セクションの機能
機能 | 説明 |
---|---|
選択基準 |
通常は「デバイス」に設定されています。 |
表示 |
各バリアントに関する変換情報。 |
確信度セクション
図11-12 A/Bテスト・レポート: 確信度セクション
表11-5 A/Bテスト・レポートの確信度セクションの機能
機能 | 説明 |
---|---|
チャート |
各バリアントの訪問者の数、変換の数、変換の割合、Zスコア(「A/Bテストの確信度レベルの計算方法」を参照)、および確信度の値。 |
A/Bテストを削除すると、このテスト用として生成されたレポートすべてにアクセスできなくなります。ただし、データは破棄されないため、EIDに直接アクセスし、独自のレポートを作成してこれを取得できます。
実行中のA/Bテストを削除しようとすると、削除を完了する前に警告が表示されます。
注意:
後続の手順を実行してA/Bテストを削除した場合でも、Googleで作成された試験は削除されません。Googleから試験を削除するには、Googleアナリティクスのインタフェースにログインして削除します。A/Bテストを削除するには:
ツールバーの「戻る」ボタンをクリックすると、テストしていたWebページに戻ることができます。