51 A/B Testingの開発

Oracle WebCenter Sites: A/B Testing機能では、マーケティング担当者がWebサイト・ページのデザインとコンテンツのバリエーションを試行して、Webサイトに恒久的な変更を加える前に、最適な結果となるバリエーションを判断できます。

マーケティング担当者によるA/Bテストの作成および実行の詳細は、『Oracle WebCenter Sitesの使用』のA/B Testingの使用に関する項を参照してください。

A/B Testingでの開発の詳細は、次の項を参照してください。

51.1 A/B Testingの要件

注意:

このOracle WebCenter Sites製品のA/Bテスト機能は、Google Analyticsとの統合を介して提供されます。このOracle製品のA/Bテスト機能を使用するには、"A/B"テストのパフォーマンスの測定が可能なGoogle Analyticsアカウントを最初にGoogleで登録します。また、"A/B"テストの一部として、匿名エンド・ユーザー情報(テスト用Webサイトにアクセスするエンド・ユーザーの情報)が、その情報を管理するGoogleに配信され、Googleの条件に従いGoogleが使用する場合があることを承認します。

A/B Testing機能を使用できるようにするには、開発者は次を実行する必要があります。

A/Bテストが実行されるテンプレートにA/Bコード・エレメントを含めます。詳細は、「A/B Testingのスクリプト・テンプレート」を参照してください。
A/Bテスト・バリアントをサイト訪問者に配信するインスタンスである、配信インスタンスでプロパティabtest.delivery.enabledをtrueに設定します。このプロパティは、A/Bテストの作成のみに使用するインスタンスには設定しないでください。なぜなら、誤った結果が生成されるからです。abtest.delivery.enabledプロパティは、wcs_properties.jsonファイルのABTestカテゴリ内にあります。

詳細は、『Oracle WebCenter Sitesプロパティ・ファイル・リファレンス』のA/Bテスト・プロパティに関する項を参照してください。
すべてのGoogle Analytics IDを取得して構成に追加します。

A/Bテストの前提条件として、その他のアクションをユーザーおよび管理者が実行する必要があります。完全なリストは、『Oracle WebCenter Sitesの使用』のA/B Testingを開始する前にに関する項を参照してください。

51.2 A/B Testingのスクリプト・テンプレート

A/B Testingを機能させるには、単一行のコードのコール・エレメントを追加する必要があります。含まれるエレメント・コードにより、JavaScriptコードがページに生成されます。テスト済ページがブラウザにロードされると、サーバーにコールバックされ、このページにA/Bテストがあるかどうかを確認します。

この行は、A/B Testingで使用されるページのテンプレートに追加する必要があります。多くのサイトでは、すべてのページの共有テンプレートを含む設計が組み込まれています。この設計をサイトで使用する場合、コール・エレメントを単一のテンプレートに追加するだけで済みます。avisportsサンプルWebサイトでは、Headという名前のテンプレートにコール・エレメントが含まれます。

テンプレートを編集するには、A/B Testingを使用するサイトごとに次の手順に従います。

Adminインタフェースで、テンプレートを検索して開きます。
「編集」アイコンをクリックして、テンプレート・フォームを開いて編集します。「エレメント」を選択します。
「エレメント」フォームがテンプレート内に表示されます。

図51-1 Headテンプレートの「エレメント」フィールド

「図51-1 Headテンプレートの「エレメント」フィールド」の説明
「エレメント・ロジック」フィールドで、次の行を追加します。
<render:callelement elementname="fatwire/includeABTesting" args="c,cid,pagename"/>

これはコードの上部に追加することをお薦めします。これにより、ページのレンダリング前に、このJavaScriptがアクティブになります。

注意:
前述のサンプル・コードでは、テンプレートのrender:callelementタグを使用してincludeABTestingエレメントを含める方法を説明しています。または、ControllerでFragment APIを使用してエレメントを含めることもできます。Fragment APIの詳細は、「開発者のサンプルWebサイト」を参照してください。
テンプレートを保存します。

ここから、サイトで使用されるページ・テンプレートのキャッシュ基準にabを追加します。

51.3 A/B Testingのキャッシュ基準の更新

注意:

新規テンプレートを作成すると、デフォルトでabがキャッシュ基準に追加されます。

A/B Testingで使用される各テンプレートにコール・エレメント・コードを追加した後に、テスト済ページで使用されるページ・テンプレートのキャッシュ基準にabを追加する必要があります。avisportsサンプルWebサイトでは、使用されるページ・テンプレートはSectionLayoutGreenとSectionLayoutOrangeの2つです。この変更は、A/B Testingで使用されるサイトで使用するすべてのページ・テンプレートで行う必要があります。

ページ・テンプレートを更新する手順:

Adminインタフェースで、A/B TestingのWebサイトで使用されるページ・テンプレートを検索して開きます。
「編集」アイコンをクリックして、ページ・テンプレートを開いて編集します。「サイト・エントリ」画面を選択します。
テンプレートの「サイト・エントリ」フォームが表示されます。

図51-2 A/B Testingテンプレートのサイト・エントリ

「図51-2 A/B Testingテンプレートのサイト・エントリ」の説明
「キャッシュ基準」フィールドで、カンマ区切りアイテムのリストの先頭にabを入力します。他のエントリは削除しないでください。
テンプレートを保存します。
A/B Testingのページで使用されるすべてのページ・テンプレートで、これらの手順を繰り返します。

51.4 JSONとしてのA/Bテストの詳細の表示

各A/B Testingアセットは、WCS_ABTestアセット・タイプ経由で使用され、オリジナルのWebページ(Aページ)とテスト・ページ(Bページ)の間での変更を個別にリストしたフィールドが含まれます。これら変更は差分データと呼ばれ、JSON形式でバリエーション(JSON)フィールドに格納されます。

差分データを表示する手順:

Contributorインタフェースで、A/B Testingアセットをフォーム・モードで開きます。
「コンテンツ」タブを選択します。
アセットがフォーム・モードで表示されます。
使用されるJSONがバリエーション(JSON)フィールドに表示されます。ここでは、AとB (使用されている場合は、その他のテスト・ページ)のテスト・ページ間のすべての差分について説明します。

コントリビュータには推奨されませんが、必要に応じて、JSONに格納される差分データを直接編集できます。JSONを適切なJSONエディタにコピーして、必要な変更を加えてから、バリエーション(JSON)フィールドに貼り付けます。

51.5 確信度アルゴリズムの理解

マーケティング担当者がA/Bテストを作成する場合、その結果の確信度レベルを選択できます。この数値により、テスト結果の重要度に関する確信度が決まり、これは特に、『Oracle WebCenter Sitesの使用』のA/Bテストの確信度レベルの選択に関する項で説明されているように、変換の違いが、ランダムな訪問者のバリエーションではなく、バリアントの差異自体に原因がある場合です。この項では、変換の確信度の計算方法の詳細を説明します。

変換率は、変換イベントの件数を閲覧の件数で割ったものです。通常はpで表されます。変換率の変化の割合は、ページAのpをページBのpから引き、ページAのpで割ったものです。これはユーザーごとに計算されます。たとえば、1000000回変換されたしたユーザーは1回としかカウントされません。確信度の判断に使用されるアルゴリズムはZスコアです。

このコンテキストで使用される"確信度"は、訪問者間のランダム・バリエーションだけでなく、ページのバリエーションによってAの結果とBの結果の違いが実際に発生する確信度を判断するのに使用される、統計的計算を指すのに使用されます。

確信度の間隔は、二項分布のWald検定を使用して計算されます。

図51-3 二項分布の確信度の間隔を決定するためのWald検定

「図51-3 二項分布の確信度の間隔を決定するためのWald検定」の説明

サンプルが大きいほど、結果の確信度は高くなります。A/B Testingで使用される一般的なしきい値は、最終スコアから3%の範囲の確信度の間隔です。ただし、これは単なる一般的な使用例であり、任意の範囲の使用が可能です。標準の正規分布の百分位数範囲の標準誤差を掛けることにより、変換率(p)に対する確信度の間隔が決まります。

この時点で、結果が重要である、つまり、ランダムなバリエーションに基づいて変換率に差異がないことを確認する必要があります。Zスコアは次の方法で計算されます。

図51-4 Zスコアの計算

「図51-4 Zスコアの計算」の説明

Zスコアは、コントロールとテストの平均値の間における正の標準偏差値の数です。前述の標準的な確信度間隔を使用すると、ビュー・イベントの数が1000を超えており、Zスコアの確度が95%を超えているか5%を下回る場合、統計的重要度は95%であると判断できます。