7 データ・モニタリングの概要

データ・モニタリングでは、時間の経過に伴うデータの進化を評価します。これは、データのトレンドおよび多変量依存関係に関するインサイトを得るのに役立ちます。また、データ・ドリフトに関する早期警告にもなります。

データ・ドリフトは、時間の経過に伴ってデータが当初のベースライン・データから離れていく場合に発生します。データ・ドリフトは、ビジネス環境の変化、ユーザーの行動と関心の進化、サード・パーティ・ソースによるデータの変更、データ品質の問題、アップストリームのデータ処理パイプラインに関する問題など、様々な理由で発生します。

モデルを正確に解釈し、そのモデルでビジネス上の問題を解決できることを確認するには、時間の経過とともにデータがどのように進化するかを理解することが重要です。データの変化を理解することはモデルの有効性の変化を理解するうえで非常に重要であるため、モデル・モニタリングを正しく行うためにデータ・モニタリングは欠かせません。データの統計プロパティの変化を迅速かつ確実に検出できれば、自分の機械学習モデルがビジネスの目的と合致していることを確認できます。

Oracle Machine Learningユーザー・インタフェースのデータ・モニタリング機能を使用して、データをモニタリングできます。データをモニターするには、Oracle Machine Learning UIホームページの「クラウド」メニューをクリックし、「モニタリング」、「データ」をクリックしてデータ・モニター・ページを開きます。データ・モニター・ページでは、次のタスクを実行できます。

図7-1 データ・モニター・ページ

• 作成: データ・モニターを作成します。

  ノート:

  データ・モニタリングでサポートされているデータ型は、NUMERICおよびCATEGORICALです。
• 編集: データ・モニターを選択し、「編集」をクリックしてデータ・モニターを編集します。
• 複製: データ・モニターを選択し、「複製」をクリックしてモニターのコピーを作成します。
• 削除: データ・モニターを選択し、「削除」をクリックしてデータ・モニターを削除します。
• 履歴: データ・モニターを選択し、「履歴」をクリックしてランタイムの詳細を表示します。モニターに戻るをクリックしてデータ・モニタリング・ページページに戻ります。
• 開始: データ・モニターを開始します。
• 停止: 実行中のデータ・モニターを停止します。
• その他:次のことのためのその他のオプションについては「その他」をクリックします:

  図7-2 データ・モニターの下の「その他」オプション

  
  • 有効化: 無効になっているモニターを有効にするには、データ・モニターを選択し、「有効化」をクリックします。デフォルトでは、データ・モニターは有効になっています。ステータスはSCHEDULEDとして表示されます。
  • 無効化: データ・モニターを無効にするには、データ・モニターを選択し、「無効化」をクリックします。ステータスはDISABLEDとして表示されます。
  • 管理対象モニターの表示: Oracle Machine Learning UIでOML Services REST APIおよびモデル・モニターによって作成され管理されているデータ・モニターを表示するには、このオプションをクリックします。これら2つのコンポーネントによって管理されているデータ・モニターには、システムで生成された名前があり、その名前に対しては特定のアイコンで示されます。
    • 管理対象データ・モニター名に対するリンク・アイコンをクリックすると、関連するモデル・モニターの詳細が表示されます。関連するモデル・モニターの詳細は、別のスライドイン・ペインに表示されます。スライドイン・ペインには、モデル・モニターの名前と、モデル・モニターの結果および設定を表示するリンクが表示されます。そのリンク・アイコンをクリックすると、データ・モニター・ページの下部ペインにデータ・ドリフト詳細も表示されます。このペインを閉じるには、左上隅にあるXをクリックします。

      図7-3 関連するモデル・モニターの結果および設定が表示されたデータ・モニター・ページ

      

      この例では、スライドイン・ペインにモデル・モニターのPower Consumptionの詳細が表示されています。このスライドイン・ペインで:

      • モデル・モニター結果をクリックすると、モデル・モニターによる計算結果(設定、モデル、モデル・ドリフト、メトリックおよび予測統計)が表示されます。「モニター」をクリックすると、データ・モニター・ページに戻ります。「モデル・モニター結果の表示」を参照してください。
      • モデル・モニターの編集ページでモデル・モニターによってモニターされる設定、詳細およびモデルを表示し編集するには、モデル・モニターの設定をクリックします。「取消」をクリックすると、データ・モニター・ページに戻ります。「保存」をクリックして変更を保存します。
    • データ・モニター名に対するチェック・ボックスをクリックすると、下部のペインにデータ・ドリフト値が表示されます。

      図7-4 管理対象データ・モニターの選択

      
    • データ・モニター名をクリックすると、データ・モニターの詳細(設定、データ・ドリフト値および監視対象機能)が表示されます。

      図7-5 データ・モニターのクリック

      

データ・モニター・ページには、選択したモニターに関する情報(モニター名、ベースライン・データ、新規データ、最終開始日、最終ステータス、次回実行データ、ステータスおよびスケジュール)が表示されます。データ・モニターが正常に実行されている場合、ページにはデータ・ドリフトも表示されます。データ・ドリフトを表示するには:

図7-6 データ・モニター・ページのデータ・ドリフトプレビュー

スクリーンショットに示すように、正常に実行されたデータ・モニターを選択します。下部のペインに、選択したモニターのデータ・ドリフトが表示されます。X軸は分析期間を表し、Y軸はデータ・ドリフト値を表します。横の点線はしきい値を示し、実線は分析期間の各時点のドリフト値を表します。マウスを線の上に置くと、ドリフト値が表示されます。この例の詳細は、データ・モニター結果の表示を参照してください。

• データ・モニターの作成
  データ・モニタリングを使用すると、時間の経過に伴うデータ・ドリフト、および機械学習モデルのパフォーマンスに対する悪影響の可能性を検出できます。データ・モニター・ページでは、データ・モニターを作成、実行および結果を追跡することができます。
• データ・モニター結果の表示
  データ・モニター結果ページには、正常に実行された選択したデータ・モニターに関する情報が、各モニター対象機能のデータ・ドリフトの詳細とともに表示されます。
• 履歴の表示
  「履歴」ページには、データ・モニターの実行時の詳細が表示されます。