8 モデル・モニタリングのスタート・ガイド

モデル・モニタリングを使用すると、モデル予測の品質を長期にわたってモニターでき、モデルの品質問題の原因を洞察するのに役立ちます。

モデル・モニター・ページでは、モデル・モニターおよび結果を作成、実行および追跡できます。このページには、モデル・モニターがリストされます。次のスクリーンショットに示すように、目的のモデル・モニターを1つ選択して、モデル・ドリフトをプレビューできます。このスクリーンショットでは、モニター「Power Consumption」が選択されています。モデル・モニター・ページの下部ペインに、選択したモニターの「モデル・ドリフト」が表示されます。X軸は分析期間を表し、Y軸はモデル・ドリフト値を表します。水平方向の赤い点線はしきい値です。この線は、分析期間の各時点のドリフト値を示しています。マウスを線の上に置くと、ドリフト値が表示されます。

図8-1 モデル・モニター・ページ

モデル・モニター・ページでは、次のタスクを実行できます。

• 作成: モデル・モニターを作成します。
• 編集: モデル・モニターを選択し、「編集」をクリックしてモニターを編集します。
• 複製: モデル・モニターを選択し、「複製」をクリックしてモニターのコピーを作成します。
• 削除: モデル・モニターを選択し、「削除」をクリックしてモデル・モニターを削除します。
• 履歴:モデル・モニターのランタイム詳細を表示するには、モデル・モニターを選択し、「履歴」をクリックします。モデル・モニターに関連付けられているデータ・モニター・ジョブがある場合は、データ・モニターのランタイム詳細が下部ペインに表示されます。「モニターに戻る」をクリックすると、モデル・モニタリング・ページに戻ります。
• 開始: モデル・モニターを開始します。
• 停止: 実行中のモデル・モニターを停止します。
• 詳細: モデル・モニターを選択し、「詳細」をクリックして、次をクリックします。
  • 有効化: モデル・モニター・スケジュールを有効にします。デフォルトでは、モデル・モニターは有効です。ステータスはSCHEDULEDとして表示されます。
  • 無効化: モデル・モニター・スケジュールを無効にします。ステータスはDISABLEDとして表示されます。
  • 管理対象モニターの表示: OML Services REST APIによって作成され管理されているモデルを表示するには、このオプションをクリックします。

モデル・モニター・ページには、モデル・モニターに関する次の情報が表示されます:

• 名前: モデル・モニターの名前です。
• データ・モニター: この列にあるチェック・マークは、モデル・モニターに関連付けられているデータ・モニター・ジョブがあることを示しています。3つのドットをクリックすると、次のものが表示されます:

  図8-2 データ・モニターの結果と設定の表示

  
  • 結果: データ・モニター・ジョブによって計算されたデータ・モニタリング結果が表示されます。データ・モニター名は、接頭辞OMLを付けて自動生成されます。データ・ドリフトおよびモニター対象機能は、計算された統計とともに、別のページに表示専用モードで表示されます。左上隅の「モニター」をクリックすると、モデル・モニター・ページに戻ります。右上隅の「詳細」をクリックすると、データ・モニターの設定が表示されます。

    図8-3 データ・モニターの結果

    
  • 設定: データ・モニター設定、追加設定および監視対象機能が表示専用モードで表示されます。ページの右上隅の「戻る」をクリックすると、モデル・モニター・ページに戻ります。

    図8-4 データ・モニターの設定

    
• ベースライン・データ: モニターするベースライン・データを含む表またはビューです。
• 新規データ: ベースライン・データと比較する新規データがある表またはビューです。
• 最終開始日: モデル・モニターが最後に開始された日付です。
• 最新ステータス: モデル・モニターの最新のステータスです。ステータスは、「成功」、「失敗」、「実行中」、「スケジュール済」です。
• 次回実行日: 次回の実行がスケジュールされている日付です。
• ステータス: モデル・モニターの現在のステータスです。
• スケジュール: モニタリング・ジョブの頻度、つまり、モデル・モニターが新規データで実行される頻度です。

• モデル・モニターの作成
  モデル・モニターは、互換性のある複数のモデルをモニターし、モデル・ドリフト・チャートを計算するのに役立ちます。互換性のあるモデルは、同じターゲットおよびマイニング関数でトレーニングされたモデルを指します。モデル・ドリフト・チャートは、モニター対象モデルごとに1つずつ、複数のデータ・ドリフト・ポイントで構成されます。
• モデル・モニター結果の表示
  モデル・モニター結果ページには、モニターされている各モデルのモニタリング結果が表示されます。正常に実行されたモデルをクリックすると、各モデルの詳細な分析(モデル・ドリフト、モデル・メトリック、予測統計、機能影響、予測分布、各機能の予測対ドリフトの重要度など)を表示できます。各モニター対象機能の予測影響とドリフトの重要性は、データ・モニタリングが有効な場合にのみ計算されます。
• モデル履歴の表示
  履歴ページには、モデル・モニターのランタイムの詳細が表示されます。