8 モデル・モニタリングのスタート・ガイド

モデル・モニタリングを使用すると、モデル予測の品質を長期にわたってモニターでき、モデルの品質問題の原因を洞察するのに役立ちます。

モデル・モニター・ページでは、モデル・モニターおよび結果を作成、実行および追跡できます。このページには、モデル・モニターがリストされます。次のスクリーンショットに示すように、目的のモデル・モニターを1つ選択して、モデル・ドリフトをプレビューできます。このスクリーンショットでは、モニター「Power Consumption」が選択されています。モデル・モニター・ページの下部ペインに、選択したモニターの「モデル・ドリフト」が表示されます。X軸は分析期間を表し、Y軸はモデル・ドリフト値を表します。水平方向の赤い点線はしきい値です。この線は、分析期間の各時点のドリフト値を示しています。マウスを線の上に置くと、ドリフト値が表示されます。

図8-1 モデル・モニター・ページ

モデル・モニター・ページでは、次のタスクを実行できます。

• 作成: モデル・モニターを作成します。
• 編集: モデル・モニターを選択し、「編集」をクリックしてモニターを編集します。
• 複製: モデル・モニターを選択し、「複製」をクリックしてモニターのコピーを作成します。
• 削除: モデル・モニターを選択し、「削除」をクリックしてモデル・モニターを削除します。
• 履歴: モデル・モニターを選択し、「履歴」をクリックすると、ランタイムの詳細が表示されます。「モニターに戻る」をクリックすると、モデル・モニタリング・ページに戻ります。
• 開始: モデル・モニターを開始します。
• 停止: 実行中のモデル・モニターを停止します。
• 詳細: モデル・モニターを選択し、「詳細」をクリックして、次をクリックします。
  • 有効化: モデル・モニター・スケジュールを有効にします。デフォルトでは、モデル・モニターは有効です。ステータスはSCHEDULEDとして表示されます。
  • 無効化: モデル・モニター・スケジュールを無効にします。ステータスはDISABLEDとして表示されます。
  • 外部モニターの表示: このオプションをクリックすると、OMLサービスのREST APIによって作成および管理されるモデルが表示されます。

• モデル・モニターの作成
  モデル・モニターは、互換性のある複数のモデルをモニターし、モデル・ドリフト・チャートを計算するのに役立ちます。互換性のあるモデルは、同じターゲットおよびマイニング関数でトレーニングされたモデルを指します。モデル・ドリフト・チャートは、モニター対象モデルごとに1つずつ、複数のデータ・ドリフト・ポイントで構成されます。
• モデル・モニター結果の表示
  モデル・モニター結果ページには、モニターされている各モデルのモニタリング結果が表示されます。正常に実行されたモデルをクリックすると、各モデルの詳細な分析(モデル・ドリフト、モデル・メトリック、予測統計、機能影響、予測分布、各機能の予測対ドリフトの重要度など)を表示できます。各モニター対象機能の予測影響とドリフトの重要性は、データ・モニタリングが有効な場合にのみ計算されます。
• モデル履歴の表示
  履歴ページには、モデル・モニターのランタイムの詳細が表示されます。