1. Autonomous DatabaseでのOracle Machine Learningユーザー・インタフェースの使用
  2. モデル・モニタリングのスタート・ガイド
  3. モデル・モニター結果の表示

8.2 モデル・モニター結果の表示

モデル・モニター結果ページには、モニターされている各モデルのモニタリング結果が表示されます。正常に実行されたモデルをクリックすると、各モデルの詳細な分析(モデル・ドリフト、モデル・メトリック、予測統計、機能影響、予測分布、各機能の予測対ドリフトの重要度など)を表示できます。各モニター対象機能の予測影響とドリフトの重要性は、データ・モニタリングが有効な場合にのみ計算されます。

1. モデル・モニター結果ページ

モデル・モニター結果ページには、モニターによってモニターされているすべてのモデルがリストされます。モニターの名前はページの最上部に表示されます。このスクリーンショットに示すように、モニター名「Power Consumption」が上部に表示されます。「Power Consumption」モニターによってモニターされるモデルGLM_8959AF817、GLMR_0E58D990CDおよびNN_4C90CF9FB8が、「モデル」セクションにリストされます。デフォルトでは、すべてのモニター対象モデルの詳細が表示されます。他のモニターの選択を解除することで、一度に1つのモニターの詳細を表示するように選択できます。

図8-8 モデル・モニター結果ページ

モデル・モニター結果ページ
モデル・モニター結果ページは、次のセクションで構成されています。
  • 設定 — 「設定」セクションにモデル・モニターの設定が表示されます。このセクションを展開するには、「設定」の矢印をクリックします。モデル・モニターの設定を編集するには、ページの右上隅にある「編集」をクリックします。

    図8-9 モデル・モニターの「設定」

    モデル・モニター結果ページの「モデル・モニターの設定」セクション
  • モデル — 「モデル」セクションには、モニターによってモニターされているすべてのモデルがリストされます。この例では、「Power Consumption」モニターによってモニターされているモデルGLM_8959AF817、GLMR_0E58D990CDおよびNN_4C90CF9FB8がリストされます。

    図8-10 モデル・モニター結果ページの「モデル」

    モデル・モニター結果ページにリストされているモデル

    除外するモデルの選択を解除することで、1つ以上のモニター対象モデルの結果を表示および比較できます。モデルをクリックして、モデルの各特徴の結果を表示することもできます。これらの結果 — 「機能影響度」チャート、「予測分布」、「予測影響とドリフト重要度」チャートは、スライドインする別のペインに表示されます。「予測影響とドリフト重要度」チャートは、モデル・モニターの作成時に「データのモニター」オプションが選択されている場合にのみ計算されます。

  • モデル・ドリフト — 「モデル・ドリフト」セクションは「モデル」セクションのすぐ下に表示されます。モデル・ドリフトは、ベースライン期間と新規期間の間のパフォーマンス・メトリックの変化率です。負の値は、新しい期間の方がパフォーマンス・メトリックが優れていることを示しますが、これはノイズのために起こる可能性があります。

    X軸は分析期間を表し、Y軸はデータ・ドリフト値を表します。水平点線は、各モニターがデフォルトで取得するドリフトしきい値設定を表します。デフォルトでは、一般的なユースケースに対応しています。ただし、特定のユース・ケースに基づいてカスタマイズすることもできます。この線は、分析期間の各時点のドリフト値を示しています。マウスを線の上に置くと、ドリフト値が表示されます。このしきい値を超えるドリフトは、モデル予測の大幅な変化を示します。しきい値を超えると、モデルの再構築および再デプロイが必要になる場合があることを示します。このしきい値を下回るドリフトは、さらに調査やアクションが必要になるほどの十分なデータの変化がないことを示します。つまり、このデータを使用して機械学習モデルを再構築する可能性があります。

    図8-11 モデル・モニター結果ページのモデル・ドリフト

    モデル・モニター結果ページのモデル・ドリフト

    一度に1つのモデルのドリフト詳細を表示する必要がある場合は、次に示すように、右側のモデル名をクリックして選択または選択解除します。 モデルの選択

  • メトリック — この「メトリック」セクションには、選択したモデルの計算済メトリックが表示されます。計算されたメトリックはy軸に沿ってプロットされ、期間はx軸に沿ってプロットされます。この例では、3つのモデルすべてについてメトリックR2またはR2乗が表示されます。線上の他の点にカーソルを置くと、計算されたメトリックの詳細が表示されます。すべてのモデルのR2の値は1です。ここでは、モニター対象の3つのモデルすべてに対するR2の値は1です。これは、3つのモデルがすべてデータに適していることを示します。

    図8-12 メトリック

    モデル・メトリック
    回帰の計算済メトリックは次のとおりです。
    • R2 — 適合回帰線へのデータの近似度を計算する統計的測定。一般に、R2乗の値が大きいほど、モデルはデータに適合します。R2の値は常に0から1の間です。
      • 0は、平均に関するレスポンス・データの変動がモデルで説明されていないことを示します。
      • 1は、平均に関するレスポンス・データのすべての変動をモデルが説明していることを示します。
    • 平均二乗誤差 — これは、予測ターゲットと実際のターゲットの2乗差の平均です。
    • 平均絶対誤差 — これは、予測ターゲットと実際のターゲットの絶対差の平均です。
    • 中央絶対誤差 — これは、予測ターゲットと実際のターゲットの間の絶対差の中央値です。
    バイナリ分類の計算済メトリックは次のとおりです。
    • 精度 — 正数と負数の両方のケースを正しく分類する割合を計算します。たとえば、TP + TN + FP + FN (True Positives+True Negatives+False Positives+False Negatives)ケースから正しく分類されたTP (True Positives) + TN (True Negatives)ケースの合計がある場合、式は次のようになります。

      Accuracy = (TP+TN)/(TP+TN+FP+FN)

    • バランスの取れた精度 — 二項分類子がどの程度良好かを評価します。これは、クラスが不均衡な場合、つまり2つのクラスのいずれかが他方よりも頻繁に出現する場合に特に便利です。これは、異常検出などの多くの設定でよく発生します。
    • ROC AUC (ROC曲線下面積) — 判定しきい値に関係なく、差別の総合的な尺度を提供します。AUC - ROC曲線は、様々なしきい値設定における分類問題のパフォーマンス測定値です。
    • 再現率 — 正しく分類された実際の陽性の比率を計算します。
    • 適合率 — 予測された陽性のうち真陽性であるものの割合を計算します。
    • F1スコア — 適合率と再現率を組み合せて単一の数値にします。F1スコアは、次の式で計算される調和平均を使用して計算されます。

      F1-score = 2 × (precision × recall)/(precision + recall)

    マルチクラス分類の計算済メトリックは次のとおりです。

    • 精度
    • バランスの取れた精度
    • Macro_F1
    • Macro_Precision
    • Macro_Recall
    • Weighted_F1
    • Weighted_Precision
    • Weighted_Recall
  • 予測統計 — さらに下にスクロールすると、「予測統計」セクションが表示されます。計算された予測統計はy軸に沿ってプロットされ、期間はx軸に沿ってプロットされます。このスクリーンショットでは、10/30/10の一般化線形モデル — 回帰モデルGLMR_0E58D990CDの移入安定性索引が表示されています。線上の他の点にカーソルを置くと、計算されたメトリックが表示されます。

    図8-13 予測統計

    予測統計

    ドロップダウン・リストをクリックすると、すべての予測統計が表示されます。モデルの予測の統計は、モデルのタイプによって異なります。

    回帰の場合、計算された予測統計は次のとおりです。
    • 移入安定性索引 — これは、集団が時間の経過とともに、または1つの数値の集団の2つの異なるサンプル間でシフトした量の測定値です。2つの分布はバケットに入れられ、PSIは各バケット内のアイテムのパーセントを比較します。PSIは次のように計算されます

      PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

      PSI値の解釈は次のとおりです。
      • PSI < 0.1は、集団に大きな変化がないことを意味します
      • 0.1 <= PSI < 0.2は、集団に中程度の変更があることを意味します
      • PSI >= 0.2は、集団に大幅な変化があることを意味します
    • 最小 — 分析期間について計算した統計の最小値です。
    • 平均 — 分析期間の計算済統計の平均値です。
    • 最大 — 分析期間について計算した統計の最大値です。
    • 標準偏差 — 平均からどのくらいの変動が存在するかを示す値です。
    バイナリ分類の場合、計算された予測統計は次のとおりです。
    • Population Stability Index
    • 平均
    • 最小
    • 最大
    • 標準偏差
    • ビン予測確率分布
    • クラス分布
    マルチクラス分類の場合、計算された予測統計は次のとおりです。
    • Population Stability Index
    • クラス分布

2. モデル・モニターの詳細

モデル名をクリックして、モデルの各機能の結果を表示することもできます。これらの詳細には、「機能影響」チャート、「予測分布」および「予測影響対ドリフト重要度」チャートが含まれます。この例では、モデルGLM_8959AF817を選択します。

図8-14 詳細のためのモデル選択

詳細のモデル選択
計算結果は、スライドする別のペインに表示されます。最大3つの分析期間比較を選択できます。ベースラインの詳細を表示または非表示にするオプションもあります。モデル機能の計算された詳細は次のとおりです。
  • 機能影響 — 機能影響チャートは、モデル内の各機能が指定した時間に与える影響を計算します。チャートには、線形スケールおよび対数スケールに対する機能の影響を表示するオプションもあります。チャートの上にマウスを置くと、「機能名」、「日付」および「機能の影響」の詳細が表示されます。
    • 「ログ・スケール」をクリックすると、機能影響の計算が対数スケールで表示されます。
    • 折れ線グラフをクリックすると、機能影響の計算が折れ線グラフで表示されます。
    • tableをクリックすると、表内の機能影響の計算が表示されます。
    • 「最も影響のある機能を制限」をクリックすると、値を選択するためのドロップダウン・リストが表示されます。

    図8-15 線形スケールでの機能の影響の表示

    機能の影響チャートの表示

    このスクリーンショットでは、機能GLOBAL_INTENSITY、つまり世帯の消費電力のグローバルな分平均電流強度が、他の機能と比較してモデルGLM_8959AF817に最大の影響を与えることがわかります。「ログ・スケール」をクリックすると、次のスクリーンショットに示すように、機能影響の計算が対数スケールで表示されます。ペインの右上端の「X」をクリックして終了します。

    図8-16 対数スケールでの機能の影響の表示

    対数スケールでの機能の影響の表示
  • 予測分布 — 下にスクロールすると、予測分布が表示されます。予測分布は、分析期間ごとにプロットされます。ベースライン・データ(選択されている場合)が表示されます。ビンがX軸に沿ってプロットされ、値はY軸に沿ってプロットされます。各ヒストグラムの上にマウスを置くと、計算された詳細が表示されます。ペインの右上端の「X」をクリックして終了します。

    図8-17 予測分布

    予測分布
  • 予測影響とドリフト重要度 — ペインをさらに下にスクロールすると、「予測影響とドリフト重要度」チャートが表示されます。このチャートは、最も影響のある機能が時間の経過とともにどのように変化するかを理解するのに役立ちます。ドリフト機能の重要度がY軸に沿ってプロットされ、予測機能の影響がX軸に沿ってプロットされます。ペインの右上端の「X」をクリックして終了します。

    ノート:

    「予測の影響とドリフトの重要度」チャートは、モデル・モニターの作成時に「データのモニター」オプションを選択した場合にのみ計算されます。

    図8-18 予測機能の影響対ドリフトの重要性

    予測とドリフトの重要度の表示

    このスクリーンショットでは、他の機能(SUB_METERING_3、GLOBAL_REACTIVE_POWER、VOLTAGE、およびSUB-METERING_1)と比較して、GLOBAL_INTENSITY機能が選択した予測モデルGLM_8959AF817に最大の影響を与えていることがわかります。

親トピック: モデル・モニタリングのスタート・ガイド