1. Oracle Machine Learning ServicesのREST API
  2. モデル・モニタリングの操作
  3. モデル・モニタリング出力表のスキーマ

モデル・モニタリング出力表のスキーマ

モデル・モニタリング出力表には、モデル・モニタリング出力のスキーマが示されています。出力データは、ジョブ・リクエストでユーザーが指定した表に書き込まれます。これは必須の入力です。この表はOracle Machine Learning Serviceによって作成され、その形式はジョブ・タイプによって異なります。

出力データ形式: 出力データは、ユーザー指定の出力表に書き込まれます。この表はOracle Machine Learning Servicesによって作成され、その形式はジョブ・タイプによっても異なります。出力スキーマ名はoutputSchemaNameです。このデフォルトは、outputSchemaName属性で上書きできます。

ノート:

データ・ソースへのアクセスは、データベース権限によって管理されます。
生成された列にはoml$という接頭辞が付くので、ユーザーが指定したとおりにコピーされるサプリメンタル列名と区別できます。

ノート:

ジョブ・リクエストにtopNDetailsを設定しないと、詳細は生成されません。

モデル・モニタリング出力表

モデル・モニタリング出力はリレーショナル表に格納されています。JSON列には、各モデルに最も影響を与える予測統計や特徴など、様々な関連メトリックが格納されます。索引付けや共通フィルタに使用する列は2D形式です。

表 - モデル・モニタリング出力表

列 タイプ 説明
START_TIME TIMESTAMPWITHTIMEZONE モニタリングの開始時間
END_TIME TIMESTAMPWITHTIMEZONE モニタリングの終了時間
IS_BASELINE NUMBER(1) メトリックがベースライン・データに基づくかどうかを示します。1はTRUE、0はFALSEを示します
MODEL_ID VARCHAR2 モデルID。
METRIC NUMBER 指定したモデル・パフォーマンス・メトリックの値
HAS_DRIFT NUMBER(1) ドリフトが検出されたかどうかを示します。1はTRUE、0はFALSEを示します。ドリフトにより、ベースライン・データと新しいデータ期間の間のパフォーマンスの相対的な変化を捉えます。
  • このしきい値を上回るドリフトは、モデル予測の大幅な変化を示しています。しきい値を上回るということは、モデルの再構築と再デプロイが必要な可能性があるということです。
  • このしきい値を下回るドリフトは、データの変化が不十分でありさらに調査または処置が必要であることを示しています。
DRIFT NUMBER ドリフトの程度
MODEL_TYPE VARCHAR2 「CLASSIFICATION」または「REGRESSION」
THRESHOLD NUMBER has_drift値の決定に使用される値
MODEL_METRICS CLOB 回帰 
{ 
    "R2": number,
    "Mean squared error": number,
    "Mean absolute error": number,
    "Median absolute error": number,
    "prediction_statistics":
    {   
        "population_stability_index": number, 
        "mean_value": number,
        "min_value": number,
        "max_value": number,
        "standard_deviation": number
        "bin_distribution": [
           {
              "bin_upper_boundary": number,
              "bin_percentage": number
           },
           ...
           {
              "bin_upper_boundary": null,
              "bin_percentage": number
           }
        ],
     },
     "most_impactful_features": [
        {
           "feature_name": string,
           "feature_impact": number
        },
        ......
     ]
}

2項分類

{
   "Accuracy": number,
   "Balanced Accuracy": number,
   "ROC AUC": number,
   "F1": number,
   "Precision": number,
   "Recall": number,
   "prediction_statistics":
   {
     "population_stability_index": number,
     "mean_value": number,
     "min_value": number,
     "max_value": number,
     "standard_deviation": number,
     "bin_distribution": [
        {
           "bin_upper_boundary": number,
           "bin_percentage": number
        },
        ...
        {
           "bin_upper_boundary": null,
           "bin_percentage": number
        }
     ],
     "class_distribution": [
        {
           "class": string,
           "class_percentage": number
        },
        ......
     ]
    },
    "most_impactful_features":
    [
      {
         "feature_name": string,
         "feature_impact": number
      },
      ......
    ]
}

多項分類

{
   "Accuracy": number,
   "Balanced Accuracy": number,
   "macro_averaged": {
      "F1": number,
      "Precision": number,
      "Recall": number
   },
   "weighted_averaged": {
      "F1": number,
      "Precision": number,
      "Recall": number
   },
   "prediction_statistics": {
     "population_stability_index": number,
     "class_distribution": [
        {
           "class": string,
           "class_percentage": number
        },
        ......
     ]
    },
    "most_impactful_features": [
      {
         "feature_name": string,
         "feature_impact": number
      },
      ......
    ]
}