7 データ・モニタリングの概要
データ・モニタリングでは、時間の経過に伴うデータの進化を評価します。これは、データのトレンドおよび多変量依存関係に関するインサイトを得るのに役立ちます。また、データ・ドリフトに関する早期警告にもなります。
データ・ドリフトは、時間の経過に伴ってデータが当初のベースライン・データから離れていく場合に発生します。データ・ドリフトは、ビジネス環境の変化、ユーザーの行動と関心の進化、サード・パーティ・ソースによるデータの変更、データ品質の問題、アップストリームのデータ処理パイプラインに関する問題など、様々な理由で発生します。
モデルを正確に解釈し、そのモデルでビジネス上の問題を解決できることを確認するには、時間の経過とともにデータがどのように進化するかを理解することが重要です。データの変化を理解することはモデルの有効性の変化を理解するうえで非常に重要であるため、モデル・モニタリングを正しく行うためにデータ・モニタリングは欠かせません。データの統計プロパティの変化を迅速かつ確実に検出できれば、自分の機械学習モデルがビジネスの目的と合致していることを確認できます。
図7-1 データ・モニター・ページ
![データ・モニター・ページ データ・モニター・ページ](img/data_monitor_page.png)
- 作成: データ・モニターを作成します。
ノート:
データ・モニタリングでサポートされているデータ型は、NUMERICおよびCATEGORICALです。 - 編集: データ・モニターを選択し、「編集」をクリックしてデータ・モニターを編集します。
- 複製: データ・モニターを選択し、「複製」をクリックしてモニターのコピーを作成します。
- 削除: データ・モニターを選択し、「削除」をクリックしてデータ・モニターを削除します。
- 履歴: データ・モニターを選択し、「履歴」をクリックしてランタイムの詳細を表示します。モニターに戻るをクリックしてデータ・モニタリング・ページページに戻ります。
- 開始: データ・モニターを開始します。
- 停止: 実行中のデータ・モニターを停止します。
- その他: データ・モニターを選択して「その他」をクリックし、次をクリックします。
- 有効化: データ・モニター・スケジュールを有効にします。データ・モニターはデフォルトで有効になっています。ステータスは
SCHEDULED
として表示されます。 - 無効化: データ・モニター・スケジュールを無効化します。ステータスは
DISABLED
として表示されます。
- 有効化: データ・モニター・スケジュールを有効にします。データ・モニターはデフォルトで有効になっています。ステータスは
データ・モニター・ページには、選択したモニターに関する情報(モニター名、ベースライン・データ、新規データ、最終開始日、最終ステータス、次回実行データ、ステータスおよびスケジュール)が表示されます。データ・モニターが正常に実行されている場合、ページにはデータ・ドリフトも表示されます。データ・ドリフトを表示するには:
図7-2 データ・モニター・ページの「データ・ドリフト」プレビュー
![データ・モニター・ページのデータ・ドリフト・プレビュー データ・モニター・ページのデータ・ドリフト・プレビュー](img/data_monitoring_page.png)
スクリーンショットに示すように、正常に実行されたデータ・モニターを選択します。下部のペインに、選択したモニターのデータ・ドリフトが表示されます。X軸は分析期間を表し、Y軸はデータ・ドリフト値を表します。横の点線はしきい値を示し、実線は分析期間の各時点のドリフト値を表します。マウスを線の上に置くと、ドリフト値が表示されます。この例の詳細は、データ・モニター結果の表示を参照してください。
- データ・モニターの作成
データ・モニタリングを使用すると、時間の経過に伴うデータ・ドリフト、および機械学習モデルのパフォーマンスに対する悪影響の可能性を検出できます。データ・モニター・ページでは、データ・モニターを作成、実行および結果を追跡することができます。 - データ・モニター結果の表示
データ・モニター結果ページには、正常に実行された選択したデータ・モニターに関する情報が、各モニター対象機能のデータ・ドリフトの詳細とともに表示されます。 - 履歴の表示
「履歴」ページには、データ・モニターの実行時の詳細が表示されます。
関連トピック
7.1 データ・モニターの作成
データ・モニタリングを使用すると、時間の経過に伴うデータ・ドリフト、および機械学習モデルのパフォーマンスに対する悪影響の可能性を検出できます。データ・モニター・ページでは、データ・モニターを作成、実行および結果を追跡することができます。
親トピック: データ・モニタリングの概要
7.2 データ・モニター結果の表示
データ・モニター結果ページには、正常に実行された選択したデータ・モニターに関する情報が、各モニター対象機能のデータ・ドリフトの詳細とともに表示されます。
- 設定 - 「設定」セクションにデータ・モニターの設定が表示されます。このセクションを展開するには、「設定」の矢印をクリックします。データ・モニターの設定を編集するには、ページの右上隅にある「編集」をクリックします。このスクリーンショットでは、データ・モニターの設定が表示されています。
図7-6 データ・モニター結果ページの「設定」セクション
- ドリフト - 「ドリフト」セクションには、モニター対象の各機能のデータ・ドリフトの詳細が表示されます。この例では、データ・モニターの「Power Consumption」データ・モニターが選択されています。X軸は分析期間を表し、Y軸はデータ・ドリフト値を表します。横の点線はしきい値を示し、実線は分析期間の各時点のドリフト値を表します。マウスを線の上に置くと、ドリフト値が表示されます。
図7-7 データ・モニター結果ページの「データ・ドリフト」セクション
-
機能 - 「機能」セクションには、モニター対象の機能と計算された統計が表示されます。
図7-8 データ・モニター結果ページの「機能」セクション
「重要度」列の値は、指定した期間に機能がデータ・ドリフトに与えた影響を示します。
数値データの場合は、次の統計が計算されます。- 平均
- 標準偏差
- 範囲(最小、最大)
- NULLの数
分類データの場合は、次の統計が計算されます。- 一意の値の数
- NULLの数
モニター対象の各機能については、このスクリーンショットに示すように、カーソルを移動して次の追加詳細を表示します。
- 最初: 分析期間について計算した統計の最初の値です。
- 最後: 分析期間について計算した統計の最後の値です。
- 最大: 分析期間について計算した統計の最大値です。
- 最小: 分析期間について計算した統計の最小値です。
- このスクリーンショットに示すように、「機能」セクションのモニター対象の機能をクリックして、「メトリック」、「統計」、「分散」およびクロス集計の列の分布を表示します。このスクリーンショットでは、機能GLOBAL_REACTIVE_POWERのPopulation Stability Indexが表示されています。
図7-9 Population Stability Index
計算には次のものがあります。- メトリック: 次のメトリックが計算されます。
- Population Stability Index (PSI): これは、集団が時間の経過とともに、または1つの数値の集団の2つの異なるサンプル間でシフトした量の測定値です。2つの分布はバケットに入れられ、PSIは各バケット内のアイテムのパーセントを比較します。PSIは次のように計算されます
PSI値の解釈は次のとおりです。PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))
PSI < 0.1
は、集団に大きな変化がないことを意味します0.1 <= PSI < 0.2
は、集団に中程度の変更があることを意味しますPSI >= 0.2
は、集団に大幅な変化があることを意味します
- Jenson Shannon Distance (JSD): これは、2つの確率分布間の類似性の尺度です。JSDは、カルバック・ライブラー情報量(KLD)に関連するJensen-Shannon Divergenceの平方根です。JSDは次のように計算されます。
SD(P || Q)= sqrt(0.5 x KLD(P || M) + 0.5 x KLD(Q || M))
ここで、PとQは2つの分散、
M = 0.5 x (P + Q), KLD(P || M) = sum(Pi x ln(Pi / Mi))、およびKLD(Q || M) = sum(Qi x ln(Qi / Mi))
ですJSDの値は0から1の範囲です。
- クロス集計Population Stability Index: これは2つの変数のPSIです。
- クロス集計Jenson Shannon Distance: これは2つの変数のJSDです。
- Population Stability Index (PSI): これは、集団が時間の経過とともに、または1つの数値の集団の2つの異なるサンプル間でシフトした量の測定値です。2つの分布はバケットに入れられ、PSIは各バケット内のアイテムのパーセントを比較します。PSIは次のように計算されます
- 統計: 選択した最大3期間の統計を表示できます。データ・ドリフトは、これらの統計の計算を使用して定量化されます。
図7-10 統計
数値データの場合は、次の統計が計算されます。- 平均
- 標準偏差
- 範囲(最小、最大)
- NULLの数
分類データの場合は、次の統計が計算されます。- 一意の値の数
- NULLの数
- 分布: 凡例を含む機能の分布チャートには、選択した期間とベースラインの機能のビンが表示されます(オプション)。
図7-11 分布チャートとクロス集計の列の分布
- クロス集計の列の分布: ヒート・マップは、選択したクロス集計および機能の列の分布の密度を示します。赤は最高の密度を示します。
ノート:
データ・ドリフト・モニタリングでは、null
はnumber_of_missing_values
として個別に追跡されます。
- メトリック: 次のメトリックが計算されます。
親トピック: データ・モニタリングの概要
7.3 履歴の表示
「履歴」ページには、データ・モニターの実行時の詳細が表示されます。
データ・モニターを選択し、「履歴」をクリックしてランタイムの詳細を表示します。「履歴」ページには、データ・モニターの実行時に関する次の情報が表示されます。
図7-12 データ・モニターの「履歴」ページ
![データ・モニターの「履歴」ページ データ・モニターの「履歴」ページ](img/view_history.png)
- 実際の開始日: データ・モニターが実際に開始された日付です。
- リクエストされた開始日: データ・モニターの作成時に
「開始日」
フィールドに入力された日付です。 - ステータス: ステータスは
SUCCEEDED
およびFAILED
です。 - 詳細: データ・モニターが失敗した場合、詳細がここにリストされます。
- 期間: データ・モニターの実行にかかった時間です。
モニターに戻るをクリックしてデータ・モニタリング・ページページに戻ります。
親トピック: データ・モニタリングの概要