檢視模型監視器結果

8.2 檢視模型監視器結果

「模型監督結果」頁面會顯示目前監督之每個模型的監督結果。按一下任何已順利執行的模型，即可檢視每個模型的詳細分析，例如模型漂移、模型測量結果、預測統計資料、功能影響、預測分佈和預測性對每個功能的偏差重要性。只有在啟用資料監督時，才會計算每個受監督功能的預測影響與差異重要性。

一、「模型監控結果」頁面

「模型監督結果」頁面會列出監督器監督的所有模型。監督器的名稱會顯示在頁面頂端。如本螢幕擷取畫面所示，螢幕名稱耗電量顯示在頂端。由耗電量監視器監控的模型 GLM_8959AF817、GLMR_0E58D990CD 及 NN_4C90CF9FB8 會列在「模型」區段中。預設為顯示所有受監督模型的詳細資訊。您可以取消選取其他監督器，選擇一次檢視一個監督器的詳細資訊。

圖 8-8 模型監督器結果頁面

「模型監控結果」頁面包含下列區段：

設定值 -「設定值」區段會顯示模型監督器設定值。按一下設定值的箭頭以展開此區段。您可以按一下頁面右上角的編輯來編輯模型監督設定值。

圖 8-9 模型監視器設定
模型 -「模型」段落會列出監督器所監督的所有模型。在此範例中，會列出由耗電量監視器監控的模型 GLM_8959AF817、GLMR_0E58D990CD 及 NN_4C90CF9FB8。

圖 8-10 模型監督結果頁面上的模型

您可以取消選取想要排除的模型，來選擇檢視和比較一或多個受監督模型的結果。您也可以按一下模型來檢視模型之每個特徵的結果。這些結果 -「功能影響」圖表、「預測分佈」及「預測影響與差異重要性」圖表會顯示在投影片所在的個別窗格中。只有在建立模型監視器時選取監視資料選項時，才會計算「預測影響與差異重要性」圖表。
模型偏差 -「模型偏差」區段顯示在「模型」區段下方。模型漂移是基準期間與新期間之間效能測量結果的百分比變更。負值表示新期間具有較佳的效能指標，因噪音而可能發生。
X 軸描述分析期間，Y 軸描述漂移值。水平虛線代表每個監督器預設取得的漂移臨界值設定值。預設涵蓋一般使用案例。不過，您可以選擇根據特定使用案例加以自訂。此線條說明分析期間每個時間點的漂移值。將滑鼠游標停留在行上即可檢視漂移值。高於臨界值的差異表示模型預測有顯著的變更。超過臨界值表示可能需要重建並重新部署模型。如果漂移低於臨界值，表示資料沒有足夠的變更來保證進一步的調查或採取行動。也就是說，可能使用此資料重建機器學習模型。

圖 8-11 模型監督結果頁面上的模型差異

如果您要一次檢視一個模型的差異詳細資訊，請按一下右側的模型名稱來選取或取消選取，如此處所示。
測量結果 - 此「測量結果」段落顯示所選模型的計算測量結果。計算的測量結果會沿著 Y 軸繪製，而期間會沿著 X 軸繪製。在此範例中，會顯示這三個模型的測量結果 R2 或 R 平方。將游標停留在線上的其他點，即可檢視計算的測量結果詳細資訊。所有模型的 R2 值都等於 1。在此，這三個受監督模型的 R2 值為 1。這表示這三種模型都適合用於資料

圖 8-12 公制
迴歸的計算測量結果包括：
- R2 - 計算資料與配適迴歸線相近程度的統計計量。一般而言，R 平方值越高，模型越適合您的資料。R2 的值一律介於 0 到 1 之間，其中：
  - 0 表示模型未說明回應資料的平均值變化。
  - 1 表示模型說明回應資料在其平均值周圍的所有變化。
- 均方差 - 這是預測目標與真目標的平方差平均值。
- 平均絕對錯誤 - 這是預測目標與實際目標的絕對差異平均值。
- 中位數絕對誤差 - 這是預測目標與實際目標之間絕對差異的中位數。
二進位分類的計算測量結果如下：
- 準確度 - 計算正確分類案例的比例 - 正數與負數。例如，如果總 TP (True Positives) +TN (True Negatives) 在 TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives) 案例中正確分類案例，則公式為：
  Accuracy = (TP+TN)/(TP+TN+FP+FN)
- 平衡準確度 - 評估二進位分類器的優點。這在類別不平衡時特別有用，也就是說，當兩個類別的其中一個出現頻率比其他類別高時。這通常會在許多設定值中發生，例如異常偵測等等。
- ROC AUC (ROC 曲線下的區域) - 不論決策臨界值為何，都提供歧視的聚總計量。AUC - ROC 曲線是各種臨界值設定之分類問題的效能測量。
- 回職 - 計算正確分類的實際職位比例。
- Precision - 計算「真正數」的預測「正數」比例。
- F1 分數 - 將精確度與恢復結合成單一數字。F1 分數是使用由公式計算的調和平均值來計算：
  F1-score = 2 × (precision × recall)/(precision + recall)
多重類別分類的計算測量結果如下：
- 正確率
- 平衡準確性
- Macro_F1
- Macro_Precision
- Macro_Recall
- Weighted_F1
- Weighted_Precision
- Weighted_Recall
預測統計 - 進一步向下捲動以檢視預測統計區段。計算的預測統計會沿著 Y 軸繪製，且時間週期會沿著 x 軸繪製。在此螢幕擷取畫面中，會顯示 10/30/10 之「一般化線性模型 - 迴歸」模型 GLMR_0E58D990CD 的「人員穩定性索引」。將游標停留在線上的其他點，即可檢視計算的測量結果。

圖 8-13 預測統計資料

按一下下拉式清單即可檢視所有預測統計資料。模型預測的統計資料會根據模型類型而有所不同。
對於迴歸，計算的預測統計資料為：
- 人口穩定性指數 - 這是一個衡量一個人口隨時間變化的程度，或在單一數字的兩個不同人口樣本之間移動的程度。這兩個分配會合併至時段，而 PSI 會比較每個時段中項目的百分比。PSI 計算方式
  PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))
  PSI 值的解譯為：
  - PSI < 0.1 表示沒有顯著的人口變更
  - 0.1 <= PSI < 0.2 表示中度人員變更
  - PSI >= 0.2 表示大量人員變更
- 最小值 - 這是分析期間之計算統計資料的最低值。
- 平均值 - 這是分析期間之計算統計資料的平均值。
- 最大值 - 這是分析期間之計算統計資料的最高值。
- 標準差 - 此值顯示平均值存在的變化量。
對於二進位分類，計算的預測統計資料為：
- 人口穩定性指數
- 平均
- Min
- Max
- 標準差
- 預測機率的儲位分配
- 類別分配
對於多重類別分類，計算的預測統計資料為：
- 人口穩定性指數
- 類別分配

2. 模型監視器明細

您可以按一下模型名稱來檢視模型之每個圖徵的詳細資訊。這些詳細資訊包括「功能影響」圖表、「預測分佈」以及「預測影響與偏差重要性」圖表。在此範例中，已選取模型 GLM_8959AF817。

圖 8-14 模型選取以取得詳細資料

計算的結果會顯示在投影片所在的個別窗格中。您最多可以選取 3 個分析期間比較。您也可以選擇隱藏或顯示基準詳細資訊。模型功能的計算詳細資訊包括：

功能影響 -「功能影響」圖表會計算模型中每個功能在指定時間的影響。圖表還可讓您選擇檢視對線性比例以及對數比例的影響。將滑鼠游標停留在圖表上即可檢視詳細資訊 - 功能名稱、日期和功能影響。
- 按一下對數刻度以檢視對對對數刻度的影響計算。
- 按一下，即可在折線圖中檢視功能影響運算。
- 按一下以檢視表格中的功能影響運算。
- 按一下將最具影響力的功能限制為下拉式清單來選取值。
圖 8-15 檢視功能對襯板比例的影響

在此螢幕擷取畫面中，GLOBAL_INTENSITY 功能 (亦即，家庭用電的全域分鐘平均目前強度) 會被視為對模型 GLM_8959AF817 的最大影響，與其他功能相比。按一下對數刻度即可檢視對對對數刻度的影響運算，如下面的螢幕擷取畫面所示。按一下窗格右上角的 X 即可結束。

圖 8-16 檢視對對對對數比例的影響
預測分佈 - 向下捲動以檢視「預測分佈」。系統會繪製每個分析期間的「預測分佈」。如果選取，就會顯示「基準」資料。儲位會沿著 X 軸繪製，值會沿著 Y 軸繪製。將滑鼠游標停留在每個長條圖上即可檢視計算的詳細資訊。按一下窗格右上角的 X 即可結束。

圖 8-17 預測分佈
預測影響與偏差重要性 - 向下捲動窗格以檢視「預測影響與偏差重要性」圖表。此圖表有助於瞭解長期以來最具影響力的功能差異。「漂移特徵重要性」會沿著 Y 軸繪製，預測特徵影響會沿著 X 軸繪製。按一下窗格右上角的 X 即可結束。

附註：
只有在建立模型監視器時選取監視資料選項時，才會計算「預測影響與差異重要性」圖表。

圖 8-18 預測功能影響與偏差重要性

在此螢幕擷取畫面中，您可以看到 GLOBAL_INTENSITY 功能對選取的預測模型 GLM_8959AF817 有最大影響，而與其他功能 (SUB_METERING_3、GLOBAL_REACTIVE_POWER、VOLTAGE 和 SUB-METERING_1) 相比。

父項主題：開始使用模型監督