查看模型监控结果

8.2 查看模型监视器结果

“模型监视器结果”页显示正在监视的每个模型的监视结果。通过单击任何成功运行的模型，您可以查看每个模型的详细分析，例如模型偏差、模型度量、预测统计信息、特征影响、预测分布以及每个特征的预测与偏差重要性。仅当启用了数据监视时，才会计算每个监视功能的预测影响与偏差重要性。

一、模型监控结果页面

“模型监视器结果”页列出了监视器监视的所有模型。监视器的名称显示在此页顶部。如此屏幕截图中所示，监视器名称 Power Consumption 显示在顶部。“模型”部分中列出了功耗监视器监视的模型 GLM_8959AF817、GLMR_0E58D990CD 和 NN_4C90CF9FB8。默认情况下，会显示所有受监视模型的详细信息。您可以选择一次通过取消选择其他监视器来查看一个监视器的详细信息。

图 8-8“模型监视器结果”页面

“模型监视器结果”页面包含以下部分：

设置 -“设置”部分显示模型监视器设置。单击设置上的箭头可展开此部分。您可以通过单击页面右上角的编辑来编辑模型监视器设置。

图 8-9 模型监视器设置
Models（模型） -"Models"（模型）部分列出了监视器监视的所有模型。在此示例中，列出了由 Power Consumption 监视器监视的型号 GLM_8959AF817、GLMR_0E58D990CD 和 NN_4C90CF9FB8。

图 8-10“模型监视器结果”页面上的模型

您可以选择通过取消选择要排除的模型来查看和比较一个或多个受监视模型的结果。您还可以通过单击模型来查看模型的每个功能的结果。这些结果 -“特征影响图”、“预测分布”和“预测影响与偏差重要性”图表显示在幻灯片中的单独窗格中。仅当在创建模型监视器时选择了监视数据选项时，才会计算“预测影响与偏差重要性”图表。
Model Drift（模型偏移） -“Model Drift（模型偏移）”部分显示在“Models（模型）”部分正下方。模型偏差是指基线期间和新期间之间绩效指标的变化百分比。负值表示新时段具有更好的性能度量，这可能是由于噪声造成的。
X 轴描绘分析周期，Y 轴描绘漂移值。水平虚线表示每个监视器默认获得的偏差阈值设置。默认值涵盖典型用例。但是，您可以选择根据特定用例进行定制。该行描述分析期间的每个时间点的偏差值。将鼠标悬停在行上可查看偏移值。超过阈值的偏差表示模型预测的重大变化。超过阈值表明可能需要重建和重新部署模型。如果偏差低于阈值，则表示数据更改不足，因此需要进一步调查或采取行动。也就是说，可以使用这些数据重建机器学习模型。

图 8-11 模型监视器结果页上的模型偏移

如果要一次查看一个模型的偏差详细信息，请单击右侧的模型名称以选择或取消选择它，如下所示。
度量 - 此度量部分显示所选模型的计算度量。计算的度量沿 y 轴绘制，时间段沿 x 轴绘制。在此示例中，将显示所有三种型号的度量 R2 或 R 平方。将光标悬停在行上的其他点上可查看计算度量的详细信息。所有模型的 R2 值均等于 1。此处，所有三个受监视模型的 R2 值均为 1。这表明这三种模型都非常适合数据

图 8-12 度量
计算的回归度量包括：
- R2 - 用于计算数据与拟合回归线接近程度的统计度量。一般来说，R 平方的值越高，模型就越适合您的数据。R2 的值始终介于 0 到 1 之间，其中：
  - 0 表示模型未解释响应数据围绕其平均值的可变性。
  - 1 指示模型说明响应数据围绕其平均值的所有可变性。
- 均方误差 (Mean Squared Error) - 这是预测目标和真实目标的平方差的均值。
- 绝对误差 - 这是预测目标和真实目标的绝对差值的平均值。
- 中值绝对误差 - 这是预测目标与实际目标之间的绝对差值的中值。
二进制分类的计算度量包括：
- 准确度 - 计算正确分类案例的比例 - 正数和负数。例如，如果在 TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives) 案例中总共存在 TP (True Positives)+TN (True Negatives) 正确分类案例，则公式为：
  Accuracy = (TP+TN)/(TP+TN+FP+FN)
- 平衡精度 - 评估二进制分类器的效果。当类不平衡时尤其有用，也就是说，当两个类中的一个出现频率比另一个类高得多时。这通常发生在许多设置中，例如异常检测等。
- ROC AUC（ROC 曲线下的区域）- 提供歧视的综合度量，而不考虑决定阈值。AUC - ROC 曲线是各种阈值设置的分类问题的性能测量。
- 召回 - 计算正确分类的实际积极因素的比例。
- Precision（精度）- 计算预测正数的比例为 True Positive。
- F1 分数 - 将精度和召回组合为一个数字。F1-score 使用由公式计算的谐波均值进行计算：
  F1-score = 2 × (precision × recall)/(precision + recall)
为多类分类计算的度量包括：
- 精度
- 均衡准确率
- Macro_F1
- Macro_Precision
- Macro_Recall
- Weighted_F1
- Weighted_Precision
- Weighted_Recall
预测统计信息 - 向下滚动以查看预测统计信息部分。计算的预测统计信息沿 y 轴绘制，时间段沿 x 轴绘制。在此屏幕截图中，将显示广义线性模型的人口稳定性指数 - 回归模型 GLMR_0E58D990CD(10/30/10)。将光标悬停在行上的其他点上可查看计算的度量。

图 8-13 预测统计信息

单击下拉列表可查看所有预测统计信息。模型预测的统计数据因模型类型而异。
对于回归，计算出的预测统计信息包括：
- 人口稳定指数 (Population Stability Index) - 这是衡量一个人口随着时间的推移或在单个数字中一个人口的两个不同样本之间移动的程度。这两个分布被绑定到存储桶中，PSI 会比较每个存储桶中项的百分比。PSI 计算方法为
  PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))
  PSI 值的解释是：
  - PSI < 0.1 表示没有显著的人口变化
  - 0.1 <= PSI < 0.2 表示人口变化适度
  - PSI >= 0.2 表示人口大幅变化
- 最小值 - 这是分析期间计算统计的最小值。
- 平均值 - 这是分析期间的计算统计数据的平均值。
- Max（最大值）- 这是分析期间计算的统计信息的最高值。
- 标准偏差 - 此值显示与平均值存在多少差异。
对于二进制分类，计算出的预测统计信息包括：
- 人口稳定指数
- 平均
- 最小值
- 最大值
- 标准差
- 预测概率的库位分布
- 分类分配
对于多类分类，计算出的预测统计信息包括：
- 人口稳定指数
- 分类分配

2. 模型监视器详细信息

您可以通过单击模型名称来查看模型的每个功能的详细信息。这些详细信息包括“特征影响”图表、“预测分布”和“预测影响与偏差重要性”图表。在此示例中，选择了模型 GLM_8959AF817。

图 8-14 模型选择以了解详细信息

计算结果将显示在滑入的单独窗格中。您最多可以选择 3 个分析期间比较。您还可以选择隐藏或显示基线详细信息。计算的模型特征详细信息如下：

功能影响 -“功能影响”图表计算模型中每个功能在指定时间的影响。该图表还提供了查看对线性刻度以及对数刻度的特征影响的选项。将鼠标悬停在图表上可查看详细信息 - 功能名称、日期和功能影响。
- 单击日志标度可查看对数标度上的功能影响计算。
- 单击以在折线图中查看功能影响计算。
- 单击可查看表中的功能影响计算。
- 单击将影响最大的功能限制为下拉列表以选择值。
图 8-15 查看对衬线比例的特征影响

在此屏幕截图中，功能 GLOBAL_INTENSITY，即，与其它功能相比，全球家庭用电平均电流强度对型号 GLM_8959AF817 的影响最大。单击日志标度可在对数标度上查看功能影响计算，如下面的屏幕截图所示。单击窗格右上角的 X 以退出。

图 8-16 查看对数比例的特征影响
预测分配 - 向下滚动以查看预测分配。为每个分析期间绘制预测分布。如果选中，则显示基线数据。库位沿 X 轴绘制，值沿 Y 轴绘制。将鼠标悬停在每个直方图上可查看计算的详细信息。单击窗格右上角的 X 以退出。

图 8-17 预测分布
预测影响与偏差重要性 - 向下滚动窗格以查看“预测影响与偏差重要性”图表。此图表有助于了解影响最大的功能如何随时间变化。偏移特征重要性沿 Y 轴绘制，预测特征影响沿 X 轴绘制。单击窗格右上角的 X 以退出。

注意：
只有在创建模型监视器时选择了监视数据选项时，才会计算“预测影响与偏差重要性”图表。

图 8-18 预测特征影响与偏移重要性

在此屏幕截图中，您可以看到功能 GLOBAL_INTENSITY 与其他功能（SUB_METERING_3、GLOBAL_REACTIVE_POWER、VOLTAGE 和 SUB-METERING_1）相比对所选预测模型 GLM_8959AF817 具有最大影响。

父主题：模型监视入门