8.2 Visualización de Resultados de Model Monitor

La página Model Monitor Results muestra los resultados de supervisión de cada modelo que se está supervisando. Al hacer clic en cualquier modelo que se haya ejecutado correctamente, puede ver el análisis detallado de cada modelo, como el cambio de modelo, las métricas de modelo, las estadísticas de predicción, el impacto de la función, la distribución de predicciones y la importancia predictiva frente a deriva para cada función. El impacto predictivo frente a la importancia del cambio para cada función supervisada solo se calcula si la supervisión de datos está activada.

1 Página Resultados de Monitor de Modelos

La página Model Monitor Results muestra todos los modelos que supervisa la supervisión. El nombre de la supervisión se muestra en la parte superior de la página. Como se ve en esta captura de pantalla, el nombre de supervisión Power Consumption (Consumo de energía) se muestra en la parte superior. Los modelos GLM_8959AF817, GLMR_0E58D990CD y NN_4C90CF9FB8 supervisados por el monitor Power Consumption se muestran en la sección Models. Por defecto se muestran los detalles de todos los modelos supervisados. Puede elegir ver los detalles de un monitor a la vez anulando la selección de los otros monitores.

Figura 8-8 Página Model Monitor Results

La página Resultados de Monitor de Modelos consta de las siguientes secciones:

• Configuración: la sección Configuración muestra la configuración del monitor de modelo. Haga clic en la flecha de Configuración para ampliar esta sección. Puede editar la configuración del monitor de modelo haciendo clic en Editar en la esquina superior derecha de la página.

  Figura 8-9 Configuración del monitor de modelo

  
• Modelos: la sección Modelos muestra todos los modelos supervisados por la supervisión. En este ejemplo, se muestran los modelos GLM_8959AF817, GLMR_0E58D990CD y NN_4C90CF9FB8 supervisados por la supervisión Power Consumption.

  Figura 8-10 Modelos en la página Resultados de Supervisión de Modelos

  

  Puede elegir ver y comparar los resultados de uno o más modelos supervisados anulando la selección de los que desea excluir. También puede ver los resultados de cada función del modelo haciendo clic en el modelo. Estos resultados: el gráfico de impacto de función, la distribución de predicción y el gráfico de impacto predictivo frente a importancia de cambio se muestran en un panel independiente que se desliza. El gráfico Impacto predictivo frente a Importancia de cambio se calcula solo si la opción Supervisar datos está seleccionada al crear la supervisión de modelo.

• Model Drift: la sección Model Drift se muestra justo debajo de la sección Models. El cambio de modelo es el cambio porcentual en la métrica de rendimiento entre el período base y el nuevo período. Un valor negativo indica que el nuevo período tiene una mejor métrica de rendimiento que podría ocurrir debido al ruido.

  El eje X representa el período de análisis y el eje Y representa los valores de deriva. La línea de puntos horizontal representa la configuración del umbral de deriva que cada monitor obtiene por defecto. El valor por defecto abarca el caso de uso típico. Sin embargo, puede elegir personalizarlo en función de un caso de uso específico. La línea representa el valor de deriva para cada punto en el tiempo del período de análisis. Pase el mouse sobre la línea para ver los valores de deriva. Un cambio por encima del umbral indica un cambio significativo en las predicciones del modelo. Si se supera el umbral, puede que sea necesario volver a crear y desplegar el modelo. Si la deriva está por debajo del umbral, indica que no hay suficientes cambios en los datos para justificar una investigación o una acción adicionales. Es decir, posiblemente reconstruya un modelo de aprendizaje automático con estos datos.

  Figura 8-11 Cambio de Modelo en la Página Resultados de Supervisión de Modelos

  

  Si desea ver los detalles de cambio de un modelo a la vez, haga clic en el nombre del modelo a la derecha para seleccionarlo o anular su selección, como se muestra aquí.

• Métrica: esta sección Métrica muestra las métricas calculadas para los modelos seleccionados. La métrica calculada se traza a lo largo del eje Y y el período de tiempo se traza a lo largo del eje X. En este ejemplo, se muestra la métrica R2 o R-cuadrado para los tres modelos. Pase el cursor sobre otros puntos de la línea para ver los detalles de la métrica calculada. El valor de R2 para todos los modelos es igual a 1. En este caso, el valor de R2 para los tres modelos supervisados es 1. Esto indica que los tres modelos son adecuados para los datos

  Figura 8-12 Métrica

  
  Las métricas calculadas para Regresión son:

  • R2: medida estadística que calcula la proximidad de los datos con la línea de regresión ajustada. En general, cuanto mayor sea el valor de R-cuadrado, mejor se ajustará el modelo a sus datos. El valor de R2 está siempre entre 0 y 1, donde:
    • 0 indica que el modelo no explica ninguna de la variabilidad de los datos de respuesta en torno a su media.
    • 1 indica que el modelo explica toda la variabilidad de los datos de respuesta en torno a su media.
  • Es la media de la diferencia cuadrada de los objetivos predichos y verdaderos.
  • Error absoluto medio: es la media de la diferencia absoluta entre los objetivos previstos y los verdaderos.
  • Mediana de error absoluto: es la mediana de la diferencia absoluta entre los objetivos predichos y los verdaderos.
  Las métricas calculadas para la clasificación binaria son:

  • Precisión: calcula la proporción de casos correctamente clasificados, tanto positivos como negativos. Por ejemplo, si hay un total de casos clasificados correctamente TP (positivos verdaderos) + TN (negativos verdaderos) de casos clasificados correctamente de TP + TN + FP + FN (negativos verdaderos Positives+True Negatives+False Positives+False), la fórmula es:

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • Precisión equilibrada: evalúa qué tan bueno es un clasificador binario. Es especialmente útil cuando las clases están desequilibradas, es decir, cuando una de las dos clases aparece mucho más a menudo que la otra. Esto suele suceder en muchos entornos, como la detección de anomalías, etc.
  • AUC de ROC (área bajo la curva ROC): proporciona una medida agregada de discriminación independientemente del umbral de decisión. AUC - curva ROC es una medida de rendimiento para los problemas de clasificación en varios ajustes de umbral.
  • Recordar: calcula la proporción de positivos reales que se clasifican correctamente.
  • Precisión: calcula la proporción de positivos previstos que es verdadero positivo.
  • Puntuación F1: combina la precisión y la recuperación en un solo número. La puntuación F1 se calcula utilizando la media armónica que se calcula mediante la fórmula:

    F1-score = 2 × (precision × recall)/(precision + recall)

  Las métricas calculadas para Clasificación de varias clases son:

  • Precisión
  • precisión equilibrada
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• Estadísticas de predicción: desplácese más abajo para ver la sección Estadísticas de predicción. La estadística de predicción calculada se traza a lo largo del eje y y el período de tiempo se traza a lo largo del eje x. En esta captura de pantalla, se muestra el índice de estabilidad de población para el modelo lineal generalizado - regresión GLMR_0E58D990CD para 30/10/10. Pase el cursor sobre otros puntos de la línea para ver la métrica calculada.

  Figura 8-13 Estadísticas de Predicción

  

  Haga clic en la lista desplegable para ver todas las estadísticas de predicción. Las estadísticas de las predicciones del modelo varían según el tipo de modelo.

  Para Regresión, las estadísticas de predicción calculadas son:

  • Índice de Estabilidad de la Población - Esta es una medida de cuánto ha cambiado una población con el tiempo o entre dos muestras diferentes de una población en un solo número. Las dos distribuciones se agrupan en bloques y la PSI compara el porcentaje de artículos de cada uno de ellos. PSI se calcula como

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    La interpretación del valor de la ISP es:

    • PSI < 0.1 no implica un cambio significativo de población
    • 0.1 <= PSI < 0.2 implica un cambio moderado de la población
    • PSI >= 0.2 implica un cambio significativo de población
  • Min: es el valor más bajo de las estadísticas calculadas para el período de análisis.
  • Media: es el valor medio de las estadísticas calculadas para el período de análisis.
  • Max (Máximo): es el valor más alto de las estadísticas calculadas para el período de análisis.
  • Desviación estándar: este es el valor que muestra cuánta variación de la media existe.
  Para Clasificación binaria, las estadísticas de predicción calculadas son:

  • Índice de estabilidad de población
  • Media
  • Mín.
  • Máx.
  • Desviación estándar
  • Distribución de depósitos de probabilidades de predicción
  • Distribución de clases
  Para Clasificación de varias clases, las estadísticas de predicción calculadas son:

  • Índice de estabilidad de población
  • Distribución de clase

2. Detalles de supervisión de modelo

Puede ver los detalles de cada función del modelo haciendo clic en el nombre del modelo. Estos detalles incluyen el gráfico de impacto de funciones, la distribución de predicciones y el gráfico de impacto predictivo frente a importancia de deriva. En este ejemplo, se selecciona el modelo GLM_8959AF817.

Figura 8-14 Selección de modelos para detalles

Los resultados calculados se muestran en un panel independiente que se desliza. Puede seleccionar una comparación de hasta 3 períodos de análisis. También tiene la opción de ocultar o mostrar los detalles de línea base. Los detalles calculados de las funciones del modelo son:

• Impacto de función: el gráfico Impacto de función calcula el impacto de cada función en el modelo durante el tiempo especificado. El gráfico también le da la opción de ver el impacto de la función en una escala lineal, así como en una escala logarítmica. Pase el mouse sobre el gráfico para ver los detalles: Nombre de característica, Fecha e Impacto de característica.
  • Haga clic en Escala de log para ver el cálculo de impacto de función en una escala logarítmica.
  • Haga clic en para ver el cálculo de impacto de función en un gráfico de líneas.
  • Haga clic en para ver el cálculo de impacto de función en una tabla.
  • Haga clic en la lista desplegable Limitar las funciones más impactantes a para seleccionar un valor.

  Figura 8-15 Función de visualización Impacto en una escala de revestimiento

  

  En esta captura de pantalla, se ve que la característica GLOBAL_INTENSITY, es decir, la intensidad de corriente promedio por minuto global del consumo eléctrico doméstico tiene el máximo impacto en el modelo GLM_8959AF817 en comparación con las otras características. Haga clic en Escala de log para ver el cálculo del impacto de la función en una escala logarítmica, como se muestra en la siguiente captura de pantalla. Haga clic en la X que aparece en la esquina superior derecha del panel para salir.

  Figura 8-16 Visualización del impacto de la función en una escala logarítmica

  
• Distribución de predicción: desplácese hacia abajo para ver la distribución de predicción. La distribución de predicciones se traza para cada período de análisis. Si se selecciona, se muestran los datos de línea base. Los depósitos se trazan en el eje X y los valores se trazan en el eje Y. Pase el mouse sobre cada histograma para ver los detalles calculados. Haga clic en la X que aparece en la esquina superior derecha del panel para salir.

  Figura 8-17 Distribución de Predicción

  
• Impacto predictivo frente a importancia de cambio: desplácese más abajo por el panel para ver el gráfico Impacto de predicción frente a importancia de cambio. Este gráfico ayuda a comprender cómo las características más impactantes cambian con el tiempo. La importancia de la función de deriva se traza a lo largo del eje Y y el impacto de la función de predicción se traza a lo largo del eje X. Haga clic en la X que aparece en la esquina superior derecha del panel para salir.

  Note:

  El gráfico Impacto de predicción frente a importancia de cambio solo se calcula si selecciona la opción Supervisar datos al crear la supervisión de modelo.

  Figura 8-18 Impacto de las funciones predictivas frente a la importancia de la deriva

  

  En esta captura de pantalla, puede ver que la función GLOBAL_INTENSITY tiene el impacto máximo en el modelo predictivo seleccionado GLM_8959AF817 en comparación con las otras funciones: SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE y SUB-METERING_1.