8 Introducción a Model Monitoring

La supervisión de modelos le permite supervisar la calidad de las predicciones de modelos a lo largo del tiempo y le ayuda con estadísticas sobre las causas de los problemas de calidad de los modelos.

La página Monitor de Modelos permite crear, ejecutar y realizar un seguimiento de los monitores y resultados de los modelos. Esta página muestra los monitores de modelo. Puede obtener una vista previa del cambio de modelo seleccionando un único monitor de modelo de interés, como se muestra en la siguiente captura de pantalla. En esta captura de pantalla, se selecciona la supervisión Power Consumption (Consumo de energía). En el panel inferior de la página Model Monitors, se muestra el Model Drift de la supervisión seleccionada. El eje X representa el período de análisis y el eje Y representa los valores de deriva del modelo. La línea punteada roja horizontal es el valor de umbral. La línea representa el valor de deriva para cada punto en el tiempo del período de análisis. Pase el mouse sobre la línea para ver los valores de deriva.

Figura 8-1 Monitores de Modelo, página

Puede realizar las siguientes tareas en la página Model Monitors:

• Crear: cree una supervisión de modelo.
• Editar: seleccione una supervisión de modelo y haga clic en Editar para editarla.
• Duplicar: seleccione una supervisión de modelo y haga clic en Duplicar para crear una copia de la supervisión.
• Suprimir: seleccione una supervisión de modelo y haga clic en Suprimir para suprimirla.
• Historial: seleccione una supervisión de modelo y haga clic en Historial para ver los detalles de tiempo de ejecución de la supervisión de modelo. Si hay un trabajo de supervisión de datos asociado al supervisor de modelos, los detalles de tiempo de ejecución del supervisor de datos se muestran en el panel inferior. Haga clic en Volver a supervisiones para volver a la página Supervisión de modelos.
• Iniciar: inicie un supervisor de modelos.
• Parar: pare un supervisor de modelo que se está ejecutando.
• Más: seleccione una supervisión de modelo, haga clic en Más y, a continuación, haga clic en:
  • Activar: active un programa de supervisión de modelo. Por defecto, el monitor de modelo está activado. El estado se muestra como SCHEDULED.
  • Desactivar: Permite desactivar un programa de supervisión de modelo. El estado se muestra como DISABLED.
  • Mostrar supervisiones gestionadas: haga clic en esta opción para ver los modelos creados y gestionados por la API de REST de servicios de OML.

La página Model Monitors muestra la siguiente información sobre los monitores de modelo:

• Nombre: es el nombre del monitor de modelo.
• Supervisor de datos: la marca de control de esta columna indica que hay un trabajo de supervisión de datos asociado al supervisor de modelos. Haga clic en los tres puntos para ver:

  Figura 8-2 Ver resultados y configuración del monitor de datos

  
  • Resultados: muestra los resultados de supervisión de datos calculados por el trabajo de supervisión de datos. El nombre del supervisor de datos se genera automáticamente junto con el prefijo OML. El cambio de datos y las funciones supervisadas junto con las estadísticas calculadas se muestran en modo de solo visualización en una página independiente. Haga clic en Monitores en la esquina superior izquierda para volver a la página Monitores de Modelo. Haga clic en Detalles en la esquina superior derecha para ver la configuración del supervisor de datos.

    Figura 8-3 Resultados del Monitor de Datos

    
  • Configuración: muestra la configuración del supervisor de datos, la configuración adicional y las funciones supervisadas en modo de solo visualización. Haga clic en Atrás en la esquina superior derecha de la página para volver a la página Model Monitors.

    Figura 8-4 Configuración del monitor de datos

    
• Datos de base: tabla o vista que contiene datos de línea base para supervisar.
• Nuevos datos: es una tabla o vista con nuevos datos que se compararán con los datos de línea base.
• Última fecha de inicio: es la fecha en la que se inició por última vez la supervisión del modelo.
• Último estado: este es el último estado de la supervisión de modelo. Los estados son SUCCEEDED (Correcto), FAILED (Error), RUNNING (Ejecutar), SCHEDULED (Programado).
• Siguiente fecha de ejecución: es la fecha en la que se programa la siguiente ejecución.
• Estado: es el estado actual de la supervisión del modelo.
• Programación: frecuencia del trabajo de supervisión, es decir, con qué frecuencia se define la supervisión de modelo para que se ejecute en los nuevos datos.

• Creación de un monitor de modelo
  Un monitor de modelo le ayuda a supervisar varios modelos compatibles y calcular el gráfico de cambio de modelo. Los modelos compatibles se refieren a aquellos modelos que están entrenados en el mismo objetivo y función de minería. El gráfico de cambios del modelo consta de varias series de puntos de cambios de datos, uno para cada modelo supervisado.
• Ver resultados de supervisión de modelo
  La página Resultados de supervisión de modelo muestra los resultados de supervisión de cada modelo que se está supervisando. Al hacer clic en cualquier modelo que se haya ejecutado correctamente, puede ver el análisis detallado de cada modelo, como el cambio de modelo, las métricas de modelo, las estadísticas de predicción, el impacto de la función, la distribución de predicciones y la importancia predictiva frente a deriva para cada función. El impacto predictivo frente a la importancia del cambio para cada función supervisada solo se calcula si la supervisión de datos está activada.
• Ver historial de modelos
  La página Historial muestra los detalles de tiempo de ejecución de las supervisiones de modelos.