8.1 Creación de un supervisor de modelos

Un monitor de modelo le ayuda a supervisar varios modelos compatibles y calcular el gráfico de cambio de modelo. Los modelos compatibles se refieren a aquellos modelos que están entrenados en el mismo objetivo y función de minería. El gráfico de cambios del modelo consta de varias series de puntos de cambios de datos, uno para cada modelo supervisado.

De manera opcional, un monitor de modelo puede supervisar los datos para proporcionar información adicional. Esta información adicional es el gráfico Importancia de función de cambio frente a Impacto de función predictiva que se genera al seleccionar la opción Supervisar datos al crear el monitor de modelo.

En este tema se explica cómo crear un monitor de modelo. En el ejemplo se utiliza el conjunto de datos Consumo de electricidad de unidad familiar individual, que incluye varias métricas de consumo de una unidad familiar de 2007 a 2010. El objetivo es comprender si el consumo de los hogares ha cambiado y cómo ha cambiado a lo largo de cuatro años. En el ejemplo se muestra cómo realizar un seguimiento de los efectos de los cambios de datos en la precisión predictiva del modelo.

El juego de datos consta de las siguientes columnas:

• DATE_TIME: contiene la información relacionada con la fecha y la hora en formato dd:mm:yyyy:hh:mm:ss.
• GLOBAL_ACTIVE_POWER: es la potencia activa promedio por minuto global del hogar (en kilovatios).
• GLOBAL_REACTIVE_POWER: es la potencia reactiva media por minuto global del hogar (en kilovatios).
• VOLTAGE: es el voltaje promedio por minuto (en voltio).
• GLOBAL_INTENSITY: es la intensidad de corriente media por minuto global del hogar (en amperios).
• SUB_METERING_1: submedición de energía no 1 (en vatios-hora de energía activa). Corresponde a la cocina.
• SUB_METERING_2: submedición de energía no 2 (en vatios-hora de energía activa). Corresponde al lavadero.
• SUB_METERING_3: submedición de energía no 2 (en vatios-hora de energía activa). Corresponde a un calentador de agua eléctrico y aire acondicionado.

Para crear una supervisión de modelo:

1. En el menú de navegación izquierdo de la interfaz de usuario de Oracle Machine Learning, amplíe Monitoring y, a continuación, haga clic en Models para abrir la página Model Monitoring. También puede hacer clic en el icono Supervisión de modelo para abrir la página Supervisión de modelo.
2. En la página Supervisión de modelo, haga clic en Crear para abrir la página Supervisión de nuevo modelo.
3. En la página New Model Monitor, introduzca los siguientes detalles:

   Figura 8-5 Nuevo Modelo Monitor, página

   
   1. Nombre del Monitor: introduzca un nombre para el monitor de modelo. Aquí, se utiliza el nombre Power Consumption (Consumo de energía).
   2. Comentario: introduzca comentarios. Este campo es opcional.
   3. Datos de base: tabla o vista que contiene datos de línea base para supervisar. Haga clic en el icono de búsqueda para abrir el cuadro de diálogo Seleccionar tabla. Seleccione un esquema y, a continuación, una tabla. Aquí, se selecciona la tabla que contiene los datos del año 2007.
   4. Nuevos datos: esta es una tabla o vista con nuevos datos que se compararán con los datos base. Haga clic en el icono de búsqueda para abrir el cuadro de diálogo Seleccionar tabla. Seleccione un esquema y, a continuación, una tabla. Aquí, se selecciona la tabla que contiene los datos del año 2010.
   5. ID de caso: este campo es opcional. Introduzca un identificador de caso para la línea base y los datos nuevos para mejorar la repetibilidad de los resultados.
   6. Columna de tiempo: nombre de una columna que almacena información de tiempo en la tabla o vista Nuevos datos. La columna DATE_TIME se selecciona de la lista desplegable.

      Note:

      Si la columna de tiempo está en blanco, todos los datos nuevos se tratan como un periodo.

   7. Período de análisis: período durante el cual se realiza la supervisión del modelo en los nuevos datos. Seleccione el período de análisis para la supervisión del modelo. Las opciones son Day, Week, Month, Year.
   8. Fecha de inicio: es la fecha de inicio del programa de supervisión de modelo. Si no proporciona una fecha de inicio, la fecha actual se utilizará como fecha de inicio.
   9. Repetir: este valor define el número de veces que se repetirá la ejecución de la supervisión de modelo para la frecuencia definida. Introduzca un número entre 1 y 99. Por ejemplo, si introduce 2 en el campo Repetir aquí y Minutos en el campo Frecuencia, el monitor de modelo se ejecutará cada 2 minutos.
   10. Frecuencia: este valor determina la frecuencia con la que se ejecutará la supervisión de modelo en los nuevos datos. Seleccione una frecuencia para la supervisión del modelo. Las opciones son Minutos, Horas, Días, Semanas y Meses. Por ejemplo, si selecciona Minutes en el campo Frecuencia, 2 en el campo Repetir y 5/30/23 en el campo Fecha de inicio, según el programa, el supervisor de modelos se ejecutará desde 5/30/23 cada 2 minutos.
   11. Función de minería: las funciones de minería disponibles son Regression y Classification. Seleccione una función según corresponda. En este ejemplo, se selecciona Regression.
   12. Destino: seleccione un atributo en la lista desplegable. En este ejemplo, GLOBAL_ACTIVE_POWER se utiliza como destino para los modelos de regresión.
   13. Recomcular: seleccione esta opción para actualizar los períodos ya calculados. Esto significa que solo se calcularán los períodos de tiempo que no estén presentes en la tabla de resultados de salida. Por defecto, el nuevo cálculo está desactivado.
       • Cuando está activada, el análisis de cambio se realiza para el período especificado en el campo Fecha de inicio y la hora de finalización. El análisis sobrescribirá los resultados ya existentes para el período de tiempo especificado. Esto significa que el análisis se calculará para el período de tiempo con nuevos datos que no sean los datos actuales.
       • Si se desactiva, los datos del período de tiempo presente en la tabla de resultados se conservarán tal cual. Solo se tendrán en cuenta para el análisis los nuevos datos del período de tiempo más reciente y los resultados se agregarán a la tabla de resultados.
   14. Supervisar datos: seleccione esta opción para activar la supervisión de datos para los datos especificados. Cuando está activado, también se crea un monitor de datos junto con el monitor de modelo para calcular el impacto de función predictiva frente al impacto de función de cambio en los resultados específicos del modelo.
4. Haga clic en Configuración adicional para ampliar esta sección y proporcionar una configuración avanzada para el supervisor de modelos:

   Figura 8-6 Sección Configuración adicional en la página Monitor de nuevo modelo

   
   1. Métrica: según la función de minería seleccionada en el campo Función de minería de la página Crear supervisión de modelo, se muestran las métricas aplicables. Haga clic en la lista desplegable para seleccionar una métrica.
      Para la función de minería Clasificación, las métricas son:

      • Precisión: calcula la proporción de casos correctamente clasificados, tanto positivos como negativos. Por ejemplo, si hay un total de casos clasificados correctamente TP (positivos verdaderos) + TN (negativos verdaderos) de casos clasificados correctamente de TP + TN + FP + FN (negativos verdaderos Positives+True Negatives+False Positives+False), la fórmula es:

        Accuracy = (TP+TN)/(TP+TN+FP+FN)

      • Precisión equilibrada: evalúa qué tan bueno es un clasificador binario. Es especialmente útil cuando las clases están desequilibradas, es decir, cuando una de las dos clases aparece mucho más a menudo que la otra. Esto suele suceder en muchos entornos, como la detección de anomalías, etc.
      • AUC de ROC (área bajo la curva ROC): proporciona una medida agregada de discriminación independientemente del umbral de decisión. AUC - curva ROC es una medida de rendimiento para los problemas de clasificación en varios ajustes de umbral.
      • Recordar: calcula la proporción de positivos reales que se clasifican correctamente.
      • Precisión: calcula la proporción de positivos previstos que es verdadero positivo.
      • Puntuación F1: combina la precisión y la recuperación en un solo número. La puntuación F1 se calcula utilizando la media armónica que se calcula mediante la fórmula:

        F1-score = 2 × (precision × recall)/(precision + recall)

      Para la clasificación de varias clases, las métricas son:

      • Precisión
      • precisión equilibrada
      • Macro_F1
      • Macro_Precision
      • Macro_Recall
      • Weighted_F1
      • Weighted_Precision
      • Weighted_Recall
      Para la regresión, las métricas son:

      • R2: medida estadística que calcula la proximidad de los datos con la línea de regresión ajustada. En general, cuanto mayor sea el valor de R-cuadrado, mejor se ajustará el modelo a sus datos. El valor de R2 está siempre entre 0 y 1, donde:
        • 0 indica que el modelo no explica ninguna de la variabilidad de los datos de respuesta en torno a su media.
        • 1 indica que el modelo explica toda la variabilidad de los datos de respuesta en torno a su media.
      • Es la media de la diferencia cuadrada de los objetivos predichos y verdaderos.
      • Error absoluto medio: es la media de la diferencia absoluta entre los objetivos previstos y los verdaderos.
      • Mediana de error absoluto: es la mediana de la diferencia absoluta entre los objetivos predichos y los verdaderos.
   2. Umbral de cambio: el cambio captura el cambio relativo en el rendimiento entre los datos de línea base y el nuevo período de datos. En función de su problema específico de aprendizaje automático, defina el valor de umbral para la detección de cambios de modelo. El valor por defecto es 0.7.
      • Un cambio por encima de este umbral indica un cambio significativo en las predicciones del modelo. Si se supera el umbral, es posible que sea necesario volver a crear y desplegar el modelo.
      • Una desviación por debajo de este umbral indica que no hay suficientes cambios en los datos para justificar una investigación o una acción adicionales.
   3. Nivel de servicio de base de datos: este es el nivel de servicio del trabajo, que puede ser BAJO, MEDIO o ALTO.
   4. Filtro de análisis: active esta opción si desea el análisis de supervisión de modelo para un período de tiempo específico. Mueva el control deslizante a la derecha para activarlo y, a continuación, seleccione una fecha en los campos De fecha y A fecha respectivamente. Este campo está desactivado de forma predeterminada.
      • De fecha: fecha de inicio o registro de hora de la supervisión en Nuevos datos. Asume la existencia de una columna de tiempo en la tabla. Este campo es obligatorio si utiliza la opción Filtro de análisis.
      • Hasta la fecha: es la fecha de finalización o el registro de hora de la supervisión en los nuevos datos. Asume la existencia de una columna de tiempo en la tabla. Este campo es obligatorio si utiliza la opción Filtro de análisis.
   5. Número máximo de ejecuciones: número máximo de veces que se puede ejecutar la supervisión de modelo según este programa. El valor por defecto es 3.
5. En la sección Modelos, seleccione el modelo que desea supervisar y, a continuación, haga clic en Guardar en la esquina superior derecha de la página. Una vez que proporcione un valor en los campos Función de minería y Destino, se obtiene la lista de modelos que se han desplegado y se muestra aquí en la sección Modelos. Los modelos se despliegan desde la página Modelos o desde la tabla de clasificación AutoML. Puede ver la lista completa de modelos desplegados en el separador Despliegues de la página Modelos. OML Services gestiona los modelos desplegados.

   Note:

   Si borra cualquier modelo, tiene que volver a desplegar los modelos. Los modelos no son modelos basados en esquemas, sino modelos desplegados en los servicios de OML.

   Figura 8-7 Sección Modelos en la página Monitor Nuevo Modelo

   
   Una vez que el monitor de modelo se ha creado correctamente, muestra el mensaje: Model monitor has been created successfully.

   Note:

   Ahora debe ir a la página Supervisión de modelo, seleccionar la supervisión de modelo y hacer clic en Iniciar para iniciar la supervisión de modelo.