8.1 Créer un moniteur de modèle

Un moniteur de modèle vous aide à surveiller plusieurs modèles compatibles et à calculer le graphique de dérive du modèle. Les modèles compatibles font référence aux modèles formés sur la même cible et la même fonction d'exploration. Le graphique de dérive de modèle se compose de plusieurs séries de points de dérive de données, un pour chaque modèle surveillé.

Un moniteur de modèle peut éventuellement surveiller les données pour fournir des informations supplémentaires. Cette donnée clé supplémentaire est le graphique Drift Feature Importance versus Predictive Feature Impact qui est généré lorsque vous sélectionnez l'option Monitor Data lors de la création du moniteur de modèles.

Cette rubrique explique comment créer un moniteur de modèles. L'exemple utilise le jeu de données Consommation individuelle d'électricité d'un ménage qui inclut diverses mesures de consommation d'un ménage de 2007 à 2010. L'objectif est de comprendre si et comment la consommation des ménages a changé sur quatre ans. L'exemple montre comment suivre les effets des dérives de données sur la précision prédictive du modèle.

Le jeu de données comprend les colonnes suivantes :

• DATE_TIME - Contient les informations relatives à la date et à l'heure au format dd:mm:yyyy:hh:mm:ss.
• GLOBAL_ACTIVE_POWER - Il s'agit de la puissance active moyenne des minutes du ménage (en kilowatts).
• GLOBAL_REACTIVE_POWER - Il s'agit de la puissance réactive globale moyenne en minutes du ménage (en kilowatt).
• VOLTAGE - Il s'agit de la tension moyenne en minutes (en volt).
• GLOBAL_INTENSITY - Il s'agit de l'intensité de courant moyenne minute globale du ménage (en ampère).
• SUB_METERING_1 - Il s'agit du sous-mesure d'énergie no 1 (en watt-heure d'énergie active). Il correspond à la cuisine.
• SUB_METERING_2 - Il s'agit du sous-mesure d'énergie n° 2 (en watt-heure d'énergie active). Il correspond à la buanderie.
• SUB_METERING_3 - Il s'agit du sous-mesure d'énergie n° 2 (en watt-heure d'énergie active). Il correspond à un chauffe-eau électrique et un climatiseur.

Pour créer un moniteur de modèle :

1. Dans le menu de navigation de gauche de l'interface utilisateur d'Oracle Machine Learning, développez Surveillance, puis cliquez sur Modèles pour ouvrir la page Surveillance de modèle. Vous pouvez également cliquer sur l'icône Surveillance de modèle pour ouvrir la page Surveillance de modèle.
2. Dans la page Surveillance de modèle, cliquez sur Créer pour ouvrir la page Nouveau moniteur de modèle.
3. Dans la page New Model Monitor, entrez les détails suivants :

   Figure 8-5 Page Nouveau moniteur de modèle

   
   1. Nom du moniteur : Entrez un nom pour le moniteur de modèle. Ici, le nom Consommation d'énergie est utilisé.
   2. Commentaire : Entrez des commentaires. Ce champ est facultatif.
   3. Données de référence : Il s'agit d'une table ou d'une vue qui contient des données de référence à surveiller. Cliquez sur l'icône de recherche pour ouvrir la boîte de dialogue Sélectionner une table. Sélectionnez un schéma, puis une table. Ici, le tableau contenant les données pour l'année 2007 est sélectionné.
   4. Nouvelles données : Il s'agit d'une table ou d'une vue contenant de nouvelles données à comparer aux données de référence. Cliquez sur l'icône de recherche pour ouvrir la boîte de dialogue Sélectionner une table. Sélectionnez un schéma, puis une table. Ici, le tableau contenant les données pour l'année 2010 est sélectionné.
   5. ID cas : Ce champ est facultatif. Entrez un identificateur de cas pour la référence et les nouvelles données afin d'améliorer la répétabilité des résultats.
   6. Colonne de temps : Nom d'une colonne stockant des informations de temps dans la table ou la vue des nouvelles données. La colonne DATE_TIME est sélectionnée dans la liste déroulante.

      Note :

      Si la colonne de temps est vide, toutes les nouvelles données sont traitées comme une seule période.

   7. Période d'analyse : Durée pendant laquelle la surveillance du modèle est effectuée sur les nouvelles données. Sélectionnez la période d'analyse pour la surveillance du modèle. Les options sont Day, Week, Month, Year.
   8. Date de début : Il s'agit de la date de début de la programmation du moniteur de modèles. Si vous n'indiquez pas de date de début, la date courante sera utilisée comme date de début.
   9. Répéter : Cette valeur définit le nombre de répétitions de l'exécution du moniteur de modèle pour la fréquence définie. Entrez un nombre compris entre 1 et 99. Par exemple, si vous entrez 2 dans le champ Répéter ici et Minutes dans le champ Fréquence, le moniteur de modèle s'exécutera toutes les 2 minutes.
   10. Fréquence : Cette valeur détermine la fréquence d'exécution du moniteur de modèles sur les nouvelles données. Sélectionnez une fréquence pour la surveillance du modèle. Les options sont Minutes, Heures, Jours, Semaines, Mois. Par exemple, si vous sélectionnez Minutes dans le champ Fréquence, 2 dans le champ Répéter et 5/30/23 dans le champ Date de début, selon le programme, le moniteur de modèle s'exécutera à partir de 5/30/23 toutes les 2 minutes.
   11. Fonction d'exploration : Les fonctions d'exploration disponibles sont Regression et Classification. Sélectionnez une fonction selon le cas. Dans cet exemple, Regression est sélectionné.
   12. Cible : Sélectionnez un attribut dans la liste déroulante. Dans cet exemple, GLOBAL_ACTIVE_POWER est utilisé comme cible pour les modèles de régression.
   13. Recalculer : Sélectionnez cette option pour mettre à jour les périodes déjà calculées. Cela signifie que seules les périodes non présentes dans la table des résultats de sortie seront calculées. Par défaut, Recalculer est désactivé.
       • Lorsque cette option est activée, l'analyse de dérive est effectuée pour la période spécifiée dans le champ Date de début et l'heure de fin. L'analyse remplacera les résultats déjà existants pour la période spécifiée. Cela signifie que l'analyse sera calculée pour la période avec de nouvelles données autres que les données courantes.
       • Lorsqu'elle est désactivée, les données de la période présente dans la table des résultats sont conservées telles quelles. Seules les nouvelles données pour la période la plus récente seront prises en compte pour l'analyse et les résultats seront ajoutés au tableau des résultats.
   14. Surveiller les données : Sélectionnez cette option pour activer la surveillance des données pour les données spécifiées. Lorsque cette option est activée, un moniteur de données est également créé avec le moniteur de modèles pour calculer l'incidence de la fonction prédictive par rapport à l'incidence de la fonction de dérive dans les résultats propres au modèle.
4. Cliquez sur Paramètres supplémentaires pour développer cette section et fournir des paramètres avancés pour votre moniteur de modèles :

   Figure 8-6 Section Paramètres supplémentaires de la page Nouveau moniteur de modèle

   
   1. Mesure : Selon la fonction d'exploration sélectionnée dans le champ Fonction d'exploration de la page Créer un moniteur de modèle, les mesures applicables sont listées. Cliquez sur la liste déroulante pour sélectionner une mesure.
      Pour la fonction d'exploration Classification, les mesures sont les suivantes :

      • Précision - Calcule la proportion de cas correctement classifiés - positifs et négatifs. Par exemple, s'il existe un total de cas TP (True Positives)+TN (True Negatives) correctement classés parmi les cas TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives), la formule est la suivante :

        Accuracy = (TP+TN)/(TP+TN+FP+FN)

      • Précision équilibrée - Évalue la qualité d'un classificateur binaire. Il est particulièrement utile lorsque les classes sont déséquilibrées, c'est-à-dire lorsque l'une des deux classes apparaît beaucoup plus souvent que l'autre. Cela se produit souvent dans de nombreux paramètres tels que la détection d'anomalies, etc.
      • AUC ROC (Zone sous la courbe ROC) - Fournit une mesure globale de la discrimination, quel que soit le seuil de décision. La courbe AUC - ROC est une mesure du rendement pour les problèmes de classification à différents paramètres de seuil.
      • Rappel : Calcule la proportion de Positifs réels correctement classés.
      • Précision - Calcule la proportion de Positifs prédits qui est Vrai Positif.
      • F1 Score - Combine la précision et le rappel en un seul nombre. F1-score est calculé en utilisant la moyenne harmonique qui est calculée par la formule :

        F1-score = 2 × (precision × recall)/(precision + recall)

      Pour la classification multiclasse, les mesures sont les suivantes :

      • Exactitude
      • Exactitude équilibrée
      • Macro_F1
      • Macro_Precision
      • Macro_Recall
      • Weighted_F1
      • Weighted_Precision
      • Weighted_Recall
      Pour la régression, les mesures sont les suivantes :

      • R2 - Mesure statistique qui calcule la distance entre les données et la ligne de régression ajustée. En général, plus la valeur de R au carré est élevée, plus le modèle convient à vos données. La valeur de R2 est toujours comprise entre 0 et 1, où :
        • 0 indique que le modèle n'explique aucune de la variabilité des données de réponse autour de sa moyenne.
        • 1 indique que le modèle explique toute la variabilité des données de réponse autour de sa moyenne.
      • Erreur moyenne carrée - C'est la moyenne de la différence carrée des cibles prédites et vraies.
      • Erreur absolue moyenne - C'est la moyenne de la différence absolue des cibles prédites et vraies.
      • Erreur absolue médiane - Il s'agit de la médiane de la différence absolue entre les cibles prédites et vraies.
   2. Seuil de dérive : La dérive capture la variation relative de la performance entre les données de référence et la nouvelle période de données. En fonction de votre problème d'apprentissage automatique spécifique, définissez la valeur de seuil pour la détection de dérive du modèle. La valeur par défaut est 0.7.
      • Une dérive au-dessus de ce seuil indique un changement important dans les prédictions du modèle. Le dépassement du seuil indique que la reconstruction et le redéploiement du modèle peuvent être nécessaires.
      • Une dérive en dessous de ce seuil indique qu'il n'y a pas suffisamment de changements dans les données pour justifier une enquête ou une action plus approfondie.
   3. Niveau de service de base de données : Il s'agit du niveau de service pour la tâche, qui peut être LOW, MEDIUM ou HIGH.
   4. Filtre d'analyse : Activez cette option si vous voulez que l'analyse de surveillance de modèle soit effectuée pour une période spécifique. Déplacez le curseur vers la droite pour l'activer, puis sélectionnez une date dans les champs Date de début et Date de fin respectivement. Par défaut, ce champ est désactivé.
      • Date de début : Il s'agit de la date de début ou de l'horodatage de la surveillance dans les nouvelles données. Il suppose l'existence d'une colonne de temps dans la table. Il s'agit d'un champ obligatoire si vous utilisez l'option Filtre d'analyse.
      • Date de fin : Il s'agit de la date de fin ou de l'horodatage de la surveillance dans les nouvelles données. Il suppose l'existence d'une colonne de temps dans la table. Il s'agit d'un champ obligatoire si vous utilisez l'option Filtre d'analyse.
   5. Nombre maximal d'exécutions : Il s'agit du nombre maximal de fois où le moniteur de modèles peut être exécuté conformément à cette programmation. La valeur par défaut est 3.
5. Dans la section Modèles, sélectionnez le modèle à surveiller, puis cliquez sur Enregistrer dans le coin supérieur droit de la page. Une fois que vous avez fourni une valeur dans les champs Fonction d'exploration et Cible, la liste des modèles déployés est obtenue et affichée ici dans la section Modèles. Les modèles sont déployés à partir de la page Modèles ou du classement AutoML. Vous pouvez afficher la liste complète des modèles déployés dans l'onglet Deployments de la page Models. Les modèles déployés sont gérés par les services OML.

   Note :

   Si vous supprimez des modèles, vous devez les redéployer. Les modèles ne sont pas des modèles basés sur un schéma, mais des modèles déployés dans les services OML.

   Figure 8-7 Section Modèles sur la page Nouveau moniteur de modèle

   
   Une fois le moniteur de modèles créé, il affiche le message suivant : Model monitor has been created successfully.

   Note :

   Vous devez maintenant aller à la page Surveillance de modèle, sélectionner le moniteur de modèle et cliquer sur Démarrer pour commencer la surveillance de modèle.