8.1 Créer un moniteur de modèle

Un moniteur de modèle vous aide à surveiller plusieurs modèles compatibles et à calculer le graphique de dérive du modèle. Les modèles compatibles font référence aux modèles qui sont entraînés sur la même fonction cible et minière. Le graphique de dérive du modèle se compose de plusieurs séries de points de dérive des données, un pour chaque modèle surveillé.

Un moniteur de modèle peut éventuellement surveiller les données pour fournir des informations supplémentaires. Il s'agit du graphique Drift Feature Importance versus Predictive Feature Impact qui est généré lorsque vous sélectionnez l'option Monitor Data lors de la création du moniteur de modèle.

Cette rubrique explique comment créer un moniteur de modèle. L'exemple utilise l'ensemble de données Consommation individuelle d'électricité des ménages qui inclut diverses métriques de consommation d'un ménage de 2007 à 2010. L'objectif est de comprendre si et comment la consommation des ménages a changé sur quatre ans. L'exemple montre comment suivre les effets des dérives de données sur la précision prédictive du modèle.

Le jeu de données comprend les colonnes suivantes :

• DATE_TIME : contient les informations relatives à la date et à l'heure au format dd:mm:yyyy:hh:mm:ss.
• GLOBAL_ACTIVE_POWER : puissance active moyenne par minute globale du foyer (en kilowatt).
• GLOBAL_REACTIVE_POWER : puissance réactive moyenne par minute globale du foyer (en kilowatt).
• VOLTAGE : tension moyenne en minutes (en volt).
• GLOBAL_INTENSITY - Il s'agit de l'intensité de courant moyenne minute globale du ménage (en ampère).
• SUB_METERING_1 - Il s'agit de la sous-mesure d'énergie n° 1 (en watts-heure d'énergie active). Cela correspond à la cuisine.
• SUB_METERING_2 - Il s'agit de la sous-mesure d'énergie n°2 (en watts-heure d'énergie active). Il correspond à la buanderie.
• SUB_METERING_3 - Il s'agit de la sous-mesure d'énergie n°2 (en watts-heure d'énergie active). Il correspond à un chauffe-eau électrique et un climatiseur.

Pour créer un moniteur de modèle :

1. Dans le menu de navigation de gauche de l'interface utilisateur Oracle Machine Learning, développez Surveillance, puis cliquez sur Modèles pour ouvrir la page Surveillance de modèle. Vous pouvez également cliquer sur l'icône Surveillance de modèle pour ouvrir la page Surveillance de modèle.
2. Sur la page Surveillance de modèle, cliquez sur Créer pour ouvrir la page Nouvelle surveillance de modèle.
3. Sur la page Nouvelle surveillance de modèle, entrez les détails suivants :

   Figure 8-5 Page Nouveau moniteur de modèle

   
   1. Nom du moniteur : entrez le nom du moniteur de modèle. Ici, le nom Power Consumption est utilisé.
   2. Commentaires : Entrez des commentaires. Il s'agit d'un champ optionnel.
   3. Données de référence : table ou vue contenant les données de référence à surveiller. Cliquez sur l'icône de recherche pour ouvrir la boîte de dialogue Sélectionner une table. Sélectionnez un schéma, puis une table. Le tableau contenant les données de l'année 2007 est sélectionné ici.
   4. Nouvelles données : Il s'agit d'une table ou d'une vue avec de nouvelles données à comparer aux données de référence. Cliquez sur l'icône de recherche pour ouvrir la boîte de dialogue Sélectionner une table. Sélectionnez un schéma, puis une table. Ici, le tableau contenant les données pour l'année 2010 est sélectionné.
   5. ID de cas : Ce champ est facultatif. Entrez un identifiant de cas pour la référence et de nouvelles données afin d'améliorer la répétabilité des résultats.
   6. Colonne de temps : Nom d'une colonne stockant les informations de temps dans la table ou la vue Nouvelles données. La colonne DATE_TIME est sélectionnée dans la liste déroulante.

      Remarques :

      Si la colonne de temps est vide, l'ensemble des nouvelles données est traité comme une période.

   7. Période d'analyse : Durée pendant laquelle la surveillance de modèle est effectuée sur les nouvelles données. Sélectionnez la période d'analyse pour la surveillance du modèle. Les options sont Day, Week, Month, Year.
   8. Date de début : Il s'agit de la date de début de la programmation de votre moniteur de modèle. Si vous n'indiquez pas de date de début, la date courante sera utilisée comme date de début.
   9. Répéter : Cette valeur définit le nombre de fois où l'exécution du moniteur de modèle sera répétée pour la fréquence définie. Saisissez un nombre compris entre 1 et 99. Par exemple, si vous entrez 2 dans le champ Répéter ici et Minutes dans le champ Fréquence, le moniteur de modèle s'exécute toutes les 2 minutes.
   10. Fréquence : Cette valeur détermine la fréquence d'exécution du moniteur de modèle sur les nouvelles données. Sélectionnez une fréquence pour la surveillance du modèle. Les options sont Minutes, Heures, Jours, Semaines, Mois. Par exemple, si vous sélectionnez Minutes dans le champ Fréquence, 2 dans le champ Répéter et 5/30/23 dans le champ Date de début, conformément à la programmation, le moniteur de modèle est exécuté à partir de 5/30/23 toutes les 2 minutes.
   11. Fonction de minage : les fonctions de minage disponibles sont Regression et Classification. Sélectionnez une fonction, le cas échéant. Dans cet exemple, Regression est sélectionné.
   12. Cible : sélectionnez un attribut dans la liste déroulante. Dans cet exemple, GLOBAL_ACTIVE_POWER est utilisé comme cible pour les modèles de régression.
   13. Recalculer : sélectionnez cette option pour mettre à jour les périodes déjà calculées. Cela signifie que seules les périodes non présentes dans la table de résultats de sortie seront calculées. Par défaut, le recalcul est désactivé.
       • Lorsque cette option est activée, l'analyse de dérive est effectuée pour la période indiquée dans le champ Date de début et l'heure de fin. L'analyse remplacera les résultats déjà existants pour la période indiquée. Cela signifie que l'analyse sera calculée pour la période avec de nouvelles données autres que les données actuelles.
       • Lorsque cette option est désactivée, les données de la période présente dans la table de résultats sont conservées telles quelles. Seules les nouvelles données de la période la plus récente seront prises en compte pour l'analyse et les résultats seront ajoutés à la table des résultats.
   14. Surveiller les données : sélectionnez cette option pour activer la surveillance des données pour les données indiquées. Lorsque cette option est activée, un moniteur de données est également créé avec le moniteur de modèle pour calculer l'impact prédictif sur les fonctionnalités et l'impact sur la dérive dans les résultats spécifiques au modèle.
4. Cliquez sur Paramètres supplémentaires pour développer cette section et fournir des paramètres avancés pour votre moniteur de modèle :

   Figure 8-6 Section Paramètres supplémentaires de la page Nouveau moniteur de modèle

   
   1. Mesure : en fonction de la fonction d'exploration sélectionnée dans le champ Fonction d'exploration de la page Créer un moniteur de modèle, les mesures applicables sont répertoriées. Sélectionnez une mesure dans la liste déroulante.
      Pour la fonction d'exploration Classification, les métriques sont les suivantes :

      • Précision - Calcule la proportion de cas correctement classés - positifs et négatifs. Par exemple, s'il existe un total de cas TP (vrais positifs) + TN (vrais négatifs) correctement classés parmi les cas TP+TN+FP+FN (vrai Positives+True Negatives+False Positives+False négatifs), la formule est la suivante :

        Accuracy = (TP+TN)/(TP+TN+FP+FN)

      • Précision équilibrée - Evalue la qualité d'un classificateur binaire. Elle est particulièrement utile lorsque les classes sont déséquilibrées, c'est-à-dire lorsque l'une des deux classes apparaît beaucoup plus souvent que l'autre. Cela se produit souvent dans de nombreux paramètres tels que la détection d'anomalies, etc.
      • AUC ROC (zone sous la courbe ROC) - Fournit une mesure globale de la discrimination, quel que soit le seuil de décision. AUC - courbe ROC est une mesure de performance pour les problèmes de classification à différents paramètres de seuil.
      • Rappel : calcule la proportion de positifs réels correctement classés.
      • Précision - Calcule la proportion de Positifs prédits qui est Vrai Positif.
      • F1 Score : combine la précision et le rappel en un seul nombre. F1-score est calculé à l'aide de la moyenne harmonique qui est calculée par la formule :

        F1-score = 2 × (precision × recall)/(precision + recall)

      Pour la classification multiclasse, les mesures sont les suivantes :

      • précision
      • Exactitude équilibrée
      • Macro_F1
      • Macro_Precision
      • Macro_Recall
      • Weighted_F1
      • Weighted_Precision
      • Weighted_Recall
      Pour la régression, les mesures sont les suivantes :

      • R2 - Mesure statistique qui calcule la proximité des données avec la ligne de régression ajustée. En général, plus la valeur de R-squared est élevée, plus le modèle correspond à vos données. La valeur de R2 est toujours comprise entre 0 et 1, où :
        • 0 indique que le modèle n'explique aucune de la variabilité des données de réponse autour de sa moyenne.
        • 1 indique que le modèle explique toute la variabilité des données de réponse autour de sa moyenne.
      • Erreur moyenne au carré - C'est la moyenne de la différence au carré des cibles prédites et vraies.
      • L'erreur absolue moyenne est la différence absolue entre les cibles prédites et vraies.
      • Erreur absolue médiane - Il s'agit de la médiane de la différence absolue entre les cibles prédites et vraies.
   2. Seuil de dérive : La dérive capture l'évolution relative des performances entre les données de référence et la nouvelle période de données. En fonction de votre problème d'apprentissage automatique spécifique, définissez la valeur de seuil pour la détection de dérive de votre modèle. La valeur par défaut est 0.7.
      • Une dérive au-dessus de ce seuil indique un changement significatif dans les prédictions du modèle. Le dépassement du seuil indique que la reconstruction et le redéploiement de votre modèle peuvent être nécessaires.
      • Une dérive en dessous de ce seuil indique qu'il n'y a pas suffisamment de changements dans les données pour justifier une enquête ou une action plus approfondie.
   3. Niveau de service de base de données : niveau de service du travail, qui peut être LOW, MEDIUM ou HIGH.
   4. Filtre d'analyse : activez cette option si vous souhaitez que l'analyse de surveillance de modèle soit effectuée sur une période spécifique. Déplacez le curseur vers la droite pour l'activer, puis sélectionnez une date dans les champs Date de début et Date de fin respectivement. Par défaut, ce champ est désactivé.
      • Date de début : Il s'agit de la date de début ou de l'horodatage de la surveillance dans les nouvelles données. Elle suppose l'existence d'une colonne de temps dans la table. Ce champ est obligatoire si vous utilisez l'option Filtre d'analyse.
      • Date de fin : Date de fin ou horodatage de la surveillance dans les nouvelles données. Elle suppose l'existence d'une colonne de temps dans la table. Ce champ est obligatoire si vous utilisez l'option Filtre d'analyse.
   5. Nombre maximal d'exécutions : Nombre maximal d'exécutions du moniteur de modèle selon cette programmation. La valeur par défaut est 3.
5. Dans la section Modèles, sélectionnez le modèle à surveiller, puis cliquez sur Enregistrer dans le coin supérieur droit de la page. Une fois que vous avez indiqué une valeur dans les champs Fonction d'exploitation et Cible, la liste des modèles déployés est obtenue et affichée ici dans la section Modèles. Les modèles sont déployés à partir de la page Modèles ou du tableau d'honneur AutoML. Vous pouvez afficher la liste complète des modèles déployés dans l'onglet Déploiements de la page Modèles. Les modèles déployés sont gérés par les services OML.

   Remarques :

   Si vous supprimez des modèles, vous devez les redéployer. Les modèles ne sont pas des modèles basés sur un schéma, mais des modèles déployés sur les services OML.

   Figure 8-7 Section Modèles de la page Nouveau moniteur de modèle

   
   Une fois le moniteur de modèle créé, le message suivant s'affiche : Model monitor has been created successfully.

   Remarques :

   Vous devez maintenant accéder à la page Surveillance de modèle, sélectionner le moniteur de modèle et cliquer sur Démarrer pour commencer la surveillance de modèle.