8 Introduction à Model Monitoring

La surveillance des modèles vous permet de surveiller la qualité des prédictions de modèle au fil du temps et vous aide à comprendre les causes des problèmes de qualité des modèles.

La page Moniteur de modèle vous permet de créer, d'exécuter et de suivre les moniteurs de modèle et les résultats. Cette page répertorie les moniteurs de modèle. Vous pouvez prévisualiser la dérive du modèle en sélectionnant un moniteur de modèle unique, comme illustré dans la capture d'écran ci-dessous. Dans cette capture d'écran, le moniteur Power Consumption est sélectionné. Dans le volet inférieur de la page Moniteurs de modèle, la dérive de modèle du moniteur sélectionné s'affiche. L'axe X représente la période d'analyse et l'axe Y représente les valeurs de dérive du modèle. La ligne horizontale en pointillés rouge est la valeur de seuil. La ligne représente la valeur de dérive pour chaque point dans le temps de la période d'analyse. Passez le pointeur de la souris sur la ligne pour afficher les valeurs de dérive.

Figure 8-1 Page Moniteurs de modèle

Dans la page Model Monitors, vous pouvez effectuer les tâches suivantes :

• Créer : créez un moniteur de modèle.
• Modifier : sélectionnez un moniteur de modèle et cliquez sur Modifier pour le modifier.
• Dupliquer : sélectionnez un moniteur de modèle et cliquez sur Dupliquer pour créer une copie du moniteur.
• Supprimer : sélectionnez un moniteur de modèle et cliquez sur Supprimer pour le supprimer.
• Historique : sélectionnez un moniteur de modèle et cliquez sur Historique pour visualiser les détails d'exécution du moniteur de modèle. Si un travail de surveillance des données est associé à la surveillance de modèle, les détails d'exécution de la surveillance des données sont affichés dans le volet inférieur. Cliquez sur Retour aux moniteurs pour revenir à la page Surveillance de modèle.
• Démarrer : démarre un moniteur de modèle.
• Arrêter : arrêtez un moniteur de modèle en cours d'exécution.
• Plus : sélectionnez un moniteur de modèle, cliquez sur Plus, puis sur :
  • Activer : activez une programmation de moniteur de modèle. Par défaut, la surveillance des modèles est activée. Le statut est SCHEDULED.
  • Désactiver : désactiver une programmation de moniteur de modèle. Le statut est DISABLED.
  • Afficher les moniteurs gérés : cliquez sur cette option pour visualiser les modèles créés et gérés par l'API REST des services OML.

La page Moniteurs de modèle affiche les informations suivantes sur les moniteurs de modèle :

• Nom : nom du moniteur de modèle.
• Moniteur de données : la coche de cette colonne indique qu'un travail de surveillance des données est associé au moniteur de modèle. Cliquez sur les trois points pour afficher :

  Figure 8-2 Affichage des résultats et des paramètres du contrôleur de données

  
  • Résultats : affiche les résultats de surveillance des données calculés par le travail de surveillance des données. Le nom du moniteur de données est généré automatiquement avec le préfixe OML. La dérive des données et les fonctions surveillées ainsi que les statistiques calculées sont affichées en mode lecture seule sur une page distincte. Cliquez sur Moniteurs dans l'angle supérieur gauche pour revenir à la page Moniteurs de modèle. Cliquez sur Détails dans l'angle supérieur droit pour afficher les paramètres du moniteur de données.

    Figure 8-3 Résultats du contrôleur de données

    
  • Paramètres : affiche les paramètres du moniteur de données, les paramètres supplémentaires et les fonctionnalités surveillées en mode lecture seule. Cliquez sur Précédent en haut à droite de la page pour revenir à la page Moniteurs de modèle.

    Figure 8-4 Paramètres du contrôleur de données

    
• Données de référence : table ou vue contenant les données de référence à surveiller.
• Nouvelles données : Il s'agit d'une table ou d'une vue avec de nouvelles données à comparer aux données de référence.
• Dernière date de début : Date à laquelle le moniteur de modèle a été démarré pour la dernière fois.
• Dernier statut : Il s'agit du dernier statut du moniteur de modèle. Les statuts sont : Succédé, Échec, Exécution, Planifié.
• Nouvelle date d'exécution : Il s'agit de la date à laquelle la prochaine exécution est planifiée.
• Statut : Statut actuel du moniteur de modèle.
• Programmation : fréquence du travail de surveillance, c'est-à-dire la fréquence d'exécution du moniteur de modèle sur les nouvelles données.

• Création d'un moniteur de modèle
  Un moniteur de modèle vous aide à surveiller plusieurs modèles compatibles et à calculer le graphique de dérive du modèle. Les modèles compatibles font référence aux modèles qui sont entraînés sur la même fonction cible et minière. Le graphique de dérive du modèle se compose de plusieurs séries de points de dérive des données, un pour chaque modèle surveillé.
• Affichage des résultats du moniteur de modèle
  La page Résultats du moniteur de modèle affiche les résultats de surveillance de chaque modèle surveillé. En cliquant sur un modèle exécuté avec succès, vous pouvez visualiser l'analyse détaillée de chaque modèle, telle que la dérive du modèle, les mesures du modèle, les statistiques de prédiction, l'impact des fonctionnalités, la distribution des prédictions et l'importance prédictive par rapport à la dérive pour chaque fonctionnalité. L'impact prédictif par rapport à l'importance de la dérive pour chaque fonctionnalité surveillée n'est calculé que si la surveillance des données est activée.
• Visualiser l'historique du modèle
  La page Historique affiche les détails d'exécution des moniteurs de modèle.