8.2 Voir les résultats du moniteur de modèle

La page Résultats du moniteur de modèles affiche les résultats de surveillance de chaque modèle surveillé. En cliquant sur un modèle exécuté avec succès, vous pouvez voir l'analyse détaillée de chaque modèle, telle que la dérive de modèle, les mesures de modèle, les statistiques de prédiction, l'incidence des fonctions, la distribution des prédictions et l'importance des prédictions par rapport à la dérive pour chaque fonction. L'incidence prédictive par rapport à l'importance de la dérive pour chaque fonction surveillée est calculée uniquement si la surveillance des données est activée.

1 résultats du moniteur de modèles, page

La page Model Monitor Results répertorie tous les modèles surveillés par le moniteur. Le nom du moniteur est affiché en haut de la page. Comme le montre cette capture d'écran, le nom du moniteur Consommation de puissance est affiché en haut. Les modèles GLM_8959AF817, GLMR_0E58D990CD et NN_4C90CF9FB8 surveillés par le moniteur Consommation de puissance sont répertoriés dans la section Modèles. Par défaut, les détails de tous les modèles surveillés sont affichés. Vous pouvez choisir d'afficher les détails d'un moniteur à la fois en désélectionnant les autres moniteurs.

Figure 8-8 Page Résultats du moniteur de modèles

La page Model Monitor Results comprend les sections suivantes :

• Paramètres - La section Paramètres affiche les paramètres du moniteur de modèle. Cliquez sur la flèche sur Paramètres pour développer cette section. Vous pouvez modifier les paramètres du moniteur de modèle en cliquant sur Modifier dans le coin supérieur droit de la page.

  Figure 8-9 Paramètres du moniteur de modèle

  
• Modèles - La section Modèles répertorie tous les modèles surveillés par le moniteur. Dans cet exemple, les modèles GLM_8959AF817, GLMR_0E58D990CD et NN_4C90CF9FB8 surveillés par le moniteur Consommation de puissance sont répertoriés.

  Figure 8-10 Modèles dans la page Résultats du moniteur de modèles

  

  Vous pouvez choisir d'afficher et de comparer les résultats d'un ou de plusieurs modèles surveillés en désélectionnant ceux que vous souhaitez exclure. Vous pouvez également afficher les résultats de chaque fonction du modèle en cliquant sur le modèle. Ces résultats - Tableau de l'impact des fonctions, Distribution des prévisions et Graphique de l'impact prédictif par rapport à l'importance de la dérive sont affichés dans un volet distinct qui s'affiche. Le graphique Impact prédictif par rapport à l'importance de la dérive est calculé uniquement si l'option Surveiller les données est sélectionnée lors de la création du moniteur de modèle.

• Dérive du modèle - La section Dérive du modèle s'affiche juste en dessous de la section Modèles. La dérive de modèle est le pourcentage de variation de la mesure de rendement entre la période de référence et la nouvelle période. Une valeur négative indique que la nouvelle période a une meilleure mesure de performance qui pourrait se produire en raison du bruit.

  L'axe X représente la période d'analyse et l'axe Y représente les valeurs de dérive. La ligne horizontale en pointillés représente les paramètres de seuil de dérive que chaque moniteur obtient par défaut. La valeur par défaut couvre le cas d'utilisation type. Cependant, vous pouvez choisir de le personnaliser en fonction d'un cas d'utilisation spécifique. La ligne représente la valeur de dérive pour chaque point dans le temps pour la période d'analyse. Passez le pointeur de la souris sur la ligne pour voir les valeurs de dérive. Une dérive au-dessus du seuil indique une modification importante des prédictions du modèle. Le dépassement du seuil suggère que la reconstruction et le redéploiement du modèle peuvent être nécessaires. Si la dérive est inférieure au seuil, cela indique qu'il n'y a pas suffisamment de changements dans les données pour justifier une enquête ou une action plus approfondie. C'est-à-dire, éventuellement, reconstruire un modèle d'apprentissage automatique en utilisant ces données.

  Figure 8-11 Dérive de modèle dans la page Résultats du moniteur de modèles

  

  Si vous voulez voir les détails de dérive d'un modèle à la fois, cliquez sur le nom du modèle à droite pour le sélectionner ou le désélectionner, comme indiqué ici.

• Mesure - Cette section affiche les mesures calculées pour les modèles sélectionnés. La mesure calculée est tracée le long de l'axe y et la période est tracée le long de l'axe x. Dans cet exemple, la mesure R2 ou R au carré est affichée pour les trois modèles. Positionnez le curseur sur d'autres points de la ligne pour voir les détails de la mesure calculée. La valeur de R2 pour tous les modèles est égale à 1. Ici, la valeur de R2 pour les trois modèles surveillés est 1. Cela indique que les trois modèles sont adaptés aux données

  Figure 8-12 Mesure

  
  Les mesures calculées pour la régression sont les suivantes :

  • R2 - Mesure statistique qui calcule la distance entre les données et la ligne de régression ajustée. En général, plus la valeur de R au carré est élevée, plus le modèle convient à vos données. La valeur de R2 est toujours comprise entre 0 et 1, où :
    • 0 indique que le modèle n'explique aucune de la variabilité des données de réponse autour de sa moyenne.
    • 1 indique que le modèle explique toute la variabilité des données de réponse autour de sa moyenne.
  • Erreur moyenne carrée - C'est la moyenne de la différence carrée des cibles prédites et vraies.
  • Erreur absolue moyenne - C'est la moyenne de la différence absolue des cibles prédites et vraies.
  • Erreur absolue médiane - Il s'agit de la médiane de la différence absolue entre les cibles prédites et vraies.
  Les mesures calculées pour la classification binaire sont les suivantes :

  • Précision - Calcule la proportion de cas correctement classifiés - positifs et négatifs. Par exemple, s'il existe un total de cas TP (True Positives)+TN (True Negatives) correctement classés parmi les cas TP+TN+FP+FN (True Positives+True Negatives+False Positives+False Negatives), la formule est la suivante :

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • Précision équilibrée - Évalue la qualité d'un classificateur binaire. Il est particulièrement utile lorsque les classes sont déséquilibrées, c'est-à-dire lorsque l'une des deux classes apparaît beaucoup plus souvent que l'autre. Cela se produit souvent dans de nombreux paramètres tels que la détection d'anomalies, etc.
  • AUC ROC (Zone sous la courbe ROC) - Fournit une mesure globale de la discrimination, quel que soit le seuil de décision. La courbe AUC - ROC est une mesure du rendement pour les problèmes de classification à différents paramètres de seuil.
  • Rappel : Calcule la proportion de Positifs réels correctement classés.
  • Précision - Calcule la proportion de Positifs prédits qui est Vrai Positif.
  • F1 Score - Combine la précision et le rappel en un seul nombre. F1-score est calculé en utilisant la moyenne harmonique qui est calculée par la formule :

    F1-score = 2 × (precision × recall)/(precision + recall)

  Les mesures calculées pour la classification multiclasse sont les suivantes :

  • Exactitude
  • Exactitude équilibrée
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• Statistiques de prédiction - Faites défiler la page vers le bas pour voir la section Statistiques de prédiction. La statistique de prédiction calculée est tracée le long de l'axe y et la période est tracée le long de l'axe x. Dans cette capture d'écran, l'indice de stabilité de la population pour le modèle linéaire généralisé - modèle de régression GLMR_0E58D990CD pour 10/30/10 s'affiche. Placez le curseur sur d'autres points de la ligne pour afficher la mesure calculée.

  Figure 8-13 Statistiques de prédiction

  

  Cliquez sur la liste déroulante pour afficher toutes les statistiques de prédiction. Les statistiques des prédictions du modèle varient en fonction du type de modèle.

  Pour la régression, les statistiques de prédiction calculées sont les suivantes :

  • Indice de stabilité de la population - Il s'agit d'une mesure de l'évolution d'une population au fil du temps ou entre deux échantillons différents d'une population en un seul nombre. Les deux répartitions sont subdivisées en intervalles et PSI compare les pourcentages d'articles de chacun des intervalles. PSI est calculé comme

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    L'interprétation de la valeur PSI est la suivante :

    • PSI < 0.1 n'implique aucun changement de population significatif
    • 0.1 <= PSI < 0.2 implique un changement modéré de la population
    • PSI >= 0.2 implique un changement de population important
  • Min - Il s'agit de la valeur la plus faible des statistiques calculées pour la période d'analyse.
  • Moyenne - Il s'agit de la valeur moyenne des statistiques calculées pour la période d'analyse.
  • Max - Il s'agit de la valeur la plus élevée des statistiques calculées pour la période d'analyse.
  • Écart-type - C'est la valeur qui montre combien de variation de la moyenne existe.
  Pour la classification binaire, les statistiques de prédiction calculées sont les suivantes :

  • Indice de stabilité de la population
  • Mean
  • Min
  • Max
  • Écart-type
  • Section Répartition des probabilités de prédiction
  • Répartition des classes
  Pour Classification multiclasse, les statistiques de prédiction calculées sont les suivantes :

  • Indice de stabilité de la population
  • Répartition de la classe

2. Détails du moniteur de modèle

Vous pouvez voir les détails de chaque fonction du modèle en cliquant sur son nom. Ces détails comprennent le graphique d'incidence des fonctions, la répartition des prévisions et le graphique d'incidence prédictive par rapport à l'importance de la dérive. Dans cet exemple, le modèle GLM_8959AF817 est sélectionné.

Figure 8-14 Sélection du modèle pour les détails

Les résultats calculés s'affichent dans un volet distinct qui s'affiche. Vous pouvez sélectionner jusqu'à 3 comparaisons de périodes d'analyse. Vous avez également la possibilité de masquer ou d'afficher les détails de la ligne de base. Les détails calculés des fonctions du modèle sont les suivants :

• Incidence sur les fonctions - Le graphique Incidence sur les fonctions calcule l'incidence de chaque fonction dans le modèle pour l'heure spécifiée. Le graphique vous donne également la possibilité de voir l'impact de la fonction sur une échelle linéaire ainsi que sur une échelle logarithmique. Passez le pointeur de la souris sur le graphique pour voir les détails - Nom de la fonction, Date et Impact de la fonction.
  • Cliquez sur Échelle de journal pour voir le calcul de l'incidence de la fonction sur une échelle logarithmique.
  • Cliquez sur pour voir le calcul de l'incidence de la fonction dans un graphique linéaire.
  • Cliquez sur pour voir le calcul de l'incidence de la fonction dans une table.
  • Cliquez sur Limiter les fonctions les plus importantes à dans la liste déroulante pour sélectionner une valeur.

  Figure 8-15 Impact de la fonction de visualisation sur une échelle de revêtement

  

  Dans cette capture d'écran, la fonction GLOBAL_INTENSITY, c'est-à-dire l'intensité de courant moyenne en minutes globale de la consommation électrique du ménage, a l'impact maximal sur le modèle GLM_8959AF817 par rapport aux autres fonctions. Cliquez sur Échelle de journal pour voir le calcul de l'incidence de la fonction sur une échelle logarithmique, comme illustré dans la capture d'écran ci-dessous. Cliquez sur X dans le coin supérieur droit du volet pour quitter.

  Figure 8-16 Impact de la fonction de visualisation sur une échelle logarithmique

  
• Répartition des prédictions - Faites défiler l'affichage vers le bas pour voir la répartition des prédictions. La répartition des prévisions est tracée pour chaque période d'analyse. Les données de référence sont affichées, si elles sont sélectionnées. Les sections sont représentées le long de l'axe X et les valeurs le long de l'axe Y. Passez le pointeur de la souris sur chaque histogramme pour voir les détails calculés. Cliquez sur X dans le coin supérieur droit du volet pour quitter.

  Figure 8-17 Distribution des prévisions

  
• Impact prédictif par rapport à l'importance de la dérive - Faites défiler le volet vers le bas pour voir le graphique Incidence de la prévision par rapport à l'importance de la dérive. Ce graphique aide à comprendre comment les fonctions les plus percutantes dérivent au fil du temps. L'importance de la fonction de dérive est tracée le long de l'axe Y et l'incidence de la fonction de prévision est tracée le long de l'axe X. Cliquez sur X dans le coin supérieur droit du volet pour quitter.

  Note :

  Le graphique Incidence de la prévision par rapport à l'importance de la dérive est calculé uniquement si vous sélectionnez l'option Surveiller les données lors de la création du moniteur de modèle.

  Figure 8-18 Incidence prédictive de la fonction par rapport à l'importance de la dérive

  

  Dans cette capture d'écran, vous pouvez voir que la fonction GLOBAL_INTENSITY a une incidence maximale sur le modèle prédictif sélectionné GLM_8959AF817 par rapport aux autres fonctions - SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE et SUB-METERING_1.