8.2 Voir les résultats de la surveillance des modèles

La page Résultats du moniteur de modèle affiche les résultats de surveillance de chaque modèle surveillé. En cliquant sur un modèle exécuté avec succès, vous pouvez visualiser l'analyse détaillée de chaque modèle, telle que la dérive du modèle, les mesures du modèle, les statistiques de prédiction, l'impact des fonctionnalités, la distribution des prédictions et l'importance prédictive par rapport à la dérive pour chaque fonctionnalité. L'impact prédictif par rapport à l'importance de la dérive pour chaque fonctionnalité surveillée n'est calculé que si la surveillance des données est activée.

1 Résultats contrôleur modèle (page)

La page Résultats du moniteur de modèle répertorie tous les modèles surveillés par le moniteur. Le nom du moniteur apparaît en haut de la page. Comme indiqué dans cette capture d'écran, le nom du moniteur Power Consumption est affiché en haut. Les modèles GLM_8959AF817, GLMR_0E58D990CD et NN_4C90CF9FB8 surveillés par le moniteur Power Consumption sont répertoriés dans la section Models. Par défaut, les détails de tous les modèles surveillés sont affichés. Vous pouvez choisir d'afficher les détails d'un moniteur à la fois en désélectionnant les autres moniteurs.

Figure 8-8 Page Résultats du contrôleur de modèle

La page Résultats du contrôleur de modèle comprend les sections suivantes :

• Paramètres - La section Paramètres affiche les paramètres du moniteur de modèle. Cliquez sur la flèche en regard de Paramètres pour développer cette section. Vous pouvez modifier les paramètres du moniteur de modèle en cliquant sur Modifier dans l'angle supérieur droit de la page.

  Figure 8-9 Paramètres du moniteur de modèle

  
• Modèles : la section Modèles répertorie tous les modèles surveillés par le moniteur. Dans cet exemple, les modèles GLM_8959AF817, GLMR_0E58D990CD et NN_4C90CF9FB8 surveillés par le moniteur Power Consumption sont répertoriés.

  Figure 8-10 Modèles sur la page Résultats de la surveillance des modèles

  

  Vous pouvez choisir d'afficher et de comparer les résultats d'un ou de plusieurs modèles surveillés en désélectionnant ceux à exclure. Vous pouvez également afficher les résultats de chaque fonctionnalité du modèle en cliquant sur le modèle. Ces résultats (graphique Impact des fonctionnalités, Distribution des prévisions et Impact prédictif par rapport à l'importance de la dérive) s'affichent dans un volet distinct qui s'affiche. Le graphique Impact prédictif et importance de dérive est calculé uniquement si l'option Surveiller les données est sélectionnée lors de la création du moniteur de modèle.

• Dérive du modèle - La section Dérive du modèle s'affiche juste en dessous de la section Modèles. La dérive du modèle est le pourcentage de variation de la mesure de performances entre la période de référence et la nouvelle période. Une valeur négative indique que la nouvelle période a une meilleure mesure de performance qui pourrait se produire en raison du bruit.

  L'axe X représente la période d'analyse et l'axe Y représente les valeurs de dérive. La ligne horizontale en pointillés représente les paramètres de seuil de dérive que chaque moniteur obtient par défaut. La valeur par défaut couvre le cas d'utilisation standard. Toutefois, vous pouvez choisir de la personnaliser en fonction d'un cas d'utilisation spécifique. La ligne représente la valeur de dérive pour chaque point dans le temps de la période d'analyse. Passez le pointeur de la souris sur la ligne pour afficher les valeurs de dérive. Une dérive au-dessus du seuil indique un changement significatif dans les prédictions du modèle. Dépasser le seuil suggère que la reconstruction et le redéploiement de votre modèle peuvent être nécessaires. Si la dérive est inférieure au seuil, cela indique qu'il n'y a pas suffisamment de modifications dans les données pour justifier une enquête ou une action plus approfondie. Autrement dit, il est possible de reconstruire un modèle d'apprentissage automatique à l'aide de ces données.

  Figure 8-11 Dérive du modèle sur la page Résultats de la surveillance des modèles

  

  Pour afficher les détails de dérive d'un modèle à la fois, cliquez sur le nom du modèle à droite pour le sélectionner ou le désélectionner, comme illustré ici.

• Mesure : cette section de mesure affiche les mesures calculées pour les modèles sélectionnés. La métrique calculée est tracée le long de l'axe y et la période est tracée le long de l'axe x. Dans cet exemple, la mesure R2 ou R-squared est affichée pour les trois modèles. Placez le curseur sur d'autres points de la ligne pour afficher les détails de la mesure calculée. La valeur de R2 pour tous les modèles est égale à 1. Ici, la valeur de R2 pour les trois modèles surveillés est 1. Cela indique que les trois modèles conviennent bien aux données.

  Figure 8-12 Mesure

  
  Les mesures calculées pour la régression sont les suivantes :

  • R2 - Mesure statistique qui calcule la proximité des données avec la ligne de régression ajustée. En général, plus la valeur de R-squared est élevée, plus le modèle correspond à vos données. La valeur de R2 est toujours comprise entre 0 et 1, où :
    • 0 indique que le modèle n'explique aucune de la variabilité des données de réponse autour de sa moyenne.
    • 1 indique que le modèle explique toute la variabilité des données de réponse autour de sa moyenne.
  • Erreur moyenne au carré - C'est la moyenne de la différence au carré des cibles prédites et vraies.
  • L'erreur absolue moyenne est la différence absolue entre les cibles prédites et vraies.
  • Erreur absolue médiane - Il s'agit de la médiane de la différence absolue entre les cibles prédites et vraies.
  Les mesures calculées pour Classification binaire sont les suivantes :

  • Précision - Calcule la proportion de cas correctement classés - positifs et négatifs. Par exemple, s'il existe un total de cas TP (vrais positifs) + TN (vrais négatifs) correctement classés parmi les cas TP+TN+FP+FN (vrai Positives+True Negatives+False Positives+False négatifs), la formule est la suivante :

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • Précision équilibrée - Evalue la qualité d'un classificateur binaire. Elle est particulièrement utile lorsque les classes sont déséquilibrées, c'est-à-dire lorsque l'une des deux classes apparaît beaucoup plus souvent que l'autre. Cela se produit souvent dans de nombreux paramètres tels que la détection d'anomalies, etc.
  • AUC ROC (zone sous la courbe ROC) - Fournit une mesure globale de la discrimination, quel que soit le seuil de décision. AUC - courbe ROC est une mesure de performance pour les problèmes de classification à différents paramètres de seuil.
  • Rappel : calcule la proportion de positifs réels correctement classés.
  • Précision - Calcule la proportion de Positifs prédits qui est Vrai Positif.
  • F1 Score : combine la précision et le rappel en un seul nombre. F1-score est calculé à l'aide de la moyenne harmonique qui est calculée par la formule :

    F1-score = 2 × (precision × recall)/(precision + recall)

  Les mesures calculées pour Classification multiclasse sont les suivantes :

  • précision
  • Exactitude équilibrée
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• Statistiques de prévision : faites défiler la page vers le bas pour afficher la section Statistiques de prévision. La statistique de prédiction calculée est tracée le long de l'axe y et la période est tracée le long de l'axe x. Dans cette capture d'écran, l'indice de stabilité de la population pour le modèle linéaire généralisé - modèle de régression GLMR_0E58D990CD pour le 30/10/10 s'affiche. Placez le curseur sur d'autres points de la ligne pour afficher la mesure calculée.

  Figure 8-13 Statistiques de prédiction

  

  Cliquez sur la liste déroulante pour afficher toutes les statistiques de prédiction. Les statistiques des prédictions du modèle varient en fonction du type de modèle.

  Pour Régression, les statistiques de prédiction calculées sont les suivantes :

  • Indice de stabilité de la population - Il s'agit d'une mesure du déplacement d'une population au fil du temps ou entre deux échantillons différents d'une population en un seul nombre. Les deux distributions sont regroupées en regroupements et PSI compare les pourcentages d'articles dans chacun des regroupements. PSI est calculé comme suit :

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    L'interprétation de la valeur de l'ISP est la suivante :

    • PSI < 0.1 n'implique aucun changement significatif de population
    • 0.1 <= PSI < 0.2 implique une modification modérée de la population
    • PSI >= 0.2 implique un changement significatif de population
  • Min : valeur la plus basse des statistiques calculées pour la période d'analyse.
  • Moyenne - Il s'agit de la valeur moyenne des statistiques calculées pour la période d'analyse.
  • Max - Il s'agit de la valeur la plus élevée des statistiques calculées pour la période d'analyse.
  • Ecart type : il s'agit de la valeur qui indique la variation par rapport à la moyenne.
  Pour Classification binaire, les statistiques de prédiction calculées sont les suivantes :

  • Indice de stabilité de la population
  • Moyenne
  • Min.
  • Max.
  • Ecart type
  • Répartition des probabilités de prédiction par région
  • Distribution de classe
  Pour Classification multiclasse, les statistiques de prédiction calculées sont les suivantes :

  • Indice de stabilité de la population
  • Ventilation de la classe

2. Détails du moniteur de modèle

Vous pouvez afficher les détails de chaque fonctionnalité du modèle en cliquant sur le nom du modèle. Ces détails incluent le graphique Impact des fonctionnalités, Distribution des prévisions et le graphique Impact prédictif par rapport à l'importance de la dérive. Dans cet exemple, le modèle GLM_8959AF817 est sélectionné.

Figure 8-14 Sélection du modèle pour plus de détails

Les résultats calculés s'affichent dans un volet distinct qui s'affiche. Vous pouvez sélectionner jusqu'à 3 périodes d'analyse. Vous pouvez également masquer ou afficher les détails de la ligne de base. Les détails calculés des fonctionnalités du modèle sont les suivants :

• Impact sur les fonctionnalités - Le graphique Impact sur les fonctionnalités calcule l'impact de chaque fonctionnalité du modèle pour la période spécifiée. Le graphique vous donne également la possibilité d'afficher l'impact des fonctionnalités sur une échelle linéaire ainsi que sur une échelle logarithmique. Passez le pointeur de la souris sur le graphique pour afficher les détails - Nom de la fonctionnalité, Date et Impact de la fonctionnalité.
  • Cliquez sur Echelle de journal pour visualiser le calcul de l'impact des fonctionnalités sur une échelle logarithmique.
  • Cliquez sur pour afficher le calcul de l'impact sur les fonctionnalités dans un graphique à courbes.
  • Cliquez sur pour afficher le calcul de l'impact sur les fonctionnalités dans une table.
  • Cliquez sur la liste déroulante Limiter les fonctionnalités les plus importantes à pour sélectionner une valeur.

  Figure 8-15 Impact de la fonction de visualisation sur une échelle de revêtement

  

  Dans cette capture d'écran, la fonctionnalité GLOBAL_INTENSITY, c'est-à-dire que l'intensité de courant moyenne en minutes globale de la consommation électrique domestique est considérée comme ayant l'impact maximal sur le modèle GLM_8959AF817 par rapport aux autres fonctionnalités. Cliquez sur Echelle de journal pour afficher le calcul de l'impact des fonctionnalités sur une échelle logarithmique, comme illustré dans la capture d'écran ci-dessous. Cliquez sur X en haut à droite du volet pour quitter.

  Figure 8-16 Impact d'une fonction d'affichage sur une échelle logarithmique

  
• Répartition des prévisions : faites défiler la page vers le bas pour afficher la répartition des prévisions. La distribution de prédiction est tracée pour chaque période d'analyse. Si cette option est sélectionnée, les données de la ligne de base s'affichent. Les cases sont représentées sur l'axe des X et les valeurs sont représentées sur l'axe des Y. Passez le pointeur de la souris sur chaque histogramme pour afficher les détails calculés. Cliquez sur X en haut à droite du volet pour quitter.

  Figure 8-17 Distribution des prévisions

  
• Impact prédictif et importance de la dérive - Faites défiler le volet vers le bas pour afficher le graphique Impact de la prédiction et importance de la dérive. Ce graphique permet de comprendre comment les fonctionnalités les plus percutantes dérivent au fil du temps. L'importance de la fonction de dérive est représentée sur l'axe des Y et l'impact de la fonction de prévision est représenté sur l'axe des X. Cliquez sur X en haut à droite du volet pour quitter.

  Remarques :

  Le graphique Impact de la prévision et importance de la dérive est calculé uniquement si vous sélectionnez l'option Surveiller les données lors de la création du moniteur de modèle.

  Figure 8-18 Impact prédictif des fonctions par rapport à l'importance de la dérive

  

  Dans cette capture d'écran, vous pouvez voir que la fonctionnalité GLOBAL_INTENSITY a l'impact maximal sur le modèle prédictif sélectionné GLM_8959AF817 par rapport aux autres fonctionnalités : SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE et SUB-METERING_1.