8.2 Modellüberwachungsergebnisse anzeigen

Auf der Seite {\b Model Monitor Results} werden die Überwachungsergebnisse jedes überwachten Modells angezeigt. Wenn Sie auf ein erfolgreich ausgeführtes Modell klicken, können Sie die detaillierte Analyse jedes Modells anzeigen, z.B. Modellabweichung, Modellmetriken, Vorhersagestatistiken, Funktionsauswirkung, Vorhersageverteilung und Wichtigkeit von Vorhersage und Abweichung für jedes Feature. Die Vorhersageauswirkung im Vergleich zur Abweichungswichtigkeit für jedes überwachte Feature wird nur berechnet, wenn die Datenüberwachung aktiviert ist.

1 Model Monitor - Ergebnisse (Seite)

Auf der Seite {\b Model Monitor Results} werden alle vom Monitor überwachten Modelle aufgeführt. Der Name des Monitors wird am Anfang der Seite angezeigt. Wie in diesem Screenshot zu sehen, wird oben der Monitorname Power Consumption angezeigt. Die vom Monitor Energieverbrauch überwachten Modelle GLM_8959AF817, GLMR_0E58D990CD und NN_4C90CF9FB8 werden im Abschnitt "Modelle" aufgeführt. Standardmäßig werden die Details aller überwachten Modelle angezeigt. Sie können die Details eines Monitors nach dem anderen anzeigen, indem Sie die Auswahl der anderen Monitore aufheben.

Abbildung 8-8: Seite "Modellüberwachungsergebnisse"

Die Seite {\b Model Monitor Results} umfasst folgende Abschnitte:

• Einstellungen: Im Abschnitt "Einstellungen" werden die Modellmonitoreinstellungen angezeigt. Klicken Sie auf den Pfeil unter Einstellungen, um diesen Abschnitt einzublenden. Sie können die Modellmonitoreinstellungen bearbeiten, indem Sie oben rechts auf der Seite auf Bearbeiten klicken.

  Abbildung 8-9: Einstellungen des Modellmonitors

  
• Modelle - Im Abschnitt "Modelle" werden alle Modelle aufgeführt, die vom Monitor überwacht werden. In diesem Beispiel werden die vom Monitor Energieverbrauch überwachten Modelle GLM_8959AF817, GLMR_0E58D990CD und NN_4C90CF9FB8 aufgeführt.

  Abbildung 8-10 Modelle auf der Seite "Ergebnisse der Modellüberwachung"

  

  Sie können die Ergebnisse eines oder mehrerer überwachter Modelle anzeigen und vergleichen, indem Sie die auszuschließenden Modelle deaktivieren. Sie können auch die Ergebnisse der einzelnen Features des Modells anzeigen, indem Sie auf das Modell klicken. Diese Ergebnisse - Diagramm "Featureauswirkung", Diagramm "Vorhersagenverteilung" und Diagramm "Vorhersagenauswirkung versus Abweichungsbedeutung" werden in einem separaten Fensterbereich angezeigt, der eingeblendet wird. Das Diagramm "Vorhersagbare Auswirkung ggü. Abweichungsbedeutung" wird nur berechnet, wenn beim Erstellen des Modellmonitors die Option Daten überwachen ausgewählt wurde.

• Modellabweichung - Der Abschnitt "Modellabweichung" wird direkt unter dem Abschnitt "Modelle" angezeigt. Die Modellabweichung ist die prozentuale Änderung der Performancekennzahl zwischen der Baselineperiode und der neuen Periode. Ein negativer Wert gibt an, dass die neue Periode eine bessere Leistungsmetrik aufweist, die aufgrund von Rauschen auftreten könnte.

  Die X-Achse zeigt den Analysezeitraum, und die Y-Achse zeigt die Abweichungswerte. Die horizontale gepunktete Linie stellt die Driftschwellenwerteinstellungen dar, die jeder Monitor standardmäßig erhält. Der Standardwert deckt den typischen Anwendungsfall ab. Sie können sie jedoch je nach Anwendungsfall anpassen. Die Linie zeigt den Abweichungswert für jeden Zeitpunkt der Analyseperiode an. Bewegen Sie den Mauszeiger über die Linie, um die Abweichungswerte anzuzeigen. Eine Abweichung über dem Schwellenwert weist auf eine signifikante Änderung der Modellvorhersagen hin. Wenn Sie den Schwellenwert überschreiten, ist möglicherweise ein erneutes Erstellen und erneutes Deployment des Modells erforderlich. Wenn die Abweichung unter dem Schwellenwert liegt, weist dies darauf hin, dass die Daten nicht ausreichend geändert werden, um weitere Untersuchungen oder Maßnahmen zu rechtfertigen. Das heißt, möglicherweise ein Modell für maschinelles Lernen mit diesen Daten neu erstellen.

  Abbildung 8-11 Modellabweichung auf der Seite "Ergebnisse der Modellüberwachung"

  

  Wenn Sie die Abweichungsdetails eines Modells nacheinander anzeigen möchten, klicken Sie auf den Modellnamen auf der rechten Seite, um es auszuwählen oder die Auswahl aufzuheben, wie hier gezeigt.

• Metrik - In diesem Abschnitt "Metrik" werden die berechneten Metriken für die ausgewählten Modelle angezeigt. Die berechnete Metrik wird entlang der y-Achse dargestellt, und der Zeitraum wird entlang der x-Achse dargestellt. In diesem Beispiel wird die Metrik R2 oder R-squared für alle drei Modelle angezeigt. Bewegen Sie den Cursor auf andere Punkte in der Linie, um die Details der berechneten Metrik anzuzeigen. Der Wert von R2 für alle Modelle ist gleich 1. Hier beträgt der Wert von R2 für alle drei überwachten Modelle 1. Dies deutet darauf hin, dass alle drei Modelle gut zu den Daten passen

  Abbildung 8-12 Metrik

  
  Die berechneten Metriken für die Regression lauten:

  • R2: Eine statistische Kennzahl, die berechnet, wie nah die Daten an der angepassten Regressionslinie sind. Im Allgemeinen, je höher der Wert von R-Quadrat, desto besser passt das Modell zu Ihren Daten. Der Wert von R2 liegt immer zwischen 0 und 1, wobei:
    • 0 gibt an, dass das Modell keine Variabilität der Antwortdaten um den Mittelwert erklärt.
    • 1 gibt an, dass das Modell die gesamte Variabilität der Antwortdaten um den Mittelwert erklärt.
  • Mittlerer quadratischer Fehler - Dies ist der Mittelwert der quadratischen Differenz von prognostizierten und wahren Zielen.
  • Mittelwert des absoluten Unterschieds von prognostizierten und wahren Zielen.
  • Median absoluter Fehler - Dies ist der Median der absoluten Differenz zwischen prognostizierten und echten Zielen.
  Die berechneten Metriken für die Binärklassifizierung lauten:

  • Genauigkeit - Berechnet den Anteil der Fälle korrekt klassifiziert - sowohl positiv als auch negativ. Beispiel: Wenn insgesamt TP (True Positives) + TN (True Negatives) korrekt klassifizierte Fälle von TP + TN + FP + FN (True Positives+True Negatives+False Positives+False Negatives) vorliegen, lautet die Formel:

    Accuracy = (TP+TN)/(TP+TN+FP+FN)

  • Ausgewogene Genauigkeit - Bewertet, wie gut ein binärer Klassifikator ist. Es ist besonders nützlich, wenn die Klassen unausgewogen sind, das heißt, wenn eine der beiden Klassen viel häufiger auftritt als die andere. Dies geschieht oft in vielen Einstellungen wie Anomalieerkennung usw.
  • ROC AUC (Area under the ROC Curve) - Bietet ein aggregiertes Maß für Diskriminierung unabhängig von der Entscheidungsschwelle. AUC - ROC Kurve ist eine Leistungsmessung für die Klassifikationsprobleme bei verschiedenen Schwellwerteinstellungen.
  • Rückruf - Berechnet den Anteil der tatsächlichen Positiven, die korrekt klassifiziert sind.
  • Genauigkeit - Berechnet den Anteil der vorhergesagten positiven Ergebnisse, der wahr positiv ist.
  • F1 Score - Kombiniert Genauigkeit und Rückruf in einer einzelnen Zahl. F1-Wert wird mit dem durch die Formel berechneten harmonischen Mittel berechnet:

    F1-score = 2 × (precision × recall)/(precision + recall)

  Die berechneten Metriken für die Mehrklassige Klassifizierung lauten:

  • Genauigkeit
  • Ausgewogene Genauigkeit
  • Macro_F1
  • Macro_Precision
  • Macro_Recall
  • Weighted_F1
  • Weighted_Precision
  • Weighted_Recall
• Vorhersagestatistiken - Scrollen Sie weiter nach unten, um den Abschnitt Vorhersagestatistiken anzuzeigen. Die berechnete Vorhersagestatistik wird entlang der y-Achse dargestellt, und der Zeitraum wird entlang der x-Achse dargestellt. In diesem Screenshot wird der Bevölkerungsstabilitätsindex für das generalisierte lineare Modell - Regressionsmodell GLMR_0E58D990CD für 30.10.10 angezeigt. Bewegen Sie den Cursor auf andere Punkte in der Linie, um die berechnete Metrik anzuzeigen.

  Abbildung 8-13: Vorhersagestatistiken

  

  Klicken Sie auf die Dropdown-Liste, um alle Vorhersagestatistiken anzuzeigen. Die Statistiken der Vorhersagen des Modells variieren je nach Modelltyp.

  Für Regression lauten die berechneten Vorhersagestatistiken:

  • Population Stability Index - Dies ist ein Maß dafür, wie viel eine Population im Laufe der Zeit oder zwischen zwei verschiedenen Stichproben einer Population in einer einzigen Zahl verschoben hat. Die beiden Verteilungen werden in Buckets eingeteilt, und PSI vergleicht die Prozentsätze der Artikel in jedem Bucket. PSI wird berechnet als

    PSI = sum((Actual_% - Expected_%) x ln (Actual_% / Expected_%))

    Die Interpretation des PSI-Wertes lautet:

    • PSI < 0.1 impliziert keine signifikante Bevölkerungsänderung
    • 0.1 <= PSI < 0.2 impliziert einen moderaten Bevölkerungswechsel
    • PSI >= 0.2 impliziert einen signifikanten Bevölkerungswechsel
  • Min - Dies ist der niedrigste Wert der berechneten Statistiken für den Analysezeitraum.
  • Mittelwert - Dies ist der Durchschnittswert der berechneten Statistiken für den Analysezeitraum.
  • Max - Dies ist der höchste Wert der berechneten Statistiken für den Analysezeitraum.
  • Standardabweichung - Dieser Wert zeigt an, wie viel Abweichung vom Mittelwert vorhanden ist.
  Für Binäre Klassifizierung lauten die berechneten Vorhersagestatistiken:

  • Bevölkerungsstabilitätsindex
  • Mittel
  • Min
  • Max
  • Standardabweichung
  • Lagerplatzverteilung von Vorhersagewahrscheinlichkeiten
  • Klassenkontierung
  Für die Mehrklassige Klassifizierung lauten die berechneten Vorhersagestatistiken:

  • Bevölkerungsstabilitätsindex
  • Klassenkontierung

2. Modellmonitordetails

Sie können die Details der einzelnen Features des Modells anzeigen, indem Sie auf den Modellnamen klicken. Zu diesen Details gehören das Diagramm "Featureauswirkung", die Vorhersageverteilung und das Diagramm "Vorhersageauswirkung ggü. Abweichungsbedeutung". In diesem Beispiel ist das Modell GLM_8959AF817 ausgewählt.

Abbildung 8-14 Modellauswahl für Details

Die berechneten Ergebnisse werden in einem separaten Bereich angezeigt, der eingeblendet wird. Sie können bis zu 3 Analyseperiodenvergleiche auswählen. Sie haben auch die Möglichkeit, die Basisplandetails auszublenden oder anzuzeigen. Die berechneten Details der Modellfeatures lauten:

• Featureauswirkung - Das Diagramm "Featureauswirkung" berechnet die Auswirkungen jedes Features im Modell für die angegebene Zeit. Das Diagramm bietet Ihnen auch die Möglichkeit, die Funktionsauswirkung auf einer linearen Skala sowie auf einer logarithmischen Skala anzuzeigen. Zeigen Sie mit der Maus auf das Diagramm, um die Details "Feature Name", "Date" und "Feature Impact" anzuzeigen.
  • Klicken Sie auf Logskala, um die Berechnung der Funktionsauswirkung auf einer logarithmischen Skala anzuzeigen.
  • Klicken Sie auf , um die Berechnung der Featureauswirkung in einem Liniendiagramm anzuzeigen.
  • Klicken Sie auf , um die Berechnung der Featureauswirkungen in einer Tabelle anzuzeigen.
  • Klicken Sie auf die Dropdown-Liste Die effektivsten Features begrenzen auf, um einen Wert auszuwählen.

  Abbildung 8-15 Anzeige der Funktionsauswirkung auf einer Linerskala

  

  In diesem Screenshot wird die Funktion GLOBAL_INTENSITY, d.h. die globale minutendurchschnittliche Stromintensität des Haushaltsstromverbrauchs, im Vergleich zu den anderen Funktionen gesehen, um die maximale Auswirkung auf das Modell GLM_8959AF817 zu haben. Klicken Sie auf Logskala, um die Berechnung der Funktionsauswirkung auf einer logarithmischen Skala anzuzeigen, wie im folgenden Screenshot gezeigt. Klicken Sie zum Beenden auf X in der oberen rechten Ecke des Fensters.

  Abbildung 8-16 Funktionsauswirkung auf einer logarithmischen Skala anzeigen

  
• Vorhersageverteilung - Scrollen Sie nach unten, um die Vorhersageverteilung anzuzeigen. Die Vorhersageverteilung wird für jeden Analysezeitraum dargestellt. Wenn diese Option ausgewählt ist, werden die Baseline-Daten angezeigt. Die Bins sind entlang der X-Achse gezeichnet und die Werte entlang der Y-Achse. Zeigen Sie mit der Maus auf jedes Histogramm, um die berechneten Details anzuzeigen. Klicken Sie zum Beenden auf X in der oberen rechten Ecke des Fensters.

  Abbildung 8-17: Vorhersageverteilung

  
• Predictive Impact vs. Drift Importance - Scrollen Sie im Bereich weiter nach unten, um das Diagramm "Prediction Impact vs Drift Importance" anzuzeigen. Dieses Diagramm hilft zu verstehen, wie sich die wirkungsvollsten Funktionen im Laufe der Zeit verändern. Die Bedeutung der Driftfunktion wird entlang der Y-Achse dargestellt, und die Auswirkung der Vorhersagefunktion wird entlang der X-Achse dargestellt. Klicken Sie zum Beenden auf X in der oberen rechten Ecke des Fensters.

  Hinweis:

  Das Diagramm "Vorhersageauswirkung ggü. Abweichungsbedeutung" wird nur berechnet, wenn Sie beim Erstellen des Modellmonitors die Option Daten überwachen auswählen.

  Abbildung 8-18: Vorhersagefeatureauswirkung im Vergleich zur Abweichungsbedeutung

  

  In diesem Screenshot sehen Sie, dass das Feature GLOBAL_INTENSITY die maximale Auswirkung auf das ausgewählte Vorhersagemodell GLM_8959AF817 im Vergleich zu den anderen Features - SUB_METERING_3, GLOBAL_REACTIVE_POWER, VOLTAGE und SUB-METERING_1 - hat.