8.1 Modellüberwachung erstellen

Mit einem Modellmonitor können Sie mehrere kompatible Modelle überwachen und das Modellabweichungsdiagramm berechnen. Kompatible Modelle beziehen sich auf Modelle, die auf demselben Ziel und derselben Mining-Funktion trainiert werden. Das Modellabweichungsdiagramm besteht aus mehreren Reihen von Datenabweichungspunkten, einem für jedes überwachte Modell.

Ein Modellmonitor kann optional Daten überwachen, um zusätzliche Einblicke zu erhalten. Diese zusätzliche Erkenntnis ist das Diagramm "Wichtigkeit der Abweichungsfunktion im Vergleich zur Auswirkung der Vorhersagefunktion", das generiert wird, wenn Sie beim Erstellen des Modellmonitors die Option "Daten überwachen" auswählen.

In diesem Thema wird beschrieben, wie Sie einen Modellmonitor erstellen. Im Beispiel wird das Dataset Einzelner Haushaltsstromverbrauch verwendet, das verschiedene Verbrauchsmetriken eines Haushalts von 2007 bis 2010 enthält. Ziel ist es zu verstehen, ob und wie sich der Verbrauch im Haushalt über vier Jahre verändert hat. Das Beispiel zeigt, wie die Auswirkungen von Datenabweichungen auf die Vorhersagegenauigkeit des Modells verfolgt werden.

Das Dataset umfasst die folgenden Spalten:

• DATE_TIME: Enthält die datums- und zeitbezogenen Informationen im Format dd:mm:yyyy:hh:mm:ss.
• GLOBAL_ACTIVE_POWER - Dies ist die globale, minutendurchschnittliche aktive Leistung (in Kilowatt).
• GLOBAL_REACTIVE_POWER - Dies ist die globale minutendurchschnittliche Blindleistung (in Kilowatt).
• VOLTAGE - Dies ist die Minute-durchschnittliche Spannung (in Volt).
• GLOBAL_INTENSITY - Dies ist die globale minutendurchschnittliche aktuelle Intensität (in Ampere).
• SUB_METERING_1 - Dies ist die Energiesubmessung Nr. 1 (in Wattstunde aktiver Energie). Es entspricht der Küche.
• SUB_METERING_2 - Dies ist die Energiesubmessung Nr. 2 (in Wattstunde aktiver Energie). Es entspricht der Waschküche.
• SUB_METERING_3 - Dies ist die Energiesubmessung Nr. 2 (in Wattstunde aktiver Energie). Es entspricht einem elektrischen Warmwasserbereiter und einer Klimaanlage.

So erstellen Sie einen Modellmonitor:

1. Blenden Sie im linken Navigationsmenü der Oracle Machine Learning-UI die Option Monitoring ein, und klicken Sie auf Modelle, um die Seite "Modellüberwachung" zu öffnen. Alternativ können Sie auf das Symbol "Modellüberwachung" klicken, um die Seite "Modellüberwachung" zu öffnen.
2. Klicken Sie auf der Seite "Modellüberwachung" auf Erstellen, um die Seite "Neues Modellmonitor" zu öffnen.
3. Geben Sie auf der Seite "Monitor für neues Modell" folgende Details ein:

   Abbildung 8-5 Seite "Neuer Modellmonitor"

   
   1. Monitorname: Geben Sie einen Namen für den Modellmonitor ein. Hier wird der Name "Power Consumption" verwendet.
   2. Bemerkung: Geben Sie Kommentare ein. Dies ist ein optionales Feld.
   3. Basisplandaten: Dies ist eine Tabelle oder View, die zu überwachende Basisplandaten enthält. Klicken Sie auf das Suchsymbol, um das Dialogfeld Tabelle auswählen zu öffnen. Wählen Sie ein Schema und dann eine Tabelle aus. Hier wird die Tabelle mit den Daten für das Jahr 2007 ausgewählt.
   4. Neue Daten: Dies ist eine Tabelle oder View mit neuen Daten, die mit den Baseline-Daten verglichen werden sollen. Klicken Sie auf das Suchsymbol, um das Dialogfeld Tabelle auswählen zu öffnen. Wählen Sie ein Schema und dann eine Tabelle aus. Hier wird die Tabelle mit den Daten für das Jahr 2010 ausgewählt.
   5. Fall-ID: Dies ist ein optionales Feld. Geben Sie eine Fall-ID für die Baseline und neue Daten ein, um die Wiederholbarkeit der Ergebnisse zu verbessern.
   6. Zeitspalte: Dies ist der Name einer Spalte, die Zeitinformationen in der Tabelle oder View "Neue Daten" speichert. Die Spalte DATE_TIME wird aus der Dropdown-Liste ausgewählt.

      Hinweis:

      Wenn die Zeitspalte leer ist, werden die gesamten neuen Daten als eine Periode behandelt.

   7. Analysezeitraum: Dies ist der Zeitraum, für den die Modellüberwachung für die neuen Daten ausgeführt wird. Wählen Sie den Analysezeitraum für die Modellüberwachung aus. Die Optionen sind Day, Week, Month, Year.
   8. Startdatum: Dies ist das Startdatum Ihres Modellüberwachungsplans. Wenn Sie kein Startdatum angeben, wird das aktuelle Datum als Startdatum verwendet.
   9. Wiederholen: Dieser Wert definiert, wie oft die Modellmonitorausführung für die definierte Häufigkeit wiederholt wird. Geben Sie eine Zahl zwischen 1 und 99 ein. Beispiel: Wenn Sie 2 in das Feld Wiederholen und Minuten in das Feld Häufigkeit eingeben, wird der Modellmonitor alle 2 Minuten ausgeführt.
   10. Häufigkeit: Dieser Wert bestimmt, wie häufig die Modellmonitorausführung für die neuen Daten ausgeführt wird. Wählen Sie eine Häufigkeit für die Modellüberwachung aus. Die Optionen sind Minuten, Stunden, Tage, Wochen, Monate. Beispiel: Wenn Sie Minutes im Feld Häufigkeit, 2 im Feld Wiederholung und 5/30/23 im Feld Startdatum auswählen, wird der Modellmonitor gemäß dem Zeitplan alle 2 Minuten von 5/30/23 ausgeführt.
   11. Mining-Funktion: Die verfügbaren Mining-Funktionen sind Regression und Classification. Wählen Sie eine Funktion aus. In diesem Beispiel ist Regression ausgewählt.
   12. Ziel: Wählen Sie ein Attribut aus der Dropdown-Liste. In diesem Beispiel wird GLOBAL_ACTIVE_POWER als Ziel für Regressionsmodelle verwendet.
   13. Neu berechnen: Wählen Sie diese Option aus, um die bereits berechneten Perioden zu aktualisieren. Dies bedeutet, dass nur Zeiträume berechnet werden, die nicht in der Ausgabeergebnistabelle vorhanden sind. Standardmäßig ist "Neu berechnen" deaktiviert.
       • Wenn diese Option aktiviert ist, wird die Abweichungsanalyse für den im Feld "Startdatum" angegebenen Zeitraum und die Endzeit ausgeführt. Die Analyse überschreibt die bereits vorhandenen Ergebnisse für den angegebenen Zeitraum. Dies bedeutet, dass die Analyse für den Zeitraum mit anderen neuen Daten als den aktuellen Daten berechnet wird.
       • Wenn diese Option deaktiviert ist, werden die Daten für den Zeitraum, der in der Ergebnistabelle vorhanden ist, unverändert beibehalten. Für die Analyse werden nur die neuen Daten für den letzten Zeitraum berücksichtigt. Die Ergebnisse werden der Ergebnistabelle hinzugefügt.
   14. Daten überwachen: Wählen Sie diese Option aus, um die Datenüberwachung für die angegebenen Daten zu aktivieren. Wenn diese Option aktiviert ist, wird ein Datenmonitor zusammen mit dem Modellmonitor erstellt, um die Auswirkung des Vorhersagefeatures im Vergleich zum Abweichungsfeature in den modellspezifischen Ergebnissen zu berechnen.
4. Klicken Sie auf Zusätzliche Einstellungen, um diesen Abschnitt einzublenden und erweiterte Einstellungen für den Modellmonitor bereitzustellen:

   Abbildung 8-6 Abschnitt "Zusätzliche Einstellungen" auf der Seite "Neues Modell überwachen"

   
   1. Metrik: Je nachdem, welche Mining-Funktion im Feld Mining-Funktion auf der Seite "Modellüberwachung erstellen" ausgewählt wurde, werden die entsprechenden Metriken aufgeführt. Klicken Sie auf die Dropdown-Liste, um eine Metrik auszuwählen.
      Für die Mining-Funktion "Klassifizierung" lauten die Metriken:

      • Genauigkeit - Berechnet den Anteil der Fälle korrekt klassifiziert - sowohl positiv als auch negativ. Beispiel: Wenn insgesamt TP (True Positives) + TN (True Negatives) korrekt klassifizierte Fälle von TP + TN + FP + FN (True Positives+True Negatives+False Positives+False Negatives) vorliegen, lautet die Formel:

        Accuracy = (TP+TN)/(TP+TN+FP+FN)

      • Ausgewogene Genauigkeit - Bewertet, wie gut ein binärer Klassifikator ist. Es ist besonders nützlich, wenn die Klassen unausgewogen sind, das heißt, wenn eine der beiden Klassen viel häufiger auftritt als die andere. Dies geschieht oft in vielen Einstellungen wie Anomalieerkennung usw.
      • ROC AUC (Area under the ROC Curve) - Bietet ein aggregiertes Maß für Diskriminierung unabhängig von der Entscheidungsschwelle. AUC - ROC Kurve ist eine Leistungsmessung für die Klassifikationsprobleme bei verschiedenen Schwellwerteinstellungen.
      • Rückruf - Berechnet den Anteil der tatsächlichen Positiven, die korrekt klassifiziert sind.
      • Genauigkeit - Berechnet den Anteil der vorhergesagten positiven Ergebnisse, der wahr positiv ist.
      • F1 Score - Kombiniert Genauigkeit und Rückruf in einer einzelnen Zahl. F1-Wert wird mit dem durch die Formel berechneten harmonischen Mittel berechnet:

        F1-score = 2 × (precision × recall)/(precision + recall)

      Für die Klassifizierung mehrerer Klassen lauten die Metriken:

      • Genauigkeit
      • Ausgewogene Genauigkeit
      • Macro_F1
      • Macro_Precision
      • Macro_Recall
      • Weighted_F1
      • Weighted_Precision
      • Weighted_Recall
      Für Regression sind die Metriken:

      • R2: Eine statistische Kennzahl, die berechnet, wie nah die Daten an der angepassten Regressionslinie sind. Im Allgemeinen, je höher der Wert von R-Quadrat, desto besser passt das Modell zu Ihren Daten. Der Wert von R2 liegt immer zwischen 0 und 1, wobei:
        • 0 gibt an, dass das Modell keine Variabilität der Antwortdaten um den Mittelwert erklärt.
        • 1 gibt an, dass das Modell die gesamte Variabilität der Antwortdaten um den Mittelwert erklärt.
      • Mittlerer quadratischer Fehler - Dies ist der Mittelwert der quadratischen Differenz von prognostizierten und wahren Zielen.
      • Mittelwert des absoluten Unterschieds von prognostizierten und wahren Zielen.
      • Median absoluter Fehler - Dies ist der Median der absoluten Differenz zwischen prognostizierten und echten Zielen.
   2. Abweichungsschwellenwert: Die Abweichung erfasst die relative Performanceänderung zwischen den Baseline-Daten und dem neuen Datenzeitraum. Legen Sie basierend auf Ihrem spezifischen Problem mit maschinellem Lernen den Schwellenwert für die Modellabweichungserkennung fest. Der Standardwert ist 0.7.
      • Eine Abweichung über diesem Schwellenwert weist auf eine signifikante Änderung der Modellvorhersagen hin. Wenn Sie den Schwellenwert überschreiten, ist möglicherweise ein erneutes Erstellen und erneutes Deployment des Modells erforderlich.
      • Eine Abweichung unter diesem Schwellenwert deutet darauf hin, dass die Daten nicht ausreichend geändert werden, um weitere Untersuchungen oder Maßnahmen zu rechtfertigen.
   3. Datenbankservicegrad: Dies ist der Servicegrad für den Job, der LOW, MEDIUM oder HIGH sein kann.
   4. Analysefilter: Aktivieren Sie diese Option, wenn die Modellüberwachungsanalyse für einen bestimmten Zeitraum erfolgen soll. Verschieben Sie den Schieberegler nach rechts, um ihn zu aktivieren, und wählen Sie dann in den Feldern Von Datum bzw. Bis Datum ein Datum aus. Dieses Feld ist standardmäßig deaktiviert.
      • Von Datum: Dies ist das Startdatum oder der Zeitstempel der Überwachung in "Neue Daten". Es wird davon ausgegangen, dass eine Zeitspalte in der Tabelle vorhanden ist. Dies ist ein Pflichtfeld, wenn Sie die Option "Analysefilter" verwenden.
      • Bis Datum: Dies ist das Enddatum oder der Zeitstempel der Überwachung in den neuen Daten. Es wird davon ausgegangen, dass eine Zeitspalte in der Tabelle vorhanden ist. Dies ist ein Pflichtfeld, wenn Sie die Option "Analysefilter" verwenden.
   5. Maximale Anzahl Ausführungen: Dies ist die maximale Anzahl der Ausführungen des Modellmonitors gemäß diesem Zeitplan. Der Standard ist 3.
5. Wählen Sie im Abschnitt Modelle das zu überwachende Modell aus, und klicken Sie oben rechts auf der Seite auf Speichern. Nachdem Sie einen Wert in den Feldern Mining-Funktion und Ziel angegeben haben, wird die Liste der bereitgestellten Modelle abgerufen und hier im Abschnitt "Modelle" angezeigt. Modelle werden auf der Seite "Modelle" oder über die Rangliste AutoML bereitgestellt. Sie können die vollständige Liste der bereitgestellten Modelle auf der Registerkarte "Deployments" auf der Seite "Modelle" anzeigen. Die bereitgestellten Modelle werden von OML Services verwaltet.

   Hinweis:

   Wenn Sie Modelle löschen, müssen Sie die Modelle erneut bereitstellen. Modelle sind keine schemabasierten Modelle, sondern Modelle, die in OML Services bereitgestellt werden.

   Abbildung 8-7 Abschnitt "Modelle" auf der Seite "Neues Modell überwachen"

   
   Nachdem der Modellmonitor erfolgreich erstellt wurde, wird die folgende Meldung angezeigt: Model monitor has been created successfully.

   Hinweis:

   Sie müssen jetzt zur Seite "Modellüberwachung" gehen, den Modellmonitor auswählen und auf Starten klicken, um mit der Modellüberwachung zu beginnen.