8 Erste Schritte mit Modellüberwachung

Mit der Modellüberwachung können Sie die Qualität der Modellvorhersagen im Laufe der Zeit überwachen und erhalten Einblicke in die Ursachen von Problemen mit der Modellqualität.

Auf der Seite "Modellüberwachung" können Sie Modellüberwachungen und -ergebnisse erstellen, ausführen und verfolgen. Auf dieser Seite werden die Modellüberwachungen aufgeführt. Sie können eine Vorschau der Modellabweichung anzeigen, indem Sie einen einzelnen relevanten Modellmonitor auswählen, wie im folgenden Screenshot gezeigt. In diesem Screenshot ist der Monitor Power Consumption ausgewählt. Im unteren Bereich der Seite "Modellmonitore" wird die Modellabweichung für den ausgewählten Monitor angezeigt. Die X-Achse zeigt den Analysezeitraum, und die Y-Achse zeigt die Modellabweichungswerte. Die horizontale rote gestrichelte Linie ist der Schwellenwert. Die Linie zeigt den Abweichungswert für jeden Zeitpunkt der Analyseperiode an. Bewegen Sie den Mauszeiger über die Linie, um die Abweichungswerte anzuzeigen.

Abbildung 8-1 Seite "Modellmonitore"

Sie können die folgenden Aufgaben auf der Seite "Modellmonitore" ausführen:

• Erstellen: Erstellen Sie einen Modellmonitor.
• Bearbeiten: Wählen Sie einen Modellmonitor aus, und klicken Sie auf Bearbeiten, um den Monitor zu bearbeiten.
• Duplizieren: Wählen Sie einen Modellmonitor aus, und klicken Sie auf Duplizieren, um eine Kopie des Monitors zu erstellen.
• Löschen: Wählen Sie einen Modellmonitor aus, und klicken Sie auf Löschen, um den Modellmonitor zu löschen.
• Historie: Wählen Sie einen Modellmonitor aus, und klicken Sie auf Historie, um die Laufzeitdetails des Modellmonitors anzuzeigen. Wenn mit dem Modellmonitor ein Datenmonitorjob verknüpft ist, werden die Laufzeitdetails des Datenmonitors im unteren Bereich angezeigt. Klicken Sie auf Zurück zu Monitoren, um zur Seite Modellüberwachung zurückzukehren.
• Starten: Starten Sie einen Modellmonitor.
• Stoppen: Stoppen Sie einen ausgeführten Modellmonitor.
• Weitere Informationen: Wählen Sie einen Modellmonitor aus, klicken Sie auf Weitere Informationen, und klicken Sie dann auf:
  • Aktivieren: Aktivieren Sie einen Modellüberwachungsplan. Standardmäßig ist der Modellmonitor aktiviert. Der Status wird als SCHEDULED. angezeigt.
  • Deaktivieren: Deaktivieren Sie einen Modellüberwachungsplan. Der Status wird als DISABLED. angezeigt.
  • Verwaltete Monitore anzeigen: Klicken Sie auf diese Option, um die von der OML Services-REST-API erstellten und verwalteten Modelle anzuzeigen.

Auf der Seite {\b Model Monitors} werden die folgenden Informationen zu den Modellmonitoren angezeigt:

• Name: Dies ist der Name des Modellmonitors.
• Datenmonitor: Das Häkchen in dieser Spalte gibt an, dass ein Datenmonitorjob mit dem Modellmonitor verknüpft ist. Klicken Sie auf die drei Punkte, um Folgendes anzuzeigen:

  Abbildung 8-2 Ergebnisse und Einstellungen von Data Monitor anzeigen

  
  • Ergebnisse: Zeigt die Datenüberwachungsergebnisse an, die vom Datenüberwachungsjob berechnet werden. Der Datenmonitorname wird zusammen mit dem Präfix OML automatisch generiert. Die Datenabweichung und die überwachten Features sowie die berechneten Statistiken werden im schreibgeschützten Modus auf einer separaten Seite angezeigt. Klicken Sie oben links auf Monitore, um zur Seite "Modellmonitore" zurückzukehren. Klicken Sie oben rechts auf Details, um die Einstellungen des Datenmonitors anzuzeigen.

    Abbildung 8-3: Ergebnisse des Datenmonitors

    
  • Einstellungen: Zeigt die Datenmonitoreinstellungen, zusätzliche Einstellungen und die überwachten Features im schreibgeschützten Modus an. Klicken Sie oben rechts auf der Seite auf Zurück, um zur Seite "Modellmonitore" zurückzukehren.

    Abbildung 8-4: Data Monitor-Einstellungen

    
• Basisplandaten: Dies ist eine Tabelle oder View, die zu überwachende Basisplandaten enthält.
• Neue Daten: Dies ist eine Tabelle oder View mit neuen Daten, die mit den Baseline-Daten verglichen werden sollen.
• Letztes Startdatum: Dies ist das Datum, an dem der Modellmonitor zuletzt gestartet wurde.
• Letzter Status: Dies ist der aktuelle Status des Modellmonitors. Die Statusarten sind ERFOLGREICH, FEHLGESCHLAGEN, Laufen, Geplant.
• Nächstes Ausführungsdatum: Dies ist das Datum, an dem die nächste Ausführung geplant wird.
• Status: Dies ist der aktuelle Status des Modellmonitors.
• Zeitplan: Dies ist die Häufigkeit des Überwachungsjobs, d.h. wie oft der Modellmonitor für die Ausführung mit den neuen Daten festgelegt ist.

• Modellmonitor erstellen
  Mit einem Modellmonitor können Sie mehrere kompatible Modelle überwachen und das Modellabweichungsdiagramm berechnen. Kompatible Modelle beziehen sich auf Modelle, die auf demselben Ziel und derselben Mining-Funktion trainiert werden. Das Modellabweichungsdiagramm besteht aus mehreren Reihen von Datenabweichungspunkten, einem für jedes überwachte Modell.
• Modellüberwachungsergebnisse anzeigen
  Auf der Seite "Modellüberwachungsergebnisse" werden die Überwachungsergebnisse jedes überwachten Modells angezeigt. Wenn Sie auf ein erfolgreich ausgeführtes Modell klicken, können Sie die detaillierte Analyse jedes Modells anzeigen, z.B. Modellabweichung, Modellmetriken, Vorhersagestatistiken, Funktionsauswirkung, Vorhersageverteilung und Wichtigkeit von Vorhersage und Abweichung für jedes Feature. Die Vorhersageauswirkung im Vergleich zur Abweichungswichtigkeit für jedes überwachte Feature wird nur berechnet, wenn die Datenüberwachung aktiviert ist.
• Modellhistorie anzeigen
  Auf der Seite "Historie" werden die Laufzeitdetails der Modellüberwachungen angezeigt.