ML-Überwachung
Erfahren Sie mehr über ML-Überwachung in Data Science.
Mit Data Science ML Monitoring können Sie:
- Lesen Sie Daten aus Object Storage mit den integrierten Data Lesern.
- Erweitern Sie die Library, um einen Data Reader zu erstellen.
- Transformieren Sie Daten mit bedingten Funktionen, um den Daten mehr Tiefe zu verleihen.
Wenn Sie keine Codeerweiterung hinzufügen möchten, verwenden Sie das vom Service verwaltete Angebot des ML-Monitoringanwendungscontainers, der in einem ML-Job ausgeführt wird. Erweitern Sie andernfalls den Code des ML Insights Library SDK, um einen benutzerdefinierten Reader, Metriken oder einen Postprozessor hinzuzufügen.
ML-Insights
Mit ML Insights können Sie die Daten schnell auswerten, um sich für die ML-Monitoring-Anwendungsfälle zu entscheiden. Sie können einen Langzeitüberwachungsprozess einrichten, um Modelle und Daten kontinuierlich auszuwerten.
Konfigurierbare Metriken für Monitoring:
- Datenintegrität
- Datenqualität oder -zusammenfassung
- Erkennung von Feature- und Vorhersageabweichungen
- Modellperformance für Klassifizierungs- und Regressionsmodelle
- Benutzerdefinierte Metriken
- Bedingte Eigenschaften und Transformatoren
- Datenleser
- Nachverarbeitung
- Tests und Testsuites
ML-Überwachungsanwendung
Die ML-Monitoringanwendung ist ein serviceverwalteter Container, in dem die ML Insights-Library in einem ML-Job ausgeführt wird. Geben Sie die Monitoringkonfiguration als einmaliges Setup an, und führen Sie sie mehrmals mit ML-Joblauf aus. Ausführungen können ebenfalls geplant werden.
- Es ist in ML Jobs integriert.
- Es verwendet eine ML Insights-Konfigurationsdatei als Eingabe.
- Sie kann als Baseline (mit Gold- oder Trainingsdaten), als Vorhersage (mit bereitgestellten oder Inferenzdaten) oder als Validierung ausgeführt werden.
- (Optional) Er kann Daten für einen bestimmten Datumsbereich bearbeiten.
- Sie gibt Profile aus, die Metriken aus den Daten enthalten.