Oracle Cloud Infrastructure - Dokumentation

Modell-Deployment-Metriken

Erfahren Sie, wie Sie Metriken für Modell-Deployments verwenden.

Metriken sind automatisch für alle Data Science-Modellbereitstellungen verfügbar, die Sie im Namespace oci_datascience_modeldeploy erstellen. Sie müssen kein Monitoring für OCI-Ressourcen aktivieren, um diese Metriken abzurufen.

Metriken zu Data Science-Modell-Deployments umfassen die folgenden Dimensionen:

resourceId

Die OCID des Modell-Deployments.

statusCode

Der HTTP-Antwortstatuscode.

result

Ergebnis der Antwort:

  • Success

  • Failure

statusFamily

Statusfamilie des Ergebnisses:

  • Success: 2XX

  • Failure: 4XX and 5XX

instanceId

Die ID der Instanz.

networkType

Netzwerktypen:

  • BytesIn: Network receive throughput

  • BytesOut: Network transmission throughput

Metriknamen Anzeigename Einheit Beschreibung Dimensionen
PredictRequestCount Anzahl Vorhersageanforderungen Anzahl Anzahl der Vorhersageanforderungen.

resourceId
PredictResponse Vorhersageantwort-Erfolgsrate Prozent Erfolgsrate von Vorhersageantworten. Die Berechnung basiert auf der Anzahl der erfolgreichen Vorhersageanforderungen gegenüber der Gesamtanzahl der Vorhersageanforderungen.

resourceId

statusCode

result

statusFamily
Vorhersageantwortstatus Anzahl Ergebnis und Statuscode der Vorhersageantwort.
PredictLatency Vorhersagelatenz Millisekunden Latenz von Vorhersageaufrufen.

resourceId

result
PredictBandwidth Vorhersage-Bandbreitenauslastung Prozent

Bereitgestellte und verbrauchte Bandbreite von Vorhersageanforderungen. Die bereitgestellte Bandbreite ist die vom Kunden erwartete Bandbreite, die beim Erstellen des Modell-Deployments festgelegt wurde. Die verbrauchte Bandbreite ist die aktive Bandbreite, die von allen laufenden Vorhersageanforderungen für eine bestimmte Modell-Deployment-OCID verbraucht wird. Diese Bandbreite wird in Bezug auf die insgesamt bereitgestellte Load-Balancer-Bandbreite bei jeder Vorhersageanforderung als derzeit genutzte Bandbreite berechnet.

resourceId
CpuUtilization CPU-Auslastung Prozent Aktivitätsebene der CPU.

resourceId

instanceId
MemoryUtilization Speicherauslastung Prozent Verwendeter Speicher.

resourceId

instanceId
NetworkBytes Netzwerkempfangs- und -übertragungsvorgänge in Byte Byte/Sek. Durchsatz für Netzwerkempfang und -übertragung.

resourceId

instanceId

networkType
GPUCoreUtilization GPU-Auslastung Prozent Zeigt die Auslastung der GPU-Geräte in einem Modell-Deployment-Cluster an.

resourceId

instanceId
GPUMemoryUtilization GPU-Speicherauslastung Prozent Zeigt die mittlere Speicherauslastung aller GPU-Geräte in einem Modell-Deployment-Cluster an.

resourceId

instanceId

Modell-Deployment-Metriken anzeigen

Sie können die Standardmetrikdiagramme über eine Modell-Deployment-Detailseite im Data Science-Service anzeigen.

  1. Wählen Sie auf der Seite "Modell-Deployments" den Namen des Modell-Deployments aus, für das die Metriken angezeigt werden sollen. Wenn Sie Hilfe bei der Suche nach der Liste der Modell-Deployments benötigen, finden Sie weitere Informationen unter Modell-Deployments auflisten.
  2. Wählen Sie unter Ressourcen die Option Metriken aus.

    Im Bereich Metriken wird ein Diagramm für jede Metrik angezeigt, die an den Metrik-Namespace für Data Science ausgegeben wird.

Weitere Informationen zu den ausgegebenen Metriken finden Sie unter Modell-Deployment-Metriken.

Wenn die erwarteten Metrikdaten für die Modell-Deployment-Session nicht angezeigt werden, lesen Sie Fehlende Metrikdaten.