Oracle Cloud Infrastructure-Dokumentation

Metriken in generativen KI-Agents

Mit Metriken können Sie die Endpunkte in generativen KI-Agents überwachen. In den folgenden Themen finden Sie weitere Informationen zu diesen Metriken.

Endpunktmetriken

In diesem Abschnitt werden die Metriken für Agent-Endpunkte in generativen KI-Agents aufgeführt. Sie können die folgenden Metriken auf der Detailseite eines Endpunkts abrufen.

Metrikanzeigename Beschreibung
Anzahl Aufrufe Anzahl der Aufrufe, die der auf diesem Endpunkt gehostete Agent verarbeitet hat
Gesamte Verarbeitungszeit (ms) Gesamtverarbeitungszeit für den Abschluss eines Aufrufs in Millisekunden
Anzahl Servicefehler Anzahl der Aufrufe mit einem Fehler von der Serviceseite
Anzahl Clientfehler Anzahl der Aufrufe mit einem Fehler von der Clientseite
Insgesamt verbrauchte Eingabezeichen Anzahl der Eingabezeichen, die der auf diesem Endpunkt gehostete Agent verarbeitet hat
Insgesamt erzeugte Ausgabezeichen Anzahl der Ausgabezeichen, die der auf diesem Endpunkt gehostete Agent verarbeitet hat
Anzahl Fehlertraces Anzahl Traces mit einem Fehler (Diese Option gilt, wenn Tracing für diesen Endpunkt aktiviert ist.)
Erfolgsrate Erfolgreiche Anrufe geteilt durch die Gesamtanzahl der Anrufe
Tipp

Wählen Sie im Service für generative AI-Agents die Detailseite eines Endpunkts in jedem der Endpunktmetrikdiagramme das Menü Optionen aus, um die folgenden Optionen abzurufen:
  • Abfrage in Metrik-Explorer anzeigen
  • Diagramm-URL kopieren
  • Abfrage in Monitoring Query Language (MQL) kopieren
  • Alarm für diese Abfrage erstellen
  • Tabellenansicht

Abfrage in Metrics Explorer anzeigen

Der Metrik-Explorer ist eine Ressource im Monitoring-Service. Um die Berechtigung für die Arbeit mit den Monitoring-Serviceressourcen zu erhalten, bitten Sie einen Administrator, die IAM-Policys in Monitoring sichern zu prüfen und Ihnen den richtigen Zugriff für Ihre Rolle zu erteilen.

Wählen Sie für jede Endpunktmetrik das Menü Optionen in jedem der Endpunktmetrikdiagramme aus, und wählen Sie Abfrage im Metrik-Explorer anzeigen aus. In der folgenden Tabelle werden die Parameter angezeigt, die für die Endpunktmetriken in Monitoring Query Language (MQL) verwendet werden.

Metrikanzeigename Metrikparameter MQL
Anzahl Aufrufe TotalInvocationCount TotalInvocationCount[1m].count()
Gesamte Verarbeitungszeit InvocationLatency InvocationLatency[1m].mean()
Anzahl Servicefehler ServerErrorCount ServerErrorCount[1m].count()
Anzahl Clientfehler ClientErrorCount ClientErrorCount[1m].count()
Insgesamt verbrauchte Eingabezeichen InputCharactersCount InputCharactersCount[1m].sum()
Insgesamt erzeugte Ausgabezeichen OutputCharactersCount[1m].sum() OutputCharactersCount[1m].sum()
Anzahl Fehlertraces ErrorTraceCount ErrorTraceCount[1m].sum()

Die Erfolgsrate wird als erfolgreiche Aufrufe geteilt durch die Gesamtanzahl der Aufrufe mit der folgenden MQL berechnet:

TotalInvocationCount[1m]{resourceId = "<endpoint-OCID>", StatusCode="200"}.grouping().count()
/ TotalInvocationCount[1m]{resourceId = "<endpoint-OCID>"}.grouping().count() * 100

Alarm für eine Endpunktmetrik erstellen

Wählen Sie für jede Endpunktmetrik das Menü Optionen in jedem der Endpunktmetrikdiagramme aus. Wählen Sie dann Alarm für diese Abfrage erstellen aus, der an eine aufgefüllte Seite Alarm erstellen im Monitoring-Service übertragen werden soll. Füllen Sie die restlichen Felder aus, um einen Alarm für die ausgewählte Metrik festzulegen.