Kennzahlendetails in generativer KI
Sie können OCI Generative AI-Ressourcen über die in diesem Service bereitgestellten Metriken überwachen. Mit dem OCI Monitoring-Service können Sie auch benutzerdefinierte Abfragen und Alarme erstellen, um Sie zu benachrichtigen, wenn diese Metriken alarmbestimmte Trigger erfüllen.
Metriken für dediziertes KI-Cluster hosten
In diesem Abschnitt werden die Metriken für die dedizierten Hosting-KI-Cluster aufgeführt. In den dedizierten Clustern für die Optimierung werden keine Metriken angezeigt.
| Metrikanzeigename | Beschreibung |
|---|---|
| Auslastung | Die durchschnittliche GPU-Auslastung in Prozent für alle GPUs im dedizierten KI-Cluster |
| Gesamtanzahl Eingaben | Anzahl der Eingabetoken, die von den Modellen in diesem dedizierten KI-Hostcluster verarbeitet wurden |
| Gesamtanzahl Ausgaben | Anzahl der Ausgabetoken, die von den Modellen in diesem dedizierten KI-Hostcluster verarbeitet wurden |
Sie können die vorherigen Metriken von der Detailseite eines dedizierten KI-Clusters hosten abrufen.
Endpunktmetriken
In diesem Abschnitt werden die Metriken für Modellendpunkte in generativer KI aufgeführt.
| Metrikanzeigename | Beschreibung |
|---|---|
| Gesamte Verarbeitungszeit | Gesamtverarbeitungszeit für des Abschluss eines Aufrufs |
| Anzahl Aufrufe | Anzahl der Eingabetoken, die das auf diesem Endpunkt gehostete Modell verarbeitet hat |
| Anzahl Servicefehler | Anzahl der Aufrufe mit einem internen Servicefehler |
| Anzahl Clientfehler | Anzahl der Aufrufe mit einem clientseitigen Fehler |
| Gesamtanzahl Eingaben | Anzahl der Eingabetoken, die das auf diesem Endpunkt gehostete Modell verarbeitet hat |
| Gesamtanzahl Ausgaben | Anzahl der Ausgabetoken, die das auf diesem Endpunkt gehostete Modell verarbeitet hat |
| Erfolgsrate von Aufrufen | Erfolgreiche Anrufe geteilt durch die Gesamtanzahl der Anrufe |
Sie können die vorherigen Metriken von der Detailseite eines Endpunkts abrufen.
Metriken für benutzerdefinierte Abfragen
Mit dem Monitoring-Service können Sie benutzerdefinierte Abfragen und Alarme für das Cluster und die Endpunktmetriken der generativen KI erstellen.
In diesem Abschnitt werden die Parameter aufgeführt, mit denen Sie benutzerdefinierte Abfragen für Metriken für generative KI mit dem Monitoring-Service erstellen können.
| Kennzahlenparameter | Anzeigename | Beschreibung |
|---|---|---|
ClientErrorCount |
Anzahl Clientfehler | Anzahl der Aufrufe mit einem clientseitigen Fehler |
InputTokenCount |
Gesamtanzahl Eingaben | Anzahl der Eingabetoken, die von den in dieser Ressource gehosteten Modellen verarbeitet wurden |
InvocationLatency |
Gesamte Verarbeitungszeit | Gesamtverarbeitungszeit für den Abschluss eines Aufrufs für diese Ressource |
OutputTokenCount |
Gesamtanzahl Ausgaben | Anzahl der Ausgabetoken, die von den in dieser Ressource gehosteten Modellen verarbeitet wurden |
ServerErrorCount |
Anzahl Servicefehler | Anzahl der Aufrufe mit einem internen Servicefehler |
TotalInvocationCount |
Anzahl Aufrufe | Anzahl Aufrufe |
Die Schritte zum Erstellen dieser benutzerdefinierten Abfragen finden Sie unter Abfrage für Metriken für generative KI erstellen.