Dettagli delle metriche nell'AI generativa
Puoi monitorare le risorse OCI Generative AI tramite le metriche fornite in questo servizio. Puoi anche utilizzare il servizio di monitoraggio OCI per creare query e allarmi personalizzati per ricevere una notifica quando queste metriche soddisfano i trigger specificati dagli allarmi.
Metriche cluster AI dedicata di hosting
In questa sezione sono elencate le metriche per i cluster AI dedicati hosting. I cluster dedicati fine-tuning non visualizzano metriche.
| Nome visualizzato metrica | Descrizione |
|---|---|
| Utilizzo | Percentuale media di utilizzo della GPU in tutte le GPU nel cluster AI dedicato |
| Numero totale di input | Numero di token di input elaborati dai modelli in questo cluster AI dedicato di hosting |
| Numero totale di output | Numero di token di output elaborati dai modelli in questo cluster AI dedicato di hosting |
È possibile ottenere le metriche precedenti dalla pagina dei dettagli di un cluster AI dedicato in hosting.
Metriche endpoint
In questa sezione vengono elencate le metriche per gli endpoint del modello nell'intelligenza artificiale generativa.
| Nome visualizzato metrica | Descrizione |
|---|---|
| Tempo di elaborazione totale | Tempo totale di elaborazione per il completamento di una chiamata |
| Numero di chiamate | Numero di token di input elaborati dal modello ospitato su questo endpoint |
| Conteggio errori servizio | Numero di chiamate con un errore interno del servizio |
| Conteggio errori client | Numero di chiamate con un errore lato client |
| Numero totale di input | Numero di token di input elaborati dal modello ospitato su questo endpoint |
| Numero totale di output | Numero di token di output elaborati dal modello ospitato su questo endpoint |
| Tasso di successo delle chiamate | Chiamate riuscite divise per il numero totale di chiamate |
È possibile ottenere le metriche precedenti dalla pagina dei dettagli di un endpoint.
Metriche per query personalizzate
È possibile creare query e allarmi personalizzati per le metriche degli endpoint e del cluster AI generativa tramite il servizio di monitoraggio.
In questa sezione sono elencati i parametri che è possibile utilizzare per creare query personalizzate per le metriche AI generativa utilizzando il servizio di monitoraggio.
| Parametro metrica | Nome visualizzato | Descrizione |
|---|---|---|
ClientErrorCount |
Conteggio errori client | Numero di chiamate con un errore lato client |
InputTokenCount |
Numero totale di input | Numero di token di input elaborati dai modelli ospitati in questa risorsa |
InvocationLatency |
Tempo di elaborazione totale | Tempo totale di elaborazione per il completamento di una chiamata su questa risorsa |
OutputTokenCount |
Numero totale di output | Numero di token di output elaborati dai modelli ospitati in questa risorsa |
ServerErrorCount |
Conteggio errori servizio | Numero di chiamate con un errore interno del servizio |
TotalInvocationCount |
Numero di chiamate | Numero di chiamate |
Per i passi su come creare queste query personalizzate, vedere Creazione di una query per le metriche AI generativa.