Dettagli metrica in AI generativa

Puoi monitorare le risorse dell'AI generativa OCI tramite le metriche fornite in questo servizio. Puoi anche utilizzare il servizio di monitoraggio OCI per creare query e allarmi personalizzati e ricevere una notifica quando queste metriche soddisfano i trigger specificati dall'allarme.

Hosting di metriche del cluster AI dedicato

In questa sezione vengono elencate le metriche per i cluster AI dedicati di hosting. I cluster dedicati di fine tuning non visualizzano le metriche.

Nome visualizzato metrica descrizione;
Utilizzo Capacità disponibile per un cluster AI dedicato visualizzata come percentuale nel tempo
Numero totale di input Numero di token di input elaborati dai modelli in questo cluster AI dedicato di hosting
Numero totale di output Numero di token di output elaborati dai modelli in questo cluster AI dedicato di hosting

È possibile ottenere le metriche precedenti dalla pagina dei dettagli di un cluster AI dedicato in hosting.

Metriche di endpoint

In questa sezione vengono elencate le metriche per gli endpoint modello nell'AI generativa.

Nome visualizzato metrica descrizione;
Tempo di elaborazione totale Tempo totale di elaborazione per il completamento di una chiamata
Numero di chiamate Numero di token di input elaborati dal modello ospitato in questo endpoint
Conteggio errori servizio Numero di chiamate con un errore interno del servizio
Conteggio errori client Numero di chiamate con un errore lato client
Numero totale di input Numero di token di input elaborati dal modello ospitato in questo endpoint
Numero totale di output Numero di token di output elaborati dal modello ospitato in questo endpoint
Tasso di successo delle chiamate Chiamate riuscite divise per il numero totale di chiamate

È possibile ottenere le metriche precedenti dalla pagina dei dettagli di un endpoint.

Metriche per query personalizzate

È possibile creare query e allarmi personalizzati per le metriche dei cluster e degli endpoint dell'intelligenza artificiale generativa tramite il servizio di monitoraggio.

In questa sezione vengono elencati i parametri che è possibile utilizzare per creare query personalizzate per le metriche dell'AI generativa utilizzando il servizio di monitoraggio.

Parametro metrica Nome visualizzato descrizione;
ClientErrorCount Conteggio errori client Numero di chiamate con un errore lato client
InputTokenCount Numero totale di input Numero di token di input elaborati dai modelli ospitati in questa risorsa
InvocationLatency Tempo di elaborazione totale Tempo totale di elaborazione per il completamento di una chiamata su questa risorsa
OutputTokenCount Numero totale di output Numero di token di output elaborati dai modelli ospitati in questa risorsa
ServerErrorCount Conteggio errori servizio Numero di chiamate con un errore interno del servizio
TotalInvocationCount Numero di chiamate Numero di chiamate

Per la procedura di creazione di queste query personalizzate, vedere Creazione di una query per le metriche dell'intelligenza artificiale generativa.