Dettagli metrica in AI generativa
Puoi monitorare le risorse dell'AI generativa OCI tramite le metriche fornite in questo servizio. Puoi anche utilizzare il servizio di monitoraggio OCI per creare query e allarmi personalizzati e ricevere una notifica quando queste metriche soddisfano i trigger specificati dall'allarme.
Hosting di metriche del cluster AI dedicato
In questa sezione vengono elencate le metriche per i cluster AI dedicati di hosting. I cluster dedicati di fine tuning non visualizzano le metriche.
Nome visualizzato metrica | descrizione; |
---|---|
Utilizzo | Capacità disponibile per un cluster AI dedicato visualizzata come percentuale nel tempo |
Numero totale di input | Numero di token di input elaborati dai modelli in questo cluster AI dedicato di hosting |
Numero totale di output | Numero di token di output elaborati dai modelli in questo cluster AI dedicato di hosting |
È possibile ottenere le metriche precedenti dalla pagina dei dettagli di un cluster AI dedicato in hosting.
Metriche di endpoint
In questa sezione vengono elencate le metriche per gli endpoint modello nell'AI generativa.
Nome visualizzato metrica | descrizione; |
---|---|
Tempo di elaborazione totale | Tempo totale di elaborazione per il completamento di una chiamata |
Numero di chiamate | Numero di token di input elaborati dal modello ospitato in questo endpoint |
Conteggio errori servizio | Numero di chiamate con un errore interno del servizio |
Conteggio errori client | Numero di chiamate con un errore lato client |
Numero totale di input | Numero di token di input elaborati dal modello ospitato in questo endpoint |
Numero totale di output | Numero di token di output elaborati dal modello ospitato in questo endpoint |
Tasso di successo delle chiamate | Chiamate riuscite divise per il numero totale di chiamate |
È possibile ottenere le metriche precedenti dalla pagina dei dettagli di un endpoint.
Metriche per query personalizzate
È possibile creare query e allarmi personalizzati per le metriche dei cluster e degli endpoint dell'intelligenza artificiale generativa tramite il servizio di monitoraggio.
In questa sezione vengono elencati i parametri che è possibile utilizzare per creare query personalizzate per le metriche dell'AI generativa utilizzando il servizio di monitoraggio.
Parametro metrica | Nome visualizzato | descrizione; |
---|---|---|
ClientErrorCount |
Conteggio errori client | Numero di chiamate con un errore lato client |
InputTokenCount |
Numero totale di input | Numero di token di input elaborati dai modelli ospitati in questa risorsa |
InvocationLatency |
Tempo di elaborazione totale | Tempo totale di elaborazione per il completamento di una chiamata su questa risorsa |
OutputTokenCount |
Numero totale di output | Numero di token di output elaborati dai modelli ospitati in questa risorsa |
ServerErrorCount |
Conteggio errori servizio | Numero di chiamate con un errore interno del servizio |
TotalInvocationCount |
Numero di chiamate | Numero di chiamate |
Per la procedura di creazione di queste query personalizzate, vedere Creazione di una query per le metriche dell'intelligenza artificiale generativa.