Detalhes da Métrica no Serviço Generative AI
Você pode monitorar recursos do OCI Generative AI por meio das métricas fornecidas neste serviço. Você também pode usar o serviço OCI Monitoring para criar consultas e alarmes personalizados para notificá-lo quando essas métricas atenderem aos acionadores especificados pelo alarme.
Hospedando Métricas de Cluster de IA Dedicado
Esta seção lista as métricas dos clusters de IA dedicados de hospedagem. Os clusters dedicados de ajuste não exibem métricas.
| Nome da exibição da métrica | Descrição |
|---|---|
| Utilização | A porcentagem média de utilização de GPU em todas as GPUs no cluster de IA dedicado |
| Número total de entradas | Número de tokens de entrada que os modelos neste cluster de IA dedicado de hospedagem processaram |
| Número total de saída | Número de tokens de saída que os modelos neste cluster de IA dedicado de hospedagem processaram |
Você pode obter as métricas anteriores na página de detalhes de um cluster de IA dedicado de hospedagem.
Métricas de Ponto Final
Esta seção lista as métricas dos pontos finais do modelo no serviço Generative AI.
| Nome da exibição da métrica | Descrição |
|---|---|
| Tempo total de processamento | Tempo total de processamento para uma chamada ser finalizada |
| Número de chamadas | Número de tokens de entrada que o modelo hospedado neste ponto final processou |
| Contagem de Erros de Serviço | Número de chamadas com erro interno do serviço |
| Contagem de Erros do Cliente | Número de chamadas com erro do cliente |
| Número total de entradas | Número de tokens de entrada que o modelo hospedado neste ponto final processou |
| Número total de saída | Número de tokens de saída que o modelo hospedado neste ponto final processou |
| Taxa de sucesso de chamadas | Chamadas bem-sucedidas divididas pelo número total de chamadas |
Você pode obter as métricas anteriores na página de detalhes de um ponto final.
Métricas para Consultas Personalizadas
Você pode criar consultas e alarmes personalizados para o cluster do serviço Generative AI e métricas de ponto final por meio do serviço Monitoring.
Esta seção lista os parâmetros que você pode usar para criar consultas personalizadas para métricas do serviço Generative AI usando o serviço Monitoring.
| Parâmetro de Métrica | Nome da exibição | Descrição |
|---|---|---|
ClientErrorCount |
Contagem de Erros do Cliente | Número de chamadas com erro do cliente |
InputTokenCount |
Número total de entradas | Número de tokens de entrada que os modelos hospedados neste recurso processaram |
InvocationLatency |
Tempo total de processamento | Tempo total de processamento para que uma chamada seja concluída neste recurso |
OutputTokenCount |
Número total de saída | Número de tokens de saída que os modelos hospedados neste recurso processaram |
ServerErrorCount |
Contagem de Erros de Serviço | Número de chamadas com erro interno do serviço |
TotalInvocationCount |
Número de chamadas | Número de chamadas |
Para obter as etapas sobre como criar essas consultas personalizadas, consulte Criando uma Consulta para Métricas do Serviço Generative AI.