Detalhes da Métrica no Serviço Generative AI
Você pode monitorar os recursos do OCI Generative AI por meio das métricas fornecidas neste serviço. Você também pode usar o serviço OCI Monitoring para criar consultas e alarmes personalizados para notificá-lo quando essas métricas atenderem a acionadores especificados pelo alarme.
Métricas do Cluster de IA Dedicado de Hospedagem
Esta seção lista as métricas dos clusters de IA dedicados do serviço hosting. Os clusters dedicados de ajuste fino não exibem métricas.
| Nome para Exibição da Métrica | Descrição |
|---|---|
| Utilização | A capacidade disponível para um cluster de IA dedicado exibida como porcentagem ao longo do tempo |
| Número total de entradas | Número de tokens de entrada que os modelos neste cluster de IA dedicado de hospedagem processaram |
| Número total de saída | Número de tokens de saída que os modelos neste cluster de IA dedicado de hospedagem processaram |
Você pode obter as métricas anteriores na página de detalhes de um cluster de IA dedicado de hospedagem.
Métricas de Ponto Final
Esta seção lista as métricas para pontos finais de modelo no serviço Generative AI.
| Nome para Exibição da Métrica | Descrição |
|---|---|
| Tempo total de processamento | Tempo total de processamento para uma chamada ser concluída |
| Número de chamadas | Número de tokens de entrada que o modelo hospedado neste ponto final processou |
| Contagem de Erros de Serviço | Número de chamadas com erro interno do serviço |
| Contagem de Erros do Cliente | Número de chamadas com erro do cliente |
| Número total de entradas | Número de tokens de entrada que o modelo hospedado neste ponto final processou |
| Número total de saída | Número de tokens de saída que o modelo hospedado neste ponto final processou |
| Taxa de sucesso de chamadas | Chamadas bem-sucedidas divididas pelo número total de chamadas |
Você pode obter as métricas anteriores na página de detalhes de um ponto final.
Métricas para Consultas Personalizadas
Você pode criar consultas e alarmes personalizados para o cluster do serviço Generative AI e as métricas de ponto final por meio do serviço Monitoring.
Esta seção lista os parâmetros que você pode usar para criar consultas personalizadas para métricas do serviço Generative AI usando o serviço Monitoring.
| Parâmetro de Métrica | Nome para Exibição | Descrição |
|---|---|---|
ClientErrorCount |
Contagem de Erros do Cliente | Número de chamadas com erro do cliente |
InputTokenCount |
Número total de entradas | Número de tokens de entrada que os modelos hospedados neste recurso processaram |
InvocationLatency |
Tempo total de processamento | Tempo total de processamento para uma chamada ser concluída neste recurso |
OutputTokenCount |
Número total de saída | Número de tokens de saída que os modelos hospedados neste recurso processaram |
ServerErrorCount |
Contagem de Erros de Serviço | Número de chamadas com erro interno do serviço |
TotalInvocationCount |
Número de chamadas | Número de chamadas |
Para obter as etapas sobre como criar essas consultas personalizadas, consulte Criando uma Consulta para Métricas do Serviço Generative AI.