Métricas em Agentes de IA Generativa

Usando métricas, você pode monitorar os pontos finais nos Agentes de IA Generativa. Revise os tópicos a seguir para obter mais informações sobre essas métricas.

Métricas de Ponto Final

Esta seção lista as métricas dos pontos finais do agente nos Agentes de IA Generativa. Você pode obter as métricas a seguir na página de detalhes de um ponto final.

Nome para Exibição da Métrica Descrição:
Número de chamadas Número de chamadas que o agente hospedado neste ponto final processou
Tempo total de processamento (ms) Tempo total de processamento para uma chamada ser concluída em milissegundos
Contagem de erros de serviço Número de chamadas com erro do lado do serviço
Contagem de erros do cliente Número de chamadas com erro do cliente
Total de caracteres de entrada consumidos Número de caracteres de entrada que o agente hospedado neste ponto final processou
Total de caracteres de saída produzidos Número de caracteres de saída que o agente hospedado neste ponto final processou
Número de rastreamentos de erro Número de rastreamentos com um erro (Esta opção se aplica se o rastreamento estiver ativado para este ponto final.)
Taxa de sucesso Chamadas bem-sucedidas divididas pelo número total de chamadas
Dica

No serviço Generative AI Agents, uma página de detalhes de um ponto final, selecione o menu Opções em cada um dos gráficos de métricas de ponto final para obter as seguintes opções:
  • Exibir Consulta no Metrics Explorer
  • Copiar URL do gráfico
  • Copiar consulta no Linguagem de Consulta de Monitoramento (MQL)
  • Criar um alarme nesta consulta
  • View de Tabela

Exibindo Consulta no Metrics Explorer

O explorador de métricas é um recurso no serviço Monitoring. Para obter permissão para trabalhar com os recursos do serviço Monitoring, peça a um administrador para revisar as políticas do serviço IAM em Protegendo o Monitoramento e conceder a você o acesso adequado à sua atribuição.

Para cada uma das métricas de ponto final, selecione o menu Opções em cada um dos gráficos de métricas de ponto final e, em seguida, selecione Exibir Consulta no Metrics Explorer A tabela a seguir exibe os parâmetros usados para as métricas de ponto final no Monitoring Query Language (MQL).

Nome para Exibição da Métrica Parâmetro de Métrica MQL
Número de chamadas TotalInvocationCount TotalInvocationCount[1m].count()
Tempo total de processamento InvocationLatency InvocationLatency[1m].mean()
Contagem de erros de serviço ServerErrorCount ServerErrorCount[1m].count()
Contagem de erros do cliente ClientErrorCount ClientErrorCount[1m].count()
Total de caracteres de entrada consumidos InputCharactersCount InputCharactersCount[1m].sum()
Total de caracteres de saída produzidos OutputCharactersCount[1m].sum() OutputCharactersCount[1m].sum()
Número de rastreamentos de erro ErrorTraceCount ErrorTraceCount[1m].sum()

A taxa de sucesso é calculada como chamadas bem-sucedidas divididas pelo número total de chamadas com o seguinte MQL:

TotalInvocationCount[1m]{resourceId = "<endpoint-OCID>", StatusCode="200"}.grouping().count()
/ TotalInvocationCount[1m]{resourceId = "<endpoint-OCID>"}.grouping().count() * 100

Criando um Alarme para uma Métrica de Ponto Final

Para cada uma das métricas de ponto final, selecione o menu Opções em cada um dos gráficos de métricas de ponto final. Em seguida, selecione Criar um alarme nesta consulta para ser transportado para uma página Criar alarme preenchida no serviço Monitoring. Preencha os campos restantes para definir um alarme para a métrica selecionada.