Métricas em Agentes de IA Generativa
Usando métricas, você pode monitorar os pontos finais nos Agentes de IA Generativa. Revise os tópicos a seguir para obter mais informações sobre essas métricas.
Métricas de Ponto Final
Esta seção lista as métricas dos pontos finais do agente nos Agentes de IA Generativa. Você pode obter as métricas a seguir na página de detalhes de um ponto final.
Nome para Exibição da Métrica | Descrição: |
---|---|
Número de chamadas | Número de chamadas que o agente hospedado neste ponto final processou |
Tempo total de processamento (ms) | Tempo total de processamento para uma chamada ser concluída em milissegundos |
Contagem de erros de serviço | Número de chamadas com erro do lado do serviço |
Contagem de erros do cliente | Número de chamadas com erro do cliente |
Total de caracteres de entrada consumidos | Número de caracteres de entrada que o agente hospedado neste ponto final processou |
Total de caracteres de saída produzidos | Número de caracteres de saída que o agente hospedado neste ponto final processou |
Número de rastreamentos de erro | Número de rastreamentos com um erro (Esta opção se aplica se o rastreamento estiver ativado para este ponto final.) |
Taxa de sucesso | Chamadas bem-sucedidas divididas pelo número total de chamadas |
No serviço Generative AI Agents, uma página de detalhes de um ponto final, selecione o menu Opções em cada um dos gráficos de métricas de ponto final para obter as seguintes opções:
- Exibir Consulta no Metrics Explorer
- Copiar URL do gráfico
- Copiar consulta no Linguagem de Consulta de Monitoramento (MQL)
- Criar um alarme nesta consulta
- View de Tabela
Exibindo Consulta no Metrics Explorer
O explorador de métricas é um recurso no serviço Monitoring. Para obter permissão para trabalhar com os recursos do serviço Monitoring, peça a um administrador para revisar as políticas do serviço IAM em Protegendo o Monitoramento e conceder a você o acesso adequado à sua atribuição.
Para cada uma das métricas de ponto final, selecione o menu Opções em cada um dos gráficos de métricas de ponto final e, em seguida, selecione Exibir Consulta no Metrics Explorer A tabela a seguir exibe os parâmetros usados para as métricas de ponto final no Monitoring Query Language (MQL).
Nome para Exibição da Métrica | Parâmetro de Métrica | MQL |
---|---|---|
Número de chamadas | TotalInvocationCount |
TotalInvocationCount[1m].count() |
Tempo total de processamento | InvocationLatency |
InvocationLatency[1m].mean() |
Contagem de erros de serviço | ServerErrorCount |
ServerErrorCount[1m].count() |
Contagem de erros do cliente | ClientErrorCount |
ClientErrorCount[1m].count() |
Total de caracteres de entrada consumidos | InputCharactersCount |
InputCharactersCount[1m].sum() |
Total de caracteres de saída produzidos | OutputCharactersCount[1m].sum() |
OutputCharactersCount[1m].sum() |
Número de rastreamentos de erro | ErrorTraceCount |
ErrorTraceCount[1m].sum() |
A taxa de sucesso é calculada como chamadas bem-sucedidas divididas pelo número total de chamadas com o seguinte MQL:
TotalInvocationCount[1m]{resourceId = "<endpoint-OCID>", StatusCode="200"}.grouping().count()
/ TotalInvocationCount[1m]{resourceId = "<endpoint-OCID>"}.grouping().count() * 100
Criando um Alarme para uma Métrica de Ponto Final
Para cada uma das métricas de ponto final, selecione o menu Opções em cada um dos gráficos de métricas de ponto final. Em seguida, selecione Criar um alarme nesta consulta para ser transportado para uma página Criar alarme preenchida no serviço Monitoring. Preencha os campos restantes para definir um alarme para a métrica selecionada.