Métricas de Implantação de Modelo
Saiba como usar métricas para implantações de modelo.
As Métricas estão automaticamente disponíveis para qualquer implantação de modelo do serviço Data Science criada no namespace oci_datascience_modeldeploy. Você não precisa ativar o monitoramento nos recursos do OCI para obter essas métricas.
As métricas de implantações de modelo do serviço Data Science incluem estas dimensões:
- resourceId
-
O OCID da implantação do modelo.
- statusCode
-
O código de status de resposta HTTP.
- result
-
Resultado da resposta:
-
Success -
Failure
-
- statusFamily
-
Família de status do resultado:
-
Success: 2XX -
Failure: 4XX and 5XX
-
- instanceId
-
O ID da instância.
- networkType
-
Tipos de rede:
BytesIn: Network receive throughput-
BytesOut: Network transmission throughput
- modelOcid
-
O OCID do modelo no grupo de modelos implantados. Você pode filtrar os logs de solicitação de previsão específicos do modelo com base no
modelOcidno roteador do modelo.
| Nomes de Métrica | Nome para Exibição | Unidade | Descrição | Dimensões |
|---|---|---|---|---|
PredictRequestCount |
Contagem de Solicitações de Previsão | Contagem | Número de solicitações de previsão. |
|
PredictResponse |
Taxa de Sucesso de Resposta de Previsão | Porcentagem | Taxa de sucesso de resposta de previsão É calculada com base no número de solicitações de previsão bem-sucedidas do número total de solicitações de previsão. |
|
| Status de Resposta de Previsão | Contagem | Resultado e código de status de resposta de previsão. | ||
PredictLatency |
Latência de Previsão | Milissegundos | Latência de chamadas de previsão. |
|
PredictBandwidth |
Utilização de Largura de Banda de Previsão | Porcentagem |
Largura de banda provisionada e consumida de previsão. Largura de banda provisionada é a largura de banda esperada pelo cliente definida durante a criação da implantação do modelo. A largura de banda consumida é a largura de banda ativa consumida por todas as solicitações de previsão em andamento para um OCID de implantação de modelo específico. Essa largura de banda é calculada como largura de banda consumida atual em relação à largura de banda total do balanceador de carga provisionado em cada solicitação de previsão. |
|
CpuUtilization |
Utilização de CPU | Porcentagem | Nível de atividade da CPU. |
|
MemoryUtilization |
Utilização de Memória | Porcentagem | Memória em uso. |
|
NetworkBytes |
Bytes de Recebimento e Transmissão da Rede | Bytes/segundo | Throughput de recebimento e transmissão da rede. |
|
GPUCoreUtilization |
Utilização de GPU | Porcentagem | Mostra quão ocupados os dispositivos GPU estão em um cluster de implantação de modelo. |
|
GPUMemoryUtilization |
Utilização de Memória de GPU | Porcentagem | Mostra o consumo médio de memória de todos os dispositivos GPU em um cluster de implantação de modelo. |
|
Exibindo Métricas de Implantação de Modelo
Você pode exibir os gráficos de métricas padrão usando a página de detalhes de implantação de modelo no serviço Data Science.
Para obter mais informações sobre as métricas emitidas, consulte métricas de implantação de modelo.
Se você não vir os dados de métricas da sessão de implantação de modelo esperados, consulte dados de métricas ausentes.