Implantações de Modelo

Diagnostique e solucione problemas de implantações de modelo.

Depurando uma Falha de Implantação de Modelo

Após criar uma nova implantação ou atualizar um implantação existente, você poderá ver uma falha. Estas etapas mostram como depurar o problema:

  1. Na home page do seu projeto, selecione Implantações de Modelo.
  2. Selecione o nome da implantação de modelo ou selecione o menu Ações (três pontos) para a implantação de modelo e selecione Exibir Detalhes. Em seguida, verifique as solicitações de serviço
  3. Em Recursos, selecione Solicitação de Serviço.

    As solicitações de serviço aparecem na parte inferior da página.

  4. Na página Informações de Solicitações de Serviço, selecione Mensagens de Log.
  5. Se ocorrer alguma falha nas etapas de criação, em Recursos, selecione Mensagens de Erro.
  6. Se a solicitação de serviço mostrar sucesso, revise os logs de previsão do OCI para identificar qualquer erro.

    Os Logs são anexados à implantação de modelo quando ela é criada.

  7. Se os logs estiverem anexados, selecione o nome do log de previsão para ver o log.
  8. Selecione Explorar com Pesquisa de Log.
  9. Altere o tempo do filtro para aumentar o período.

O Caminho do Ambiente Conda não está Acessível

Certifique-se de que o caminho do ambiente conda seja válido e de que você tenha configurado a política apropriada para um ambiente conda publicado. O caminho do ambiente conda deve permanecer válido e acessível durante todo o ciclo de vida da implantação do modelo para garantir a disponibilidade e o funcionamento correto do modelo implantado.

Erro ao Iniciar o Servidor Web

Ative os logs de previsão de implantação de modelo para ajudar a depurar os erros. Geralmente, isso acontece quando seu código tem problemas ou está sem as dependências obrigatórias.

Falha ao Chamar uma Implantação de Modelo

Quando uma implantação de modelo está em um lifecycleState ativo, o ponto final de previsão ou de streaming pode ser chamado. A resposta de previsão pode retornar uma falha por muitos motivos. Use estas sugestões para tentar resolver estes erros:

  1. Certifique-se de que a entrada transmitida na solicitação esteja em um formato JSON válido e corresponda à entrada esperada pelo modelo.

  2. Verifique se há erros nos logs de acesso anexados.

  3. Certifique-se de que o usuário tenha os direitos de acesso corretos.

  4. Certifique-se de que o arquivo score.py não contenha erros.

  5. Se as previsões estiverem retornando resultados diferentes (sucesso, falha) toda vez que a previsão for chamada para a mesma entrada, será possível que os recursos alocados não sejam suficientes para atender à previsão do modelo. Você pode editar a largura de banda do balanceador de carga para aumentá-la e a contagem de núcleos de Computação para atender a mais solicitações em paralelo.

Muitas Solicitações (Status 429)

Se você está obtendo esse erro ao chamar o ponto final de inferência, isso significa que as solicitações estão sendo limitadas.

A solução depende do tipo de erro:

Limite de largura de banda do Balanceador de Carga excedido
Edite a Implantação do Modelo para aumentar sua largura de banda do Balanceador de Carga. Você pode estimar a largura de banda usando o número esperado de solicitações em segundos e o tamanho combinado do payload de solicitação e resposta por solicitação.
Limite de taxa de solicitação da tenancy excedido

Cada ponto final de previsão permite um número específico de solicitações em um determinado intervalo de tempo (minutos ou segundos) por tenant por padrão. Para obter mais informações, consulte a documentação Chamando uma Implantação de Modelo. Abra um ticket de suporte na Console do OCI para enviar uma solicitação de aumento do limite.