Chamando uma Implantação de Modelo
Chamar uma implantação de modelo significa que você pode transmitir vetores de recurso ou amostras dos dados ao ponto final da inferência e, em seguida, o modelo retorna previsões para essas amostras dos dados.
lifecycleState ativo, o ponto final de inferência pode receber com sucesso solicitações feitas pelos clientes. Os pontos finais suportados pelo serviço são os seguintes:| Tipo de Resposta | Ponto Final | Descrição |
|---|---|---|
| Única | /predict |
Retorna uma única resposta. |
| Streaming | /predictWithResponseStream |
Retorna streaming em tempo real de resultados parciais à medida que são gerados pelo modelo. |
Em uma página de detalhes da implantação de modelo, selecione Chamando Seu Modelo para ver um painel com duas categorias principais: Não Streaming e Streaming.
Cada categoria exibe os seguintes detalhes:
- O ponto final HTTP do modelo Para uma implantação de modelo privado, o ponto final HTTP contém um FQDN privado que foi definido ao criar o ponto final privado. Para obter mais informações, consulte Criando um Ponto Final Privado.
- Código de amostra para chamar o ponto final do modelo usando a CLI do OCI. Ou use o OCI Python e os SDKs Java para chamar o modelo com a amostra de código fornecida.
Use o código de amostra para chamar uma implantação de modelo.
Chamar uma implantação do modelo chama o ponto final de inferência do URI da implantação do modelo. Esse ponto final usa dados de amostra como entrada e é processado usando a função predict() no arquivo de artefato de modelo score.py. Os dados de amostra estão no formato JSON, embora possam estar em outros formatos. O processamento significa que os dados de amostra podem ser transformados e transmitidos para um método de inferência de modelos. Os modelos podem gerar previsões que podem ser processadas antes de serem retornadas ao cliente.