Gerenciando Pontos Finais
Para usar o modelo personalizado da OCI Generative AI para inferência, primeiro crie um ponto final para esse modelo. Você também pode criar pontos finais para os modelos pré-treinados disponíveis no playground.
Um ponto final é um ponto especificado em um cluster de IA dedicado no qual um modelo pode aceitar solicitações do usuário e enviar respostas de volta, como o texto gerado pelo modelo. Crie um ponto final em um cluster dedicado de IA hospedando.
Para acessar um modelo por meio de um ponto final privado, primeiro crie um ponto final privado e, em seguida, volte a esta página para criar um ponto final para o modelo em um cluster de IA dedicado.
- Depois de criar um ponto final ativo para um modelo personalizado, o modelo será listado na lista de modelos do playground.
- Cada modelo personalizado pode ter mais de um ponto final.
- Cada cluster de IA dedicado de hospedagem pode hospedar muitos pontos finais. Consulte o número de pontos finais restantes na página de detalhes do cluster de IA dedicado. Se você não precisar mais de um ponto final de modelo personalizado, poderá excluir esse ponto final e usar seu cluster de IA dedicado associado para hospedar um novo ponto final.
Você pode executar as seguintes tarefas para criar e gerenciar pontos finais para modelos personalizados: