Documentação do Oracle Cloud Infrastructure

Adicionando um Modelo a um Ponto Final Privado

Saiba como anexar um ponto final com um modelo personalizado ou pré-treinado a um ponto final privado no OCI Generative AI.

Você pode anexar um ou mais pontos finais a um ponto final privado.

  • Criar Ponto Final

    1. Na página de lista Pontos Finais Privados, selecione o ponto final privado com o qual você deseja trabalhar. Se precisar de ajuda para localizar a página de lista para pontos finais privados, consulte Listando Pontos Finais Privados.
    2. Selecione Pontos Finais e, em seguida, Criar ponto final.

    Informações do Ponto Final

    1. Selecione um compartimento no qual criar o ponto final. O compartimento padrão é o mesmo da página de lista, mas você pode selecionar qualquer compartimento em que tenha permissão para trabalhar.
      Dica

      Recomendamos que você crie o ponto final no mesmo compartimento do modelo.
    2. (Opcional) Digite um nome para o ponto final. Inicie o nome com uma letra ou sublinhado, seguido de letras, números, hifens ou sublinhados. O comprimento pode ser de 1 a 255 caracteres. Se você não informar um nome, o sistema irá gerar um nome que você poderá alterar posteriormente.
      O nome gerado tem o formato generativeaiendpoint<timestamp>. Exemplo: generativeaiendpoint20250531235319
    3. (Opcional) Informe uma descrição para o modelo.

    Configuração de hospedagem

    1. Selecione o compartimento ao qual hospeda o modelo ao qual você deseja adicionar um ponto final.
    2. Selecione o modelo ao qual deseja adicionar um ponto final. Esse modelo pode ser personalizado ou um modelo básico pré-treinado pronto para uso disponível na região em que você está trabalhando.
    3. Se o modelo selecionado tiver várias versões, selecione uma versão do modelo.
      Para os modelos básicos pré-treinados prontos para uso, esse campo é preenchido quando você seleciona o modelo.
    4. Selecione um cluster de IA dedicado de hospedagem executando uma das seguintes ações:
      • Selecione um Cluster de IA dedicado na lista. Se você criou um cluster alguns minutos atrás, aguarde até que ele se torne ativo. Certifique-se de que o modelo de base associado a esse cluster corresponda ao modelo de base do modelo ao qual você deseja adicionar um ponto final.
      • Selecione Criar novo cluster de IA dedicado e execute as seguintes etapas:
        1. (Opcional) Informe um nome e uma descrição.
        2. Selecione um Modelo base que corresponda ao modelo base do modelo que você deseja hospedar.
        3. Adicione 1 réplica de modelo ao ponto final. Ao criar um cluster, você precisa de pelo menos uma unidade para um ponto final. Para um cluster existente, você pode usar essa mesma unidade para hospedar novos pontos finais. Cada instância hospeda todos os pontos finais ativos. Aumentando a contagem de instâncias em um cluster, aumenta o número de RPMs suportados para todos os pontos finais ativos hospedados em um cluster.
        4. Leia as horas da unidade de compromisso do cluster de IA dedicado de hospedagem e marque a caixa de seleção para concordar com o compromisso.
        5. (Opcional) Selecione Adicionar tag e designe tags a este cluster de IA dedicado. Consulte Tags de Recursos.
        6. Selecione Criar e aguarde o cluster se tornar ativo.
        7. Na lista Cluster de IA Dedicado, selecione o cluster dedicado de IA que você criou.

    Recursos de rede

    O ponto final privado é pré-selecionado.

    Guardrails de proteção

    1. Selecione se deseja ativar os seguintes guardrails.
      • Moderação de conteúdo
        • Desativado: Não aplique moderação de conteúdo e produza conteúdo explícito.
        • Bloquear: ajuda a identificar e aplicar moderação de conteúdo.
        • Informar: Não aplique moderação de conteúdo, mas tente informar ao usuário se o modelo detectar conteúdo que precisa de moderação.
      • Proteção contra PI (injeção de prompt)
        • Desativado: Não aplique proteção de PI e permita entrada irrestrita.
        • Bloco: ajuda a identificar e proteger contra injeção imediata.
        • Informar: Não aplique proteção de PI, mas procure informar o usuário se o modelo detectar conteúdo que precisa de proteção de PI.
      • Proteção de PII (informações de identificação pessoal)
        • Desativado: Não aplique proteção de PII. Em vez disso, gere conteúdo sem restrições de exposição de dados.
        • Bloquear: ajuda a identificar e proteger PII, como ajuda para remover dados pessoais das respostas.
        • Informar: Não aplique proteção de PII, mas procure informar o usuário se o modelo detectar conteúdo que precisa de proteção de PII.
    2. (Opcional) Selecione Adicionar tag e designe tags a esse ponto final. Consulte Tags de Recursos.
    3. Selecione Criar.
      Você é direcionado para a página de detalhes do ponto final, na qual pode rastrear o estado do ponto final.

  • Use o comando endpoint create e os parâmetros necessários para criar um ponto final:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Para obter uma lista completa de parâmetros e valores para comandos da CLI, consulte a Referência de Comandos da CLI.

    Observação

    Para modelos pré-treinados, em vez de um OCID, você pode usar o nome do modelo exatamente como listado no playground da Console. Você também pode encontrar esse nome de modelo da OCI, na página de detalhes do modelo em Modelos Fundamentais Pré-treinados na IA Generativa.

  • Execute a operação CreateEndpoint para criar um ponto final.

    Observação

    Para modelos pré-treinados, em vez de um OCID, você pode usar o nome do modelo exatamente como listado no playground da Console. Você também pode encontrar esse nome de modelo da OCI, na página de detalhes do modelo em Modelos Fundamentais Pré-treinados na IA Generativa.