Documentação do Oracle Cloud Infrastructure

Adicionando um Modelo a um Ponto Final Privado

Saiba como associar um ponto final de modelo para um modelo pré-treinado, personalizado ou importado a um ponto final privado no OCI Generative AI.

Você pode associar um ou mais pontos finais de modelo a um ponto final privado. Um ponto final privado fornece o caminho da rede privada, enquanto cada ponto final do modelo fornece acesso a um modelo em um cluster de IA dedicado de hospedagem. Cada ponto final de modelo conta com a capacidade de ponto final restante de seu cluster de hospedagem.

  • Criar Ponto Final

    1. Na página de lista Pontos Finais Privados, selecione o ponto final privado com o qual você deseja trabalhar. Se precisar de ajuda para localizar a página de lista para pontos finais privados, consulte Listando Pontos Finais Privados.
    2. Selecione Pontos Finais e, em seguida, Criar ponto final.

    Informações do Ponto Final

    1. Selecione um compartimento no qual criar o ponto final. O compartimento padrão é o mesmo da página de lista, mas você pode selecionar qualquer compartimento em que tenha permissão para trabalhar.
      Dica

      Recomendamos que você crie o ponto final no mesmo compartimento do modelo.
    2. (Opcional) Digite um nome para o ponto final. Inicie o nome com uma letra ou sublinhado, seguido de letras, números, hifens ou sublinhados. O comprimento pode ser de 1 a 255 caracteres. Se você não informar um nome, o sistema irá gerar um nome que você poderá alterar posteriormente.
      O nome gerado tem o formato generativeaiendpoint<timestamp>. Exemplo: generativeaiendpoint20250531235319
    3. (Opcional) Informe uma descrição para o modelo.

    Configuração de hospedagem

    1. Selecione o compartimento ao qual hospeda o modelo ao qual você deseja adicionar um ponto final.
    2. Selecione o modelo ao qual deseja adicionar um ponto final. Esse modelo pode ser personalizado, importado ou pré-treinado, pronto para uso, disponível na região em que você está trabalhando.
    3. Se o modelo selecionado tiver várias versões, selecione uma versão do modelo.
      Para os modelos básicos pré-treinados prontos para uso, esse campo é preenchido quando você seleciona o modelo.
    4. Selecione um cluster de IA dedicado de hospedagem executando uma das seguintes ações:
      • Selecione um Cluster de IA dedicado na lista. Se você criou um cluster alguns minutos atrás, aguarde até que ele se torne ativo. Certifique-se de que o cluster foi criado para o modelo pré-treinado ou importado selecionado ou para o modelo base usado para criar o modelo personalizado selecionado.
      • Selecione Criar novo cluster de IA dedicado e execute as seguintes etapas:
        1. (Opcional) Informe um nome e uma descrição.
        2. Para Modelo base, selecione o modelo pré-treinado que você está hospedando, o modelo base usado para criar o modelo personalizado selecionado ou o modelo importado selecionado.
        3. Se você selecionou um modelo importado, selecione um Tamanho da unidade recomendado. Consulte Formas de Unidade de Hardware para Modelos Importados.
        4. Use pelo menos uma réplica de modelo para o cluster de hospedagem. As réplicas do cluster atendem aos pontos finais do modelo ativo. Adicione réplicas para aumentar o throughput de inferência para os pontos finais; criar pontos finais adicionais por si só não aumenta o throughput.
        5. Revise as informações de faturamento e compromisso do cluster de IA dedicado de hospedagem e, se solicitado, marque a caixa de seleção para concordar com o compromisso. Os clusters de hospedagem para modelos importados não exigem o compromisso mínimo de 744 horas por unidade que se aplica aos modelos pré-treinados e personalizados da OCI Generative AI.
        6. (Opcional) Selecione Adicionar tag e designe tags a este cluster de IA dedicado. Consulte Tags de Recursos.
        7. Selecione Criar e aguarde o cluster se tornar ativo.
        8. Na lista Cluster de IA Dedicado, selecione o cluster dedicado de IA que você criou.

    Recursos de rede

    O ponto final privado é pré-selecionado.

    Guardrails (para modelos pré-treinados e personalizados)

    Guardrails não estão disponíveis para modelos importados.

    1. Selecione se deseja ativar o corrimão a seguir.
      • Moderação de conteúdo
        • Desativado: Não aplique moderação de conteúdo e produza conteúdo explícito.
        • Bloquear: ajuda a identificar e aplicar moderação de conteúdo.
        • Informar: Não aplique moderação de conteúdo, mas tente informar ao usuário se o modelo detectar conteúdo que precisa de moderação.
    2. (Opcional) Selecione Adicionar tag e designe tags a esse ponto final. Consulte Tags de Recursos.
    3. Selecione Criar.
      Você é direcionado para a página de detalhes do ponto final, na qual pode rastrear o estado do ponto final. O novo ponto final do modelo conta com a capacidade de ponto final restante do cluster de hospedagem.

  • Use o comando endpoint create e os parâmetros necessários para criar um ponto final:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Para obter uma lista completa de parâmetros e valores para comandos da CLI, consulte a Referência de Comandos da CLI.

    Observação

    Para modelos pré-treinados, em vez de um OCID, você pode usar o nome do modelo exatamente como listado no playground da Console. Você também pode encontrar esse nome de modelo da OCI, na página de detalhes do modelo em Modelos Básicos Pré-treinados Oferecidos na IA Generativa.

  • Execute a operação CreateEndpoint para criar um ponto final.

    Observação

    Para modelos pré-treinados, em vez de um OCID, você pode usar o nome do modelo exatamente como listado no playground da Console. Você também pode encontrar esse nome de modelo da OCI, na página de detalhes do modelo em Modelos Básicos Pré-treinados Oferecidos na IA Generativa.