Documentação do Oracle Cloud Infrastructure

Criando um Ponto Final

Crie um ponto final para um modelo personalizado, pré-treinado ou importado em um cluster de IA dedicado de hospedagem na OCI Generative AI.

Antes de criar um ponto final, certifique-se de ter um cluster de IA dedicado de hospedagem ativo que seja compatível com o modelo e que o cluster tenha capacidade de ponto final restante. Por padrão, um cluster de hospedagem pode ter até 50 pontos finais de modelo. Consulte Capacidade de Ponto Final.

Observação

Para adicionar um modelo a um ponto final privado, primeiro crie um ponto final privado e, em seguida, retorne a esta página para obter etapas para anexar o modelo.

Os pontos finais privados são suportados para modelos pré-treinados, personalizados e importados.

  • Na página da lista Pontos Finais, selecione Criar ponto final. Se precisar de ajuda para localizar a página da lista, consulte Listando Pontos Finais.

    Informações do Ponto Final

    1. Selecione um compartimento no qual criar o ponto final. O compartimento padrão é o mesmo da página de lista, mas você pode selecionar qualquer compartimento em que tenha permissão para trabalhar.
      Dica

      Recomendamos que você crie o ponto final no mesmo compartimento do modelo.
    2. (Opcional) Digite um nome para o ponto final. Inicie o nome com uma letra ou sublinhado, seguido de letras, números, hifens ou sublinhados. O comprimento pode ser de 1 a 255 caracteres. Se você não informar um nome, o sistema irá gerar um nome que você poderá alterar posteriormente.
      O nome gerado tem o formato generativeaiendpoint<timestamp>. Exemplo: generativeaiendpoint20250531235319
    3. (Opcional) Informe uma descrição para o modelo.

    Configuração de hospedagem

    1. Selecione o compartimento ao qual hospeda o modelo ao qual você deseja adicionar um ponto final.
    2. Selecione o modelo ao qual deseja adicionar um ponto final. Esse modelo pode ser personalizado, importado ou pré-treinado, pronto para uso, disponível na região em que você está trabalhando.
    3. Se o modelo selecionado tiver várias versões, selecione uma versão do modelo.
      Para os modelos básicos pré-treinados prontos para uso, esse campo é preenchido quando você seleciona o modelo.
    4. Selecione o Compartimento de cluster de IA dedicado que contém o cluster de hospedagem que você deseja usar ou onde deseja criar um.
    5. Selecione um cluster de IA dedicado de hospedagem executando uma das seguintes ações:
      • Selecione um Cluster de IA dedicado na lista. Se você criou um cluster alguns minutos atrás, aguarde até que ele se torne ativo. Para um modelo pré-treinado, certifique-se de que o modelo selecionado suporte a forma de unidade completa do cluster. Para um modelo personalizado, verifique se o cluster foi criado para o modelo base do modelo. Para um modelo importado, certifique-se de que a forma de unidade completa do cluster suporte o modelo selecionado e que você excluiu quaisquer pontos finais de outro modelo importado no cluster. Consulte Alternando Modelos em Clusters de IA Dedicados.
      • Selecione Criar novo cluster de IA dedicado e execute as seguintes etapas:
        1. (Opcional) Informe um nome e uma descrição.
        2. Para Modelo base, selecione uma das seguintes opções:
          • O modelo básico pré-treinado que você está hospedando.
          • Se estiver usando um modelo personalizado, ajustado de um modelo básico, selecione o modelo de base original (base) no qual foi treinado.
          • Se estiver usando um modelo importado, selecione esse modelo importado.
        3. Se você selecionou um modelo importado, selecione um Tamanho da unidade recomendado com base neste guia.
        4. Use pelo menos uma réplica de modelo para o cluster de hospedagem. As réplicas de modelo fornecem a capacidade de computação para inferência e exigem unidades de IA dedicadas. A criação de pontos finais adicionais não aumenta o throughput do cluster.
        5. Revise as informações de faturamento e compromisso do cluster de IA dedicado de hospedagem e, se solicitado, marque a caixa de seleção para concordar com o compromisso. Os clusters de hospedagem para modelos importados não exigem o compromisso mínimo de 744 horas por unidade que se aplica aos modelos pré-treinados e personalizados da OCI Generative AI.
        6. (Opcional) Selecione Adicionar tag e designe tags a este cluster de IA dedicado. Consulte Tags de Recursos.
        7. Selecione Criar e aguarde o cluster se tornar ativo.
        8. Na lista Cluster de IA Dedicado, selecione o cluster dedicado de IA que você criou.

    Recursos de Rede

    Para Tipo de Ponto Final, selecione uma das seguintes opções:
    • Ponto final público
    • Ponto final privado: Selecione o compartimento que contém o ponto final privado e, em seguida, selecione o ponto final privado que você deseja usar. Se você ainda não tiver um ponto final privado, crie um antes de continuar.

    Guardrails para Modelos Pré-treinados e Personalizados

    Observação

    Os corrimãos não estão disponíveis para modelos importados.
    Importante

    Isenção de Responsabilidade

    Nossos guardrails de Moderação de Conteúdo (CM) e Injeção de Prompt (PI) foram avaliados em uma variedade de conjuntos de dados de benchmark multilíngues. No entanto, o desempenho real pode variar dependendo dos idiomas, domínios, distribuições de dados e padrões de uso específicos presentes nos dados fornecidos pelo cliente à medida que o conteúdo é gerado pelo AI e pode conter erros ou omissões. Portanto, ele se destina apenas a fins informativos, não deve ser considerado aconselhamento profissional e a OCI não garante que características de desempenho idênticas sejam observadas em todas as implementações do mundo real. A equipe de IA responsável da OCI está melhorando continuamente esses modelos.

    Nossos recursos de moderação de conteúdo foram avaliados em relação ao RTPLX, um dos maiores conjuntos de dados de benchmarking multilíngues disponíveis publicamente, que abrange mais de 38 idiomas. No entanto, esses resultados devem ser interpretados com a devida cautela, pois o conteúdo é gerado pela IA e pode conter erros ou omissões. As avaliações multilíngues são inerentemente limitadas pelo escopo, representatividade e práticas de anotação de conjuntos de dados públicos, e o desempenho observado no RTPLX pode não ser totalmente generalizado para todos os contextos, domínios, dialetos ou padrões de uso do mundo real. Assim, os resultados destinam-se a ser apenas para fins informativos e não devem ser considerados aconselhamento profissional.

    Selecione uma configuração para cada corrimão. Para obter informações complementares, consulte Saiba mais sobre corrimãos e revise a isenção de responsabilidade nesta seção antes de usá-los.
    • Moderação de conteúdo
      • Desativado: Nenhuma moderação de conteúdo é aplicada.
      • Bloquear: Ajuda a detectar conteúdo que requer moderação e visa bloquear a solicitação ou a resposta com base na sua configuração.
      • Informar: Não bloqueia conteúdo, mas visa retornar uma indicação quando o conteúdo que requer moderação é detectado
    • Proteção contra PI (injeção de prompt)
      • Desativado: Nenhuma proteção de injeção de prompt é aplicada.
      • Bloquear: Ajuda a detectar tentativas de injeção de prompt e visa bloquear a solicitação com base na sua configuração.
      • Informar: Não bloqueia a solicitação, mas visa retornar uma indicação quando o risco de injeção de prompt é detectado.
    • Proteção de PII (informações de identificação pessoal)
      • Desativado: Nenhuma proteção de PII é aplicada.
      • Bloquear: Ajuda a detectar PII e visa bloquear a solicitação ou a resposta com base na sua configuração.
      • Informar: Não bloqueia conteúdo, mas visa retornar uma indicação quando PII é detectado.

    Criar e Usar o Ponto Final

    1. (Opcional) Selecione Adicionar tag e designe tags a esse ponto final. Consulte Tags de Recursos.
    2. Selecione Criar.
      Você é direcionado para a página de detalhes do ponto final, na qual pode rastrear o estado do ponto final. O novo ponto final conta com a capacidade de ponto final restante do cluster de hospedagem.
    3. Depois que o ponto de extremidade estiver ativo, selecione Exibir no playground e comece a usar o modelo nesse ponto de extremidade.

  • Use o comando endpoint create e os parâmetros necessários para criar um ponto final:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Para obter uma lista completa de parâmetros e valores para comandos da CLI, consulte a Referência de Comandos da CLI.

    Observação

    Para modelos pré-treinados, em vez de um OCID, você pode usar o nome do modelo exatamente como listado no playground da Console. Você também pode encontrar esse nome de modelo da OCI, na página de detalhes do modelo em Modelos Básicos Pré-treinados Oferecidos na IA Generativa.

  • Execute a operação CreateEndpoint para criar um ponto final.

    Observação

    Para modelos pré-treinados, em vez de um OCID, você pode usar o nome do modelo exatamente como listado no playground da Console. Você também pode encontrar esse nome de modelo da OCI, na página de detalhes do modelo em Modelos Básicos Pré-treinados Oferecidos na IA Generativa.