Documentação do Oracle Cloud Infrastructure

Criando um Ponto Final no Serviço Generative AI

Crie um ponto final para um modelo personalizado ou pré-treinado em um cluster de IA dedicado de hospedagem na OCI Generative AI.

Para obter regras sobre a criação de pontos finais para os modelos hospedados em clusters, consulte Adicionando Pontos Finais a Clusters de Hospedagem.
  1. Na barra de navegação da Console, selecione uma região com o serviço Generative AI, por exemplo, US Midwest (Chicago) ou UK South (London). Consulte quais modelos são oferecidos na sua região.
  2. Abra o menu de navegação e selecione Análise e IA. Em Serviços de IA, selecione IA Generativa.
  3. Selecione o compartimento que contém o modelo personalizado ao qual você deseja adicionar um ponto final.
  4. Execute uma das seguintes ações:
    • Para criar um ponto final para um modelo personalizado com o nome e a versão do modelo pré-preenchidos:
      1. Selecione Modelos personalizados.
      2. Selecione o nome do modelo personalizado ao qual deseja adicionar um ponto final.
      3. Localize o modelo base básico do modelo personalizado. Você seleciona o modelo base quando faz a correspondência do modelo com um cluster nas etapas a seguir.
      4. Em Recursos, selecione Pontos Finais.
      5. Selecione Criar ponto final.
    • Para criar um ponto final para um modelo básico pré-treinado pronto para uso ou um modelo personalizado:
      1. Selecione Pontos Finais.
      2. Selecione Criar ponto final
  5. (Opcional) Informe um nome para o ponto final. Inicie o nome com uma letra ou um sublinhado, seguido de letras, números, traços ou sublinhados. O tamanho pode ser de 1 a 255 caracteres. Se você não informar um nome, o sistema gerará um nome que poderá ser alterado posteriormente.

    O nome gerado tem o formato generativeaiendpoint<timestamp>.

    generativeaiendpoint20240531235319

  6. Se não estiver selecionado, selecione o nome e a versão do modelo para os quais você deseja adicionar um ponto final.
    Dica

    • Se o modelo estiver em um compartimento diferente do compartimento atual, selecione Alterar compartimento e selecione o compartimento que hospeda o modelo. Recomendamos que você crie o ponto final no mesmo compartimento do modelo.
    • Se o modelo personalizado que você está procurando não estiver listado, selecione Cancel. Em seguida, em IA Generativa, selecione Modelos personalizados e certifique-se de que o modelo personalizado esteja em um estado ativo.
  7. Selecione um cluster de IA dedicado de hospedagem executando uma das seguintes ações:
    • Se você já tiver um cluster, selecione um Cluster de IA dedicado na lista drop-down. Se você acabou de criar um cluster, aguarde até que ele se torne ativo. Certifique-se de que o modelo base associado a esse cluster corresponda ao modelo base do modelo personalizado.
    • Para criar um cluster, na lista drop-down Cluster de IA dedicado, selecione Criar novo cluster de IA dedicado e execute as seguintes etapas:
      1. (Opcional) Informe um nome e uma descrição.
      2. Selecione um Modelo base que corresponda ao modelo base do modelo que você deseja hospedar.
      3. Adicione 1 réplica de modelo ao ponto final. Ao criar um cluster, você precisa de pelo menos uma unidade para um ponto final. Para um cluster existente, você pode usar essa mesma unidade para hospedar novos pontos finais. Cada instância hospeda todos os pontos finais ativos. Aumentando a contagem de instâncias em um cluster, aumenta o número de RPMs suportados para todos os pontos finais ativos hospedados em um cluster.
      4. Leia as horas da unidade de compromisso para o cluster de IA dedicado de hospedagem e marque a caixa de seleção para concordar com o compromisso.
      5. Selecione Criar e aguarde o cluster se tornar ativo.
      6. Na lista drop-down Cluster de IA dedicado, selecione o cluster de IA dedicado que você criou.
  8. Selecione se deseja ativar os guardrails a seguir.
    • Moderação de conteúdo
      • Desativado: Não aplique moderação de conteúdo e gere conteúdo explícito.
      • Bloquear: Ajuda a identificar e aplicar moderação de conteúdo.
      • Informar: Não aplique moderação de conteúdo, mas informe ao usuário se o modelo detecta conteúdo que precisa de moderação.
    • Proteção contra PI (injeção de prompt)
      • Desativado: Não aplique proteção de PI e permita entrada irrestrita.
      • Bloquear: Ajuda a identificar e proteger contra injeção de prompt.
      • Informar: Não aplique a proteção de PI, mas informe ao usuário se o modelo detecta conteúdo que precisa de proteção de PI.
    • Proteção de PII (informações de identificação pessoal)
      • Desativado: Não aplique proteção de PII, em vez disso, produza conteúdo sem restrições de exposição de dados.
      • Bloquear: Ajuda a identificar e proteger PII, como ajuda a remover dados pessoais das respostas.
      • Informar: Não aplique a proteção de PII, mas informe ao usuário se o modelo detecta conteúdo que precisa de proteção de PII.
  9. (Opcional) Selecione Mostrar opções avançadas e designe tags ao ponto final.
  10. Selecione Criar ponto final.
    Você é direcionado para a página de detalhes do ponto final, na qual pode rastrear o estado do ponto final.
  11. Depois que o ponto final estiver ativo, selecione Exibir no playground e comece a usar o modelo desse ponto final.