Documentação do Oracle Cloud Infrastructure

Criando um Cluster de IA Dedicado para Modelos de Hospedagem

Crie um recurso de cluster de IA dedicado na OCI Generative AI para hospedar pontos finais para modelos base pré-treinados, modelos personalizados ou modelos importados.

Um cluster de IA dedicado de hospedagem fornece os recursos de computação para inferência de modelo. O modelo ou modelo base e a forma da unidade selecionados quando você cria o cluster determinam quais modelos são compatíveis com ele. Depois que o cluster se tornar ativo, crie um ou mais pontos finais de modelo para acessar o modelo hospedado.

Importante

  • Não Disponível sob demanda: todos os modelos básicos pré-treinados do OCI Generative AI suportados para o modo de serviço sob demanda que usam as APIs de geração de texto e resumo (incluindo o playground) agora são descontinuados. Recomendamos que você use os modelos de chat.
  • Pode ser hospedado em clusters: Se você hospedar um modelo de resumo ou geração, como cohere.command, em um cluster de IA dedicado (modo de serviço dedicado), poderá continuar a usar esse modelo até que ele seja retirado. Esses modelos, quando hospedados em um cluster de IA dedicado, só estão disponíveis no US Midwest (Chicago). Consulte APIs Obsoletas no Serviço Generative AI para obter a data em que as APIs não estão mais disponíveis.
    1. Na página de lista Clusters de IA dedicados, selecione Criar cluster de IA dedicado. Se precisar de ajuda para localizar a página de lista, consulte Listando Clusters de IA Dedicados.
    2. Selecione um compartimento no qual criar o cluster de IA dedicado. O compartimento padrão é o mesmo da página de lista, mas você pode selecionar qualquer compartimento em que tenha permissão para trabalhar.
    3. (Opcional) Informe um nome e a descrição para o cluster. Se você não inserir um nome, o sistema gerará um que poderá ser alterado posteriormente.

      O nome gerado tem o formato generativeaidedicatedaicluster<timestamp>. Por exemplo: generativeaidedicatedaicluster20250922181431

    4. Para Tipo de cluster, selecione Hospedagem.
    5. Para Modelo base, selecione uma das seguintes opções:
      • O modelo básico pré-treinado que você está hospedando.
      • Se estiver usando um modelo personalizado, ajustado de um modelo básico, selecione o modelo de base original (base) no qual foi treinado.
      • Se estiver usando um modelo importado, selecione esse modelo importado.
    6. Se você selecionou um modelo importado, selecione um Tamanho da unidade recomendado.
      Para recomendações de tamanho de unidade, vá para Modelos Compatíveis para Importação e selecione o modelo.

      Os nomes de forma de unidade têm duas partes: tipo de instância e número de cartões. Exemplo: H100_X1 = H100 with 1 card. Para A100, A100-80G e A100-40G estão disponíveis; o tamanho da memória no nome (80G ou 40G) os distingue.

      Importante

      Não é possível alterar a forma da unidade após a criação de um cluster de IA dedicado.
    7. (Opcional) Aumente o número de instâncias no campo Réplica do modelo.
      Importante

      Quando você cria um cluster para hospedar modelos para inferência, por padrão, uma unidade é criada para o modelo selecionado. Para aumentar a taxa de transferência, aumente o número de instâncias no campo Réplica do modelo agora ou posteriormente ao editar o cluster. Por exemplo, a criação de duas réplicas de modelo neste cluster requer duas unidades. A criação de pontos finais de modelo adicionais não adiciona réplicas nem aumenta o throughput.
    8. Leia as horas da unidade de compromisso do cluster de hospedagem e marque a caixa de seleção para concordar com o compromisso.
      Importante

      Faturamento para Clusters de IA Dedicados que Hospedam Modelos Importados

      Os clusters de IA dedicados que hospedam um modelo importado não exigem o compromisso mínimo de 744 horas por unidade que se aplica a clusters de IA dedicados que hospedam modelos pré-treinados disponíveis na OCI Generative AI. Em vez disso, um cluster de IA dedicado a modelo importado tem uma duração mínima faturável de uma hora. Por exemplo, um cluster que usa uma unidade de IA e é executado por 30 minutos é cobrado por uma unidade de hora de IA.

      Após a primeira hora, as cobranças são baseadas no tempo de execução real do cluster e são rateadas para milissegundos. Por exemplo, um cluster executado por uma hora e um minuto é cobrado por essa duração, em vez de duas horas completas.

      A OCI envia registros de uso para Medição e Faturamento a cada cinco minutos enquanto o cluster está em execução. Se o cluster for excluído antes que o mínimo de uma hora seja atingido, a OCI continuará reportando o uso faturável até que o mínimo seja atendido. Se o cluster for executado por mais de uma hora, a OCI continuará enviando registros de uso a cada cinco minutos até que o cluster seja excluído.

    9. (Opcional) Selecione Adicionar tag e designe tags a este cluster.
    10. Selecione Criar.
    Observação

    Os clusters levam alguns minutos para serem criados. Depois que o cluster estiver em um estado ativo, selecione-o quando criar um ponto final para o modelo. Por padrão, um cluster de hospedagem pode ter até 50 pontos finais de modelo. Consulte Capacidade de Ponto Final.

  • Use o comando dedicated-AI-cluster create e os parâmetros necessários para criar um cluster de IA dedicado:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Para obter uma lista completa de parâmetros e valores para comandos da CLI, consulte a Referência de Comandos da CLI.

  • Execute a operação CreateDedicatedAiCluster para criar um cluster dedicado.