Documentação do Oracle Cloud Infrastructure

Criando um Cluster de IA Dedicado para Modelos de Hospedagem

Crie um recurso de cluster de IA dedicado na OCI Generative AI para hospedar pontos finais para modelos base pré-treinados, modelos personalizados ou modelos importados.

Importante

  • Não Disponível sob demanda: todos os modelos básicos pré-treinados do OCI Generative AI suportados para o modo de serviço sob demanda que usam as APIs de geração de texto e resumo (incluindo o playground) agora são descontinuados. Recomendamos que você use os modelos de chat.
  • Pode ser hospedado em clusters: Se você hospedar um modelo de resumo ou geração, como cohere.command, em um cluster de IA dedicado (modo de serviço dedicado), poderá continuar a usar esse modelo até que ele seja retirado. Esses modelos, quando hospedados em um cluster de IA dedicado, só estão disponíveis no US Midwest (Chicago). Consulte APIs Obsoletas no Serviço Generative AI para obter a data em que as APIs não estão mais disponíveis.
    1. Na página de lista Clusters de IA dedicados, selecione Criar cluster de IA dedicado. Se precisar de ajuda para localizar a página de lista, consulte Listando Clusters de IA Dedicados.
    2. Selecione um compartimento no qual criar o cluster de IA dedicado. O compartimento padrão é o mesmo da página de lista, mas você pode selecionar qualquer compartimento em que tenha permissão para trabalhar.
    3. (Opcional) Informe um nome e uma descrição para o cluster. Se você não inserir um nome, o sistema gerará um que poderá ser alterado posteriormente.

      O nome gerado tem o formato generativeaidedicatedaicluster<timestamp>. Por exemplo: generativeaidedicatedaicluster20250922181431

    4. Para Tipo de cluster, selecione Hospedagem.
    5. Para Modelo base, selecione uma das seguintes opções:
      • O modelo básico pré-treinado que você está hospedando.
      • Se estiver usando um modelo personalizado, ajustado de um modelo básico, selecione o modelo de base original (base) no qual foi treinado.
      • Se estiver usando um modelo importado, selecione esse modelo importado.
    6. Se você selecionou um modelo importado, selecione um Tamanho da unidade recomendado.
      Para obter recomendações de tamanho de unidade, consulte Modelos Suportados para Importação. Você também pode usar este guia para modelos que você armazena em buckets.

      Os nomes de forma de unidade têm duas partes: tipo de instância e número de cartões. Exemplo: H100_X1 = H100 with 1 card. Para A100, A100-80G e A100-40G estão disponíveis; o tamanho da memória no nome (80G ou 40G) os distingue.

      Importante

      Não é possível alterar a forma da unidade após a criação de um cluster de IA dedicado.
    7. (Opcional) Aumente o número de instâncias no campo Réplica de modelo.
      Importante

      Quando você cria um cluster para hospedar modelos de inferência, por padrão, uma unidade é criada para o modelo base selecionado. Para aumentar o throughput, você pode aumentar o número de instâncias no campo Réplica de modelo agora ou mais tarde ao editar o cluster. Por exemplo, a criação de duas réplicas de modelo neste cluster requer duas unidades.
    8. Leia as horas da unidade de compromisso para o cluster de hospedagem e marque a caixa de seleção para concordar com o compromisso.
    9. (Opcional) Selecione Adicionar tag e designe tags a este cluster.
    10. Selecione Criar.
    Observação

    A criação de clusters leva alguns minutos. Depois que o cluster estiver em um estado ativo, você poderá selecionar esse cluster para hospedar um modelo ao criar um ponto final para esse modelo.

  • Use o comando dedicated-AI-cluster create e os parâmetros necessários para criar um cluster de IA dedicado:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Para obter uma lista completa de parâmetros e valores para comandos da CLI, consulte a Referência de Comandos da CLI.

  • Execute a operação CreateDedicatedAiCluster para criar um cluster dedicado.