Documentação do Oracle Cloud Infrastructure

Criando um Cluster de IA Dedicado para Modelos de Hospedagem

Crie um recurso de cluster de IA dedicado na OCI Generative AI para hospedar pontos finais para modelos base pré-treinados e modelos personalizados.

Importante

  • Não Disponível sob demanda: todos os modelos básicos pré-treinados do OCI Generative AI suportados para o modo de serviço sob demanda que usam as APIs de geração de texto e resumo (incluindo o playground) agora são descontinuados. Recomendamos que você use os modelos de chat.
  • Pode ser hospedado em clusters: Se você hospedar um modelo de resumo ou geração, como cohere.command, em um cluster de IA dedicado (modo de serviço dedicado), poderá continuar a usar esse modelo até que ele seja retirado. Esses modelos, quando hospedados em um cluster de IA dedicado, só estão disponíveis no US Midwest (Chicago). Consulte Desativando os Modelos para obter datas e definições de baixa.
    1. Na página de lista Clusters de IA dedicados, selecione Criar cluster de IA dedicado. Se precisar de ajuda para localizar a página de lista, consulte Listando Clusters de IA Dedicados.
    2. Selecione um compartimento no qual criar o cluster de IA dedicado. O compartimento padrão é o mesmo da página de lista, mas você pode selecionar qualquer compartimento em que tenha permissão para trabalhar.
    3. (Opcional) Informe um nome e uma descrição para o cluster. Se você não inserir um nome, o sistema gerará um que poderá ser alterado posteriormente.

      O nome gerado tem o formato generativeaidedicatedaicluster<timestamp>. Por exemplo: generativeaidedicatedaicluster20250922181431

    4. Para Tipo de cluster, selecione Hospedagem.
    5. Para Modelo base, selecione o modelo base básico dos modelos que você deseja hospedar neste cluster. A lista de modelos inclui apenas os modelos base que ainda não foram baixados para o modo sob demanda.
      Para o tamanho da unidade de cluster dedicada e as regras sobre os pontos finais dos modelos hospedados no cluster, selecione o modelo base listado na página Modelos Básicos Pré-treinados no Serviço Generative AI.
    6. (Opcional) Aumente o número de instâncias no campo Réplica de modelo.
      Importante

      Quando você cria um cluster para hospedar modelos de inferência, por padrão, uma unidade é criada para o modelo base selecionado. Para aumentar o throughput, você pode aumentar o número de instâncias no campo Réplica de modelo agora ou mais tarde ao editar o cluster. Por exemplo, a criação de duas réplicas de modelo neste cluster requer duas unidades.
    7. Leia as horas da unidade de compromisso para o cluster de hospedagem e marque a caixa de seleção para concordar com o compromisso.
    8. (Opcional) Selecione Adicionar tag e designe tags a este cluster.
    9. Selecione Criar.
    Observação

    A criação de clusters leva alguns minutos. Depois que o cluster estiver em um estado ativo, você poderá selecionar esse cluster para hospedar um modelo ao criar um ponto final para esse modelo.

  • Use o comando dedicated-AI-cluster create e os parâmetros necessários para criar um cluster de IA dedicado:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Para obter uma lista completa de parâmetros e valores para comandos da CLI, consulte a Referência de Comandos da CLI.

  • Execute a operação CreateDedicatedAiCluster para criar um cluster dedicado.