Documentação do Oracle Cloud Infrastructure

Alternando Modelos em Clusters de IA Dedicados

Alterne um modelo pré-treinado ou importado hospedado em um cluster de IA dedicado na OCI Generative AI. Reutilize o cluster se o novo modelo suportar sua forma de unidade completa na mesma região ou crie um novo cluster se uma forma diferente for necessária.

Talvez você queira alternar modelos para adicionar suporte a imagem, melhorar o raciocínio ou a qualidade de resposta de um aplicativo ou substituir um modelo que está sendo descontinuado. Se você já hospedar o modelo atual em um cluster de IA dedicado, compare as formas de unidade suportadas do novo modelo com a forma do cluster existente antes de criar outro cluster. Esse processo também se aplica quando você alterna entre modelos importados.

Decidindo se Reutilizar um Cluster de IA Dedicado

Você seleciona uma forma de unidade ao criar um cluster de IA dedicado. Não é possível alterar essa forma após a criação. Para reutilizar o cluster, o novo modelo deve suportar a mesma forma de unidade na região do cluster.

Compare nomes completos de forma de unidade, como Cohere_H100_X2 e Cohere_H100_X4, em vez de apenas o tipo de hardware, como H100. As formas podem diferir por modelo e região.

  • Se o novo modelo suportar a forma de unidade existente, exclua os pontos finais do modelo atual e crie um ponto final para o novo modelo no mesmo cluster de IA dedicado. O cluster permanece alocado a você.
  • Se o novo modelo exigir outra forma de unidade, crie um novo cluster de IA dedicado com essa forma e um ponto final para o novo modelo. Não é necessário excluir o cluster original para criar o novo.

Por padrão, um cluster pode ter até 50 pontos finais para o mesmo modelo hospedado. Esses pontos finais compartilham as réplicas do modelo do cluster, que servem ao modelo atual. Para alternar o cluster para outro modelo, exclua todos os pontos finais do modelo atual antes de criar um ponto final para o modelo de substituição. As solicitações para os pontos finais excluídos são interrompidas; após o novo ponto final se tornar ativo, atualize os aplicativos para usá-lo.

Exemplos: Alternando Modelos Pré-treinados do OCI Generative AI em Ashburn

Suponha que você hospede o Comando Cohere A em um cluster de IA dedicado com a forma Cohere_H100_X2 no Leste dos EUA (Ashburn). A tabela Formas de Linha de Base da América do Norte mostra essas opções para alternar modelos na mesma região.

Mudança de Cohere Command A em Ashburn
Cenário Modelo atual Forma do cluster atual Novo modelo Forma do cluster de destino Ação
Cenário 1 Comando Cohere A Cohere_H100_X2 Comando Cohere Uma Visão Cohere_H100_X2

Reutilize o cluster existente. Ambos os modelos suportam Cohere_H100_X2. Exclua todos os pontos finais do Comando A no cluster e crie um ponto final do Comando A Vision no mesmo cluster.
Situação 2 Comando Cohere A Cohere_H100_X2 Comando Cohere Um Raciocínio Cohere_H100_X4

Criar um novo cluster. Comando Um Raciocínio requer Cohere_H100_X4 e você não pode alterar a forma Cohere_H100_X2 do cluster existente. Crie um novo cluster com a forma necessária e um ponto final para o Comando A Reasoning.

Exemplos: Alternando Modelos Qwen Importados

Suponha que você hospede Qwen/Qwen3.6-35B-A3B em um cluster de IA dedicado com a forma H100_X2. Nesses exemplos, a região de destino tem H100_X1, H100_X2 e H100_X4 disponíveis. A página Modelos Alibaba Compatíveis lista H100_X1 como a forma mínima de unidade H100 para Qwen/Qwen3.8-27B e H100_X4 para Qwen/Qwen3-Next-80B-A3B-Instruct. O modelo Qwen/Qwen3.8-27B também suporta H100_X2 nesses exemplos.

Mudança de Qwen/Qwen3.6-35B-A3B
Cenário Modelo atual Forma do cluster atual Novo modelo Forma do cluster de destino Ação
Cenário 1 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X2

Reutilize o cluster existente. O novo modelo suporta H100_X2, embora sua forma mínima de H100 seja H100_X1. Exclua todos os pontos finais do modelo atual e crie um ponto final para o novo modelo no mesmo cluster.
Situação 2 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X1

Crie um novo cluster para usar uma forma menor. O novo modelo pode usar o cluster H100_X2 existente. Para usar sua forma mínima H100_X1, crie um novo cluster porque não é possível alterar a forma do cluster existente. Crie um ponto final no novo cluster e alterne o aplicativo para ele. Exclua os pontos finais e o cluster do modelo antigo se não precisar mais deles.
Cenário 3 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3-Próximo-80B-A3B-Instrução H100_X4

Criar um novo cluster. O novo modelo requer pelo menos H100_X4, portanto, o cluster H100_X2 existente não tem unidades de hardware suficientes. Crie um novo cluster com H100_X4 e um ponto final para o novo modelo.

Antes de Excluir o Cluster de IA Dedicado Original

A criação de um novo cluster de IA dedicado é separada da decisão de excluir o cluster original. As condições de faturamento dependem do tipo de modelo:

  • Os clusters de hospedagem para modelos pré-treinados e personalizados da OCI Generative AI têm um compromisso mínimo de 744 unidades de hora. A exclusão de um cluster antes que esse mínimo seja atingido não remove o encargo mínimo.
  • Os clusters de hospedagem para modelos importados não exigem o compromisso de 744 horas por unidade. Em vez disso, eles têm uma duração mínima faturável de uma hora. Consulte Formas de Unidade de Hardware para Modelos Importados.

Antes de decidir se deseja ou quando excluir o cluster original, revise seu uso, qualquer faturamento mínimo aplicável e se você ainda precisa dele para outros pontos finais ou um modelo compatível. A manutenção de um cluster alocado continua acumulando o uso. Considere também as condições de faturamento do novo cluster. Consulte Calculando Custo e a página de preços.

Alternando Modelos

Você tem um ponto final para o modelo atual em um cluster de IA dedicado de hospedagem e selecionou o modelo que deseja usar.

  1. Revise os detalhes do cluster de IA dedicado existente e anote sua região e a forma completa da unidade.
    Por exemplo, um cluster do Comando Cohere A em Ashburn usa Cohere_H100_X2. Nos exemplos de modelo importado, um cluster que hospeda Qwen/Qwen3.6-35B-A3B usa H100_X2.
  2. Localize as formas de unidade suportadas do novo modelo na região do cluster e compare seus nomes completos com a forma do cluster existente.

    Para modelos pré-treinados do OCI Generative AI, use Formas de Unidade de Hardware de Linha de Base para Modelos do OCI. Em Ashburn, o Comando A Vision usa Cohere_H100_X2, que corresponde ao cluster de exemplo. Comando Um Raciocínio usa Cohere_H100_X4, que requer um novo cluster.

    Para modelos importados, localize uma forma compatível na página do novo modelo em Modelos Compatíveis e verifique sua disponibilidade regional em Formas de Unidade de Hardware para Modelos Importados. Por exemplo, um cluster com H100_X2 pode ser reutilizado para outro modelo importado que suporte o H100_X2 na mesma região.

  3. Se o novo modelo suportar a forma de unidade existente, reutilize o cluster:
    1. Deletar todos os pontos finais do modelo atual no cluster.
    2. Crie um novo ponto final para o novo modelo usando o mesmo cluster de IA dedicado.
    O cluster de IA dedicado permanece alocado a você. Não é necessário excluí-lo quando a forma da unidade não é alterada.
  4. Se o novo modelo exigir outra forma de unidade, crie um novo cluster e ponto final:
    1. Crie um novo cluster de IA dedicado de hospedagem com a forma exigida pelo novo modelo em sua região.
    2. Depois que o novo cluster se tornar ativo, crie um ponto final para o novo modelo nele.
  5. Atualize seu aplicativo para usar o novo ponto final e verificar suas respostas.
    O novo ponto final tem seu próprio OCID. Atualize qualquer configuração de aplicativo que se refira ao ponto final antigo.

Se você criou um novo cluster, revise Antes de Excluir o Cluster de IA Dedicado Original antes de decidir se ou quando retirar os recursos antigos. Se você decidir excluir o cluster original, primeiro exclua seus pontos finais e, em seguida, exclua o cluster.