Documentação do Oracle Cloud Infrastructure

Criando um Cluster de IA Dedicado no Serviço Generative AI para Modelos de Hospedagem

Crie um recurso de cluster de IA dedicado na OCI Generative AI para hospedar pontos finais para modelos base pré-treinados e modelos personalizados.

Importante

  • Não Disponível sob demanda: todos os modelos básicos pré-treinados do OCI Generative AI suportados para o modo de serviço sob demanda que usam as APIs de geração de texto e resumo (incluindo o playground) agora são descontinuados. Recomendamos que você use os modelos de chat.
  • Pode ser hospedado em clusters: Se você hospedar um modelo de resumo ou geração, como cohere.command, em um cluster de IA dedicado (modo de serviço dedicado), poderá continuar a usar esse modelo até que ele seja retirado. Esses modelos, quando hospedados em um cluster de IA dedicado, só estão disponíveis no US Midwest (Chicago). Consulte Desativando os Modelos para obter datas e definições de baixa.
  1. Na barra de navegação da Console, selecione uma região com o serviço Generative AI, por exemplo, US Midwest (Chicago) ou UK South (London). Consulte quais modelos são oferecidos na sua região.
  2. Abra o menu de navegação e selecione Análise e IA. Em Serviços de IA, selecione IA Generativa.
  3. Selecione um compartimento no qual você deseja hospedar os modelos.
    Certifique-se de que você tenha permissão para usar ou gerenciar recursos generative-ai-family e object-family neste compartimento.
  4. Na navegação esquerda, selecione um compartimento no qual você tenha permissão para trabalhar.
  5. Clique em Clusters de IA dedicados.
  6. Clique em Criar cluster de IA dedicado.
  7. Selecione um compartimento no qual criar o cluster de IA dedicado. O compartimento padrão é o que você selecionou na etapa 3, mas você pode selecionar qualquer compartimento no qual tenha permissão para trabalhar.
  8. (Opcional) Informe um nome e uma descrição para o cluster. Se você não inserir um nome, o sistema gerará um que poderá ser alterado posteriormente.

    O nome gerado tem o formato generativeaidedicatedaicluster<timestamp>. Por exemplo: generativeaidedicatedaicluster20240601202357

  9. Para Tipo de cluster, clique em Host.
  10. Para Modelo base, selecione o modelo base básico dos modelos que você deseja hospedar neste cluster. A lista de modelos inclui apenas os modelos base que ainda não foram baixados para o modo sob demanda.
    Para tamanhos de unidade de cluster dedicados, consulte Correspondendo Modelos Base a Clusters Para obter regras sobre a criação de pontos finais para os modelos hospedados em clusters, consulte Adicionando Pontos Finais a Clusters de Hospedagem.
  11. (Opcional) Aumente o número de instâncias no campo Réplica de modelo.
    Importante

    Quando você cria um cluster para hospedar modelos de inferência, por padrão, uma unidade é criada para o modelo base selecionado. Para aumentar o throughput, você pode aumentar o número de instâncias no campo Réplica de modelo agora ou mais tarde ao editar o cluster. Por exemplo, a criação de duas réplicas de modelo neste cluster requer duas unidades.
  12. Leia as horas da unidade de compromisso para o cluster de hospedagem e marque a caixa de seleção para concordar com o compromisso.
  13. (Opcional) Clique em Mostrar opções avançadas e designe tags a este cluster.
  14. Clique em Criar.
    Observação

    A criação de clusters leva alguns minutos. Depois que o cluster estiver em um estado ativo, você poderá selecionar esse cluster para hospedar um modelo ao criar um ponto final para esse modelo.