Limitações de Modelo no Serviço Generative AI

Analise os requisitos de modelo a seguir para os modelos personalizados e básicos da OCI Generative AI para aproveitar ao máximo seus modelos.

Observação

Para obter os principais recursos dos modelos base pré-treinados, consulte Modelos Básicos Pré-treinados no Serviço Generative AI.

Vinculando Modelos Base a Clusters

Para hospedar um modelo personalizado ou pré-treinado do OCI Generative AI em um cluster de IA dedicado de hospedagem, vá para Modelos Básicos Pré-treinados no Generative AI. Em seguida, selecione o modelo pré-treinado ou o modelo base do modelo personalizado. Na seção Cluster de IA Dedicado para o Modelo da página, consulte o tamanho da unidade e as unidades necessárias para hospedar esse modelo básico.

Adicionando Pontos Finais a Clusters de Hospedagem

Para hospedar um modelo de inferência em um cluster de IA dedicado de hospedagem, crie um ponto final para esse modelo. Em seguida, você pode adicionar um modelo personalizado ou um modelo básico pré-treinado a esse ponto final.

Sobre Aliases de Ponto Final e Stack Serving

Um cluster de IA dedicado de hospedagem pode ter até 50 pontos finais. Use estes pontos finais para os seguintes casos de uso:

Criando Aliases de Pontos Finais: Crie aliases com muitos pontos finais. Esses 50 pontos finais devem apontar para o mesmo modelo base ou para a mesma versão de um modelo personalizado. A criação de muitos pontos finais que apontam para o mesmo modelo facilita o gerenciamento dos pontos finais, porque você pode usar os pontos finais para diferentes usuários ou diferentes finalidades.
Serviço de Pilha: Hospede várias versões de um modelo personalizado em um cluster. Isso se aplica aos modelos cohere.command e cohere.command-light ajustados com o método de treinamento T-Few. Hospedar várias versões de um modelo ajustado pode ajudá-lo a avaliar os modelos personalizados para diferentes casos de uso.

Dica

Para aumentar o volume de chamadas suportado por um cluster de hospedagem, você pode aumentar sua contagem de instâncias.

Expanda as seções a seguir para revisar os requisitos para modelos de hospedagem no mesmo cluster.

Chat

Importante

Alguns modelos básicos pré-treinados da OCI Generative AI suportados para o modo de serviço dedicado agora estão obsoletos e serão descontinuados no máximo 6 meses após o lançamento do 1^º modelo de substituição. Você pode hospedar um modelo base ou ajustar um modelo base e hospedar o modelo ajustado em um cluster de IA dedicado (modo de serviço dedicado) até que o modelo base seja retirado. Para datas de desativação do modo de serviço dedicado, consulte Desativando os Modelos.

Para hospedar os modelos de chat base pré-treinados ou modelos de chat ajustados em um cluster de IA dedicado de hospedagem, use as seguintes regras de tamanho e ponto final de unidade de cluster que correspondem a cada modelo base.


Tamanho da Unidade do Cluster de Hospedagem	Regras Correspondentes
Large Generic 2 para o modelo base, `meta.llama-4-maverick-17b-128e-instruct-fp8`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-4-maverick-17b-128e-instruct-fp8` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste fino não disponível para o modelo `meta.llama-4-maverick-17b-128e-instruct-fp8`.
Large Generic V2 para o modelo base, `meta.llama-4-scout-17b-16e-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-4-scout-17b-16e-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste fino não disponível para o modelo `meta.llama-4-scout-17b-16e-instruct`.
LARGE_COHERE_V3 para o modelo base, `cohere.command-a-03-2025`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command-a-03-2025` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste fino não disponível para o modelo `cohere.command-a-03-2025`.
Small Generic V2 para o modelo base, `meta.llama-3.2-11b-vision-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-3.2-11b-vision-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste fino não disponível para o modelo `meta.llama-3.2-11b-vision-instruct`.
Large Generic para o modelo base, `meta.llama-3.3-70b-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-3.3-70b-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar vários modelos personalizados no mesmo cluster: Ajuste um modelo com o método de treinamento `LoRA`. Use o modelo `meta.llama-3.3-70b-instruct` como base. Crie quantos pontos finais forem necessários para o modelo personalizado (mesma versão).
Large Generic para o modelo base, `meta.llama-3.1-70b-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-3.1-70b-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar vários modelos personalizados no mesmo cluster: Ajuste um modelo com o método de treinamento `LoRA`. Use o modelo `meta.llama-3.1-70b-instruct` como base. Crie quantos pontos finais forem necessários para o modelo personalizado (mesma versão).
Large Generic para o modelo base, `meta.llama-3-70b-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-3-70b-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar vários modelos personalizados no mesmo cluster: Ajuste um modelo com o método de treinamento `LoRA`. Use o modelo `meta.llama-3-70b-instruct` como base. Crie quantos pontos finais forem necessários para o modelo personalizado (mesma versão).
Large Generic V2 para o modelo base, `meta.llama-3.2-90b-vision-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-3.2-90b-vision-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste não disponível para o modelo `meta.llama-3.2-90b-vision-instruct`.
Large Generic 2 para o modelo base, `meta.llama-3.1-405b-instruct`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-3.1-405b-instruct` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste não disponível para o modelo `meta.llama-3.1-405b-instruct`.
Small Cohere V2 para o modelo base, `cohere.command-r-16k` (obsoleto)	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command-r-16k` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar vários modelos personalizados no mesmo cluster: Ajuste um modelo com o método de treinamento `T-Few` ou `Vanilla`. Use o modelo `cohere.command-r-16k` como base. Crie quantos pontos finais forem necessários para o modelo personalizado (mesma versão). Você não pode hospedar diferentes versões de um modelo personalizado treinado no modelo base `cohere.command-r-16k` no mesmo cluster, pois o serviço de pilha não é suportado.
Small Cohere V2 para o modelo base, `cohere.command-r-08-2024`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command-r-08-2024` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar vários modelos personalizados no mesmo cluster: Ajuste um modelo com o método de treinamento `T-Few` ou `Vanilla`. Use o modelo `cohere.command-r-08-2024` como base. Crie quantos pontos finais forem necessários para o modelo personalizado (mesma versão). Você não pode hospedar diferentes versões de um modelo personalizado treinado no modelo base `cohere.command-r-16k` no mesmo cluster, pois o serviço de pilha não é suportado.
Large Cohere V2_2 para o modelo base, `cohere.command-r-plus` (obsoleto)	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command-r-plus` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste não disponível para o modelo `cohere.command-r-plus`.
Large Cohere V2_2 para o modelo base, `cohere.command-r-plus-08-2024`	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command-r-plus-08-2024` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste não disponível para o modelo `cohere.command-r-plus-08-2024`.

Reclassificar

Para hospedar o modelo de nova classificação em um cluster de IA dedicado de hospedagem, use as seguintes regras de tamanho de unidade de cluster e ponto final.


Tamanho da Unidade do Cluster de Hospedagem	Regras Correspondentes
RERANK_COHERE	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.rerank.3-5` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste fino não disponível para o modelo Cohere Rerank.

Incorporação

Para hospedar os modelos de incorporação em um cluster de IA dedicado de hospedagem, use as seguintes regras de tamanho de unidade de cluster e ponto final.


Tamanho da Unidade do Cluster de Hospedagem	Regras Correspondentes
Embed Cohere	Modelos Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para um dos modelos Cohere Embed pré-treinados no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Ajuste não disponível para os modelos Cohere Embed.

Geração de Texto (Obsoleto)

Importante

Não Disponível sob demanda: todos os modelos básicos pré-treinados do OCI Generative AI suportados para o modo de serviço sob demanda que usam as APIs de geração de texto e resumo (incluindo o playground) agora são descontinuados. Recomendamos que você use os modelos de chat.
Pode ser hospedado em clusters: Se você hospedar um modelo de resumo ou geração, como cohere.command, em um cluster de IA dedicado (modo de serviço dedicado), poderá continuar a usar esse modelo até que ele seja retirado. Esses modelos, quando hospedados em um cluster de IA dedicado, só estão disponíveis no US Midwest (Chicago). Consulte Desativando os Modelos para obter datas e definições de baixa.

Para hospedar os modelos de geração de texto em um cluster de IA dedicado de hospedagem, use as regras de tamanho e ponto final da unidade de cluster a seguir que correspondem ao seu modelo base.


Tamanho da Unidade do Cluster de Hospedagem	Regras Correspondentes
Small Cohere para o modelo base, `cohere.command-light`	Modelos de Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command-light` no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar diferentes modelos personalizados no mesmo cluster: Ajuste todos os modelos com o método de treinamento `T-Few`. Use o modelo `cohere.command-light` como base. Certifique-se de que todos os modelos base tenham a mesma versão. Crie um ponto final para cada modelo no mesmo cluster de hospedagem.
Large Cohere para o modelo base, `cohere.command`	Modelos de Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command` com a mesma versão no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar diferentes modelos personalizados no mesmo cluster: Ajuste todos os modelos com o método de treinamento `T-Few`. Use o modelo `cohere.command` como base. Certifique-se de que todos os modelos base tenham a mesma versão. Adicione um ponto final ao cluster de hospedagem para cada modelo.
Llama2 70 para o modelo base, `meta.llama-2-70b-chat`	Modelos de Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `meta.llama-2-70b-chat` no mesmo cluster de hospedagem.

Consolidação (obsoleto)

Importante

O modelo cohere.command suportado para o modo de serviço sob demanda agora é descontinuado e esse modelo está obsoleto para o modo de serviço dedicado. Se você estiver hospedando o cohere.command em um cluster de IA dedicado (modo de serviço dedicado) para resumo, poderá continuar usando essa réplica de modelo hospedado com a API de resumo e no playground até que o modelo cohere.command se retire do modo de serviço dedicado. Esses modelos, quando hospedados em um cluster de IA dedicado, só estão disponíveis no US Midwest (Chicago). Consulte Desativando os Modelos para obter datas e definições de baixa. Recomendamos que você use os modelos de chat que oferecem os mesmos recursos de resumo, incluindo controle sobre o tamanho e o estilo do resumo.

Para hospedar o modelo de resumo cohere.command pré-treinado em um cluster de IA dedicado de hospedagem, use as regras de tamanho e ponto final da unidade de cluster a seguir.


Tamanho da Unidade do Cluster de Hospedagem	Regras de Correspondência
Large Cohere para o modelo base, `cohere.command`	Modelos de Base de Hospedagem Para hospedar o mesmo modelo base pré-treinado por meio de vários pontos finais no mesmo cluster: Crie quantos pontos finais forem necessários para o modelo `cohere.command` com a mesma versão no mesmo cluster de hospedagem. Modelos Personalizados de Hospedagem Para hospedar diferentes modelos personalizados no mesmo cluster: Ajuste todos os modelos com o método de treinamento `T-Few`. Use o modelo `cohere.command` como base. Certifique-se de que todos os modelos base tenham a mesma versão. Adicione um ponto final ao cluster de hospedagem para cada modelo.

Dados de Treinamento

Os conjuntos de dados para treinamento de modelos personalizados têm os seguintes requisitos:

Um máximo de um conjunto de dados de ajuste fino é permitido por modelo personalizado. Este conjunto de dados é dividido aleatoriamente em uma proporção de 80:20 para treinamento e validação.
Cada arquivo deve ter pelo menos 32 exemplos de pares de prompt/conclusão.
O formato de arquivo é JSONL.
Cada linha do arquivo JSONL tem o seguinte formato:
{"prompt": "<a prompt>", "completion": "<expected response given the prompt>"}\n
O arquivo deve ser armazenado em um bucket do OCI Object Storage.

Saiba mais sobre Requisitos de Dados de Treinamento no Serviço Generative AI.

Dados de Entrada para Incorporações de Texto

Os dados de entrada para criar incorporações de texto têm os seguintes requisitos:

Você pode adicionar frases, frases ou parágrafos para incorporações uma frase de cada vez ou fazendo upload de um arquivo.
Somente os arquivos com a extensão .txt são permitidos.
Se você usar um arquivo de entrada, cada sentença, frase ou parágrafo de entrada no arquivo deverá ser separado por um caractere de nova linha.
São permitidas no máximo 96 entradas para cada execução.
Na Console, cada entrada deve ter menos de 512 tokens para os modelos somente de texto.
Se uma entrada for muito longa, selecione se deseja cortar o início ou o final do texto para caber no limite do token definindo o parâmetro Truncar como Iniciar ou Final. Se uma entrada exceder o limite de token 512 e o parâmetro Truncate for definido como None, você receberá uma mensagem de erro.
Para os modelos de texto e imagem, você pode ter arquivos e entradas que somam até 128.000 tokens.
Para os modelos de incorporação de texto e imagem, como Cohere Embed English Image V3, você pode adicionar texto ou adicionar apenas uma imagem. Para a imagem, você pode usar a API. A entrada da imagem não está disponível na Console. Para API, insira uma imagem codificada em base64 em cada execução. Por exemplo, uma imagem de 512 x 512 é convertida em cerca de 1.610 tokens.

Saiba mais sobre Criação de incorporações de texto na OCI Generative AI.