Pagando por Clusters de IA Dedicados

Você obtém os seguintes benefícios para usar clusters de IA dedicados na OCI Generative AI:

Preços previsíveis que não flutuam com a demanda.
Ótimo para ajustar ou hospedar modelos.
Compromisso mínimo de hospedagem: 744 unidades-horas por cluster de hospedagem.
Compromisso mínimo de ajuste: 1 unidade por hora por tarefa de ajuste. (Dependendo do modelo, o ajuste fino requer pelo menos 2 unidades para ser executado).

Observação

Para descobrir quais modelos estão disponíveis para ajuste fino, consulte Correspondendo Modelos Base a Clusters.

Os exemplos a seguir calculam o custo do cluster de IA dedicado na OCI Generative AI. Para calcular o custo de inferência sob demanda, consulte Pagando por Inferência Sob Demanda.

Combinando Modelos com Preços de Unidade de Cluster Dedicado

Se você estiver hospedando modelos básicos ou ajustando-os em clusters de IA dedicados, será cobrado pela hora da unidade em vez da transação. Nesse caso, consulte a tabela a seguir para calcular o custo do cluster de IA dedicado para os modelos de chat.

Importante

Alguns modelos básicos pré-treinados da OCI Generative AI suportados para o modo de serviço dedicado agora estão obsoletos e serão descontinuados no máximo 6 meses após o lançamento do 1^º modelo de substituição. Você pode hospedar um modelo base ou ajustar um modelo base e hospedar o modelo ajustado em um cluster de IA dedicado (modo de serviço dedicado) até que o modelo base seja retirado. Para datas de desativação do modo de serviço dedicado, consulte Desativando os Modelos.

Modelos de Chat


Modelo Base	Cluster de Ajuste	Host Cluster	Informações da Página de Preço	Solicitar Aumento do Limite do Cluster
Nome do Modelo: Meta Llama 4 Maverick Nome do Modelo do OCI: `meta.llama-4-maverick-17b-128e-instruct-fp8`	Não disponível para ajuste fino	Tamanho da Unidade: Large Generic 2 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Large Meta - Dedicated	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em: 4
Nome do Modelo: Meta Llama 4 Scout Nome do Modelo do OCI: `meta.llama-4-scout-17b-16e-instruct`	Não disponível para ajuste fino	Tamanho da Unidade: Large Generic V2 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Large Meta - Dedicated	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em: 2
Nome do Modelo: Cohere Command A Nome do Modelo do OCI: `cohere.command-a-03-2025`	Não disponível para ajuste fino	Tamanho da Unidade: LARGE_COHERE_V3 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Large Cohere - Dedicated	Nome do Limite: `dedicated-unit-large-cohere-count` Para Hospedagem, Solicite Aumento do Limite em: 1
Nome do Modelo: Cohere Command R Nome do Modelo do OCI: `cohere.command-r-16k` (obsoleto)	Tamanho da Unidade: Small Cohere V2 Unidades Necessárias: 8	Tamanho da Unidade: Small Cohere V2 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Small Cohere - Dedicated Para Ajuste, Multiplique o Preço Unitário: x8	Nome do Limite: `dedicated-unit-small-cohere-count` Para Hospedagem, Solicite Aumento do Limite em: 1 Para Ajuste, Solicite Aumento do Limite em: 8
Nome do Modelo: Command R 08-2024 Nome do Modelo do OCI: `cohere.command-r-08-2024`	Tamanho da Unidade: Small Cohere V2 Unidades Exigidas: 8	Tamanho da Unidade: Small Cohere V2 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Small Cohere - Dedicated Para Ajuste, Multiplique o Preço Unitário: x8	Nome do Limite: `dedicated-unit-small-cohere-count` Para Hospedagem, Solicitar Aumento do Limite por: 1 Para Ajuste, Solicite Aumento do Limite em: 8
Nome do Modelo: Cohere Command R+ Nome do Modelo do OCI: `cohere.command-r-plus` (obsoleto)	Não disponível para ajuste fino	Tamanho da Unidade: Large Cohere V2_2 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Large Cohere - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x2	Nome do Limite: `dedicated-unit-large-cohere-count` Para Hospedagem, Solicite Aumento do Limite em: 2
Nome do Modelo: Command R+ 08-2024 Nome do Modelo do OCI: `cohere.command-r-plus-08-2024`	Não disponível para ajuste fino	Tamanho da Unidade: Large Cohere V2_2 Unidades Necessárias: 1	Nome do produto da página de preços: Large Cohere - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x2	Nome do Limite: `dedicated-unit-large-cohere-count` Para Hospedagem, Solicite Aumento do Limite em: 2
Nome do Modelo: Meta Llama 3.3 (70B) Nome do Modelo do OCI: `meta.llama-3.3-70b-instruct`	Tamanho da Unidade: Large Generic Unidades Necessárias: 2	Tamanho da Unidade: Large Generic Unidades Necessárias: 1	Nome do Produto da Página de Preços: Large Meta - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x2 Para Ajuste, Multiplique o Preço Unitário: x4	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em: 2 Para Ajuste, Solicite Aumento do Limite em: 4
Nome do Modelo: Meta Llama 3.2 11B Vision Nome do Modelo do OCI: `meta.llama-3.2-11b-vision-instruct`	Não disponível para ajuste fino	Tamanho da Unidade: Small Generic V2 Unidades Necessárias: 1	Nome do Produto da Página de Preços: Large Meta - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x(0.5)	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em:1
Nome do Modelo: Meta Llama 3.2 90B Vision Nome do Modelo do OCI: `meta.llama-3.2-90b-vision-instruct`	Não disponível para ajuste fino	Tamanho da Unidade: Large Generic V2 Unidades Obrigatórias: 1	Nome do Produto da Página de Preços: Large Meta - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x2	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em: 2
Nome do Modelo: Meta Llama 3.1 (70B) Nome do Modelo do OCI: `meta.llama-3.1-70b-instruct`	Tamanho da Unidade: Large Generic Unidades Necessárias: 2	Tamanho da Unidade: Large Generic Unidades Obrigatórias: 1	Nome do Produto da Página de Preços: Large Meta - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x2 Para Ajuste, Multiplique o Preço Unitário: x4	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em: 2 Para Ajuste, Solicite Aumento do Limite em: 4
Nome do Modelo: Meta Llama 3.1 (405B) Nome do Modelo do OCI: `meta.llama-3.1-405b-instruct`	Não disponível para ajuste fino	Tamanho da Unidade: Large Generic 2 Unidades Obrigatórias: 1	Nome do produto da página de preços: Large Meta - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x4	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicite Aumento do Limite em: 4
Nome do Modelo: Meta Llama 3 Nome do Modelo do OCI: `meta.llama-3-70b-instruct` (obsoleto)	Tamanho da Unidade: Large Generic Unidades Necessárias: 2	Tamanho da Unidade: Large Generic Unidades Obrigatórias: 1	Nome do produto da página de preços: Large Meta - Dedicated Para Hospedagem, Multiplique o Preço Unitário: x2 Para Ajuste, Multiplique o Preço Unitário: x4	Nome do Limite: `dedicated-unit-llama2-70-count` Para Hospedagem, Solicitar Aumento de Limite por: 2 Para Ajuste, Solicite Aumento do Limite em: 4

Importante

Você deve solicitar um aumento de limite para usar os seguintes recursos:

Família Meta Llama

Para hospedar um modelo Meta Llama 4 Maverick, solicite que dedicated-unit-llama2-70-count aumente em 4.
Para hospedar um modelo Meta Llama 4 Scout, solicite que dedicated-unit-llama2-70-count aumente em 2.
Para hospedar um modelo Meta Llama 3.3 (70B), solicite que dedicated-unit-llama2-70-count aumente em 2.
Para ajustar um modelo Meta Llama 3.3 (70B), solicite que dedicated-unit-llama2-70-count aumente em 4.
Para hospedar um modelo Meta Llama 3.2 11B Vision , solicite dedicated-unit-llama2-70-count para aumentar em 1.
Para hospedar um modelo Meta Llama 3.2 90B Vision , solicite dedicated-unit-llama2-70-count para aumentar em 2.
Para hospedar um modelo Meta Llama 3.1 (70B), solicite que dedicated-unit-llama2-70-count aumente em 2.
Para ajustar um modelo Meta Llama 3.1 (70B), solicite que dedicated-unit-llama2-70-count aumente em 4.
Para hospedar um modelo Meta Llama 3.1 (405B), solicite que dedicated-unit-llama2-70-count aumente em 4.

Família do Comando Cohere

Para hospedar um modelo Cohere Command A, solicite que dedicated-unit-large-cohere-count aumente em 1.
Para hospedar um modelo Cohere Command R (obsoleto), solicite ao dedicated-unit-small-cohere-count que aumente em 1.
Para ajustar um modelo Cohere Command R (deprecated), você deve solicitar dedicated-unit-small-cohere-count aumente em 8.
Para hospedar um modelo Cohere Command R 08-2024, solicite que dedicated-unit-small-cohere-count aumente em 1.
Para ajustar um modelo Cohere Command R 08-2024, solicite que dedicated-unit-small-cohere-count aumente em 8.
Para hospedar um modelo Cohere Command R+ (obsoleto), você deve solicitar que dedicated-unit-large-cohere-count aumente em 2.
Para hospedar um modelo Cohere Command R+ 08-2024, solicite que dedicated-unit-large-cohere-count aumente em 2.

Referências: Limites de Serviço para IA Generativa e Solicitar Aumento do Limite do Cluster

Para geração de texto, resumo e modelos de incorporação de texto, consulte as tabelas em Correspondendo Modelos Base a Clusters.

Hospedagem de um Modelo Básico - Exemplo 1

John deseja hospedar uma instância do modelo Command R+ 08-2024 (cohere.command-r-plus-08-2024) na infraestrutura dedicada. John exclui o cluster após 40 dias e quer saber o custo do cluster. Para hospedar um modelo cohere.command-r-plus-08-2024, John primeiro precisa identificar o tamanho da unidade que pode hospedar o modelo cohere.command-r-plus-08-2024. O tamanho da unidade para o modelo cohere.command-r-plus-08-2024 é uma unidade Large Cohere V2_2. Consulte correspondência de modelos base a clusters.

John precisa de no mínimo uma unidade Large Cohere V2_2 para hospedar o modelo cohere.command-r-plus-08-2024. Veja a seguir as etapas para calcular o custo de um cluster de hospedagem com uma unidade Large Cohere V2_2.

Calcule as horas unitárias por 40 dias.

40 days x 24 hours per day x 1 unit = 960 unit hours.

Certifique-se de que as horas unitárias excedam o compromisso mínimo para hospedar os modelos.
```
960 unit hours > 744 minimum unit hours
```
Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Large Cohere - Dedicated, encontre o <Large-Cohere-dedicated-unit-per-hour-price>.
Na página correspondência de modelos base a clusters, localize o multiplicador do modelo cohere.command-r-plus-08-2024:
```
For Hosting, Multiply the Unit Price: x 2
```

Calcule o preço por 40 dias.

price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

Hospedagem de um Modelo Básico - Exemplo 2

Alice deseja hospedar uma instância do modelo Command R 08-2024 (cohere.command-r-08-2024) em uma infraestrutura dedicada. Para hospedar um modelo cohere.command-r-08-2024, o Alice primeiro precisa identificar o tamanho da unidade que pode hospedar o modelo Command R 08-2024. O tamanho da unidade para Command R 08-2024 é uma unidade Small Cohere V2. Consulte correspondência de modelos base a clusters.

Alice decide comprar três unidades de Small Cohere V2 para lidar com um volume de chamada maior para o modelo do que uma única unidade forneceria. O Alice planeja excluir o cluster após cinco dias. Aqui estão as etapas para calcular o custo de um cluster de hospedagem com três unidades Small Cohere V2 por cinco dias.

Calcule as horas unitárias.

5 days x 24 hours per day x 3 units = 360 unit hours.

Compare as horas unitárias com o compromisso mínimo para hospedar os modelos.
```
360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
```
Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated, encontre o <Small-Cohere-dedicated-unit-per-hour-price>.
Na página correspondência de modelos base a clusters, localize o multiplicador do modelo cohere.command-r-08-2024.

Você não precisa multiplicar o preço para hospedar o modelo cohere.command-r-08-2024.

Calcule o custo por cinco dias.

price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Ajustando e Hospedando um Exemplo de Modelo

Bob deseja ajustar um modelo Command R 08-2024 (cohere.command-r-08-2024). Bob cria um cluster de IA dedicado de ajuste com o valor predefinido de oito unidades Small Cohere V2. Bob cria um modelo personalizado no cluster de IA dedicado de ajuste e ajusta o modelo básico Command R 08-2024 com dados de treinamento. O trabalho de ajuste fino leva 5 horas para ser concluído. Bob cria um cluster de ajuste fino a cada semana.

Para hospedar um modelo cohere.command-r-08-2024, Bob precisa identificar o tamanho da unidade que pode hospedar o modelo cohere.command-r-08-2024. O tamanho da unidade para o modelo cohere.command-r-08-2024 é uma unidade Small Cohere V2. Consulte correspondência de modelos base a clusters. Bob pode hospedar até 50 modelos ajustados em um único cluster de hospedagem. Aqui estão as etapas para calcular o custo mensal para ajuste fino e hospedagem dos modelos.

Calcule as horas unitárias para cada ajuste fino.

Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours

Compare as horas unitárias com o compromisso mínimo para ajustar os modelos.
```
40 unit hours > 1 unit hour
```

Calcule as horas unitárias para hospedagem.

31 days x 24 hours per day x 1 unit = 744 unit hours

Compare as horas unitárias com o compromisso mínimo para hospedar os modelos.
```
744 unit hours = 744 minimum unit hours
```
Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated, encontre o <Small-Cohere-dedicated-unit-per-hour-price>.

Encontre o preço mensal total.

fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>

hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Dica

Além de calcular o preço, você pode estimar o custo selecionando a categoria IA e Machine Learning e carregando o estimador de custos para a OCI Generative AI.