Documentação do Oracle Cloud Infrastructure

Pagando por Clusters de IA Dedicados

Você obtém os seguintes benefícios para usar clusters de IA dedicados na OCI Generative AI:

  • Preços previsíveis que não flutuam com a demanda.
  • Ótimo para ajustar ou hospedar modelos.
  • Compromisso mínimo de hospedagem: 744 unidades-horas por cluster de hospedagem.
  • Compromisso mínimo de ajuste: 1 unidade por hora por tarefa de ajuste. (Dependendo do modelo, o ajuste fino requer pelo menos 2 unidades para ser executado).

Os exemplos a seguir calculam o custo do cluster de IA dedicado na OCI Generative AI. Para calcular o custo de inferência sob demanda, consulte Pagando por inferência sob demanda.

Combinando Modelos com Preços de Unidade de Cluster Dedicado

Se você estiver hospedando modelos básicos ou ajustando-os em clusters de IA dedicados, será cobrado pela hora da unidade em vez de pela transação.

Vá para a página modelos pré-treinados e selecione o modelo com o qual deseja trabalhar. Na seção Cluster de IA Dedicado para o Modelo, localize o tamanho da unidade do cluster de IA dedicado que corresponde ao modelo e às Informações da Página de Preços. Em seguida, revise os exemplos nesta seção para saber como calcular o custo de uso desses modelos.

Importante

Alguns modelos básicos pré-treinados da OCI Generative AI suportados para o modo de serviço dedicado agora estão obsoletos e serão descontinuados no máximo 6 meses após o lançamento do 1º modelo de substituição. Você pode hospedar um modelo base ou ajustar um modelo base e hospedar o modelo ajustado em um cluster de IA dedicado (modo de serviço dedicado) até que o modelo base seja retirado. Para datas de desativação do modo de serviço dedicado, consulte Desativando os Modelos.

Hospedagem de um Modelo Básico - Exemplo 1

John deseja hospedar uma instância do modelo Command R+ 08-2024 (cohere.command-r-plus-08-2024) na infraestrutura dedicada. John exclui o cluster após 40 dias e quer saber o custo do cluster. Para hospedar um modelo cohere.command-r-plus-08-2024, John primeiro precisa identificar o tamanho da unidade que pode hospedar o modelo cohere.command-r-plus-08-2024. O tamanho da unidade para o modelo cohere.command-r-plus-08-2024 é uma unidade Large Cohere V2_2. Consulte Cluster de IA Dedicado para o Modelo.

John precisa de no mínimo uma unidade Large Cohere V2_2 para hospedar o modelo cohere.command-r-plus-08-2024. Veja a seguir as etapas para calcular o custo de um cluster de hospedagem com uma unidade Large Cohere V2_2.

  1. Calcule as horas unitárias por 40 dias. 
    40 days x 24 hours per day x 1 unit = 960 unit hours.
  2. Certifique-se de que as horas unitárias excedam o compromisso mínimo para hospedar os modelos. 
    960 unit hours > 744 minimum unit hours
  3. Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Large Cohere - Dedicated, encontre o <Large-Cohere-dedicated-unit-per-hour-price>.
  4. Na seção de cluster de IA dedicado da seção Cluster de IA Dedicado para o Modelo, localize o multiplicador do modelo cohere.command-r-plus-08-2024: 
    
                                For Hosting, Multiply the Unit Price: x 2
  5. Calcule o preço por 40 dias. 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

Hospedagem de um Modelo Básico - Exemplo 2

Alice deseja hospedar uma instância do modelo Command R 08-2024 (cohere.command-r-08-2024) em uma infraestrutura dedicada. Para hospedar um modelo cohere.command-r-08-2024, o Alice primeiro precisa identificar o tamanho da unidade que pode hospedar o modelo Command R 08-2024. O tamanho da unidade para Command R 08-2024 é uma unidade Small Cohere V2. Consulte Cluster de IA Dedicado para o Modelo.

Alice decide comprar três unidades de Small Cohere V2 para lidar com um volume de chamada maior para o modelo do que uma única unidade forneceria. O Alice planeja excluir o cluster após cinco dias. Aqui estão as etapas para calcular o custo de um cluster de hospedagem com três unidades Small Cohere V2 por cinco dias.

  1. Calcule as horas unitárias. 
    5 days x 24 hours per day x 3 units = 360 unit hours.
  2. Compare as horas unitárias com o compromisso mínimo para hospedar os modelos. 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated, encontre o <Small-Cohere-dedicated-unit-per-hour-price>.
  4. Na seção Cluster de IA Dedicado para o Modelo, localize o multiplicador do modelo cohere.command-r-08-2024.

    Você não precisa multiplicar o preço para hospedar o modelo cohere.command-r-08-2024.

  5. Calcule o custo por cinco dias. 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Ajustando e Hospedando um Exemplo de Modelo

Bob deseja ajustar um modelo Command R 08-2024 (cohere.command-r-08-2024). Bob cria um cluster de IA dedicado de ajuste com o valor predefinido de oito unidades Small Cohere V2. Bob cria um modelo personalizado no cluster de IA dedicado de ajuste e ajusta o modelo básico Command R 08-2024 com dados de treinamento. O trabalho de ajuste fino leva 5 horas para ser concluído. Bob cria um cluster de ajuste fino a cada semana.

Para hospedar um modelo cohere.command-r-08-2024, Bob precisa identificar o tamanho da unidade que pode hospedar o modelo cohere.command-r-08-2024. O tamanho da unidade para o modelo cohere.command-r-08-2024 é uma unidade Small Cohere V2. Consulte Cluster de IA Dedicado para o Modelo. Bob pode hospedar até 50 modelos ajustados em um único cluster de hospedagem. Aqui estão as etapas para calcular o custo mensal para ajuste fino e hospedagem dos modelos.

  1. Calcule as horas unitárias para cada ajuste fino. 
    Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours
  2. Compare as horas unitárias com o compromisso mínimo para ajustar os modelos. 
    40 unit hours > 1 unit hour
  3. Calcule as horas unitárias para hospedagem. 
    31 days x 24 hours per day x 1 unit = 744 unit hours
  4. Compare as horas unitárias com o compromisso mínimo para hospedar os modelos. 
    744 unit hours = 744 minimum unit hours
  5. Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated, encontre o <Small-Cohere-dedicated-unit-per-hour-price>.
  6. Encontre o preço mensal total. 
    fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>
                                
    hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
                                
    total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
Dica

Além de calcular o preço, você pode estimar o custo selecionando a categoria IA e Machine Learning e carregando o estimador de custos para a OCI Generative AI.