Documentação do Oracle Cloud Infrastructure

Pagando por Inferência sob Demanda

Você obtém os seguintes benefícios ao se comprometer com a inferência sob demanda na OCI Generative AI:

  • Baixa barreira para começar a usar a IA generativa.
  • Acesso a todos os modelos de base de IA generativa disponíveis.
  • Ótimo para experimentar e avaliar os modelos.
  • Pay as you go para transações. Consulte a observação a seguir para obter detalhes.
Observação

Com a inferência sob demanda, você paga conforme vai pelos seguintes comprimentos de caracteres:

  • Bate-papo: tamanho do prompt (em caracteres) + tamanho da resposta (em caracteres)
  • Incorporações de Texto: tamanho da entrada (em caracteres)

Na página Preços, 1 character é calculado como 1 transaction.

Se você estiver hospedando modelos fundamentais ou ajustando-os em clusters de IA dedicados, será cobrado pela hora da unidade em vez da transação. Nesse caso, consulte Pagando por Clusters de IA Dedicados para saber como calcular os custos de cluster de IA dedicados.

Correspondendo Modelos a Preços sob Demanda

Consulte as tabelas a seguir para corresponder um modelo básico ao nome do produto na página de preços. A página de preços lista o preço de 10.000 transações sob demanda ao usar o playground, a API ou a CLI para inferência.

Modelos de Chat

Nome do Modelo Nome do Modelo do OCI Nome do Produto da Página de Preços
Cohere Command A cohere.command-a-03-2025 Large Cohere
Cohere Command R 08-2024 cohere.command-r-08-2024 Small Cohere
Cohere Command R+ 08-2024 cohere.command-r-plus-08-2024 Large Cohere
Cohere Command R cohere.command-r-16k (obsoleto) Small Cohere
Cohere Command R+ cohere.command-r-plus (obsoleto) Large Cohere
Meta Llama 4 Maverick meta.llama-4-maverick-17b-128e-instruct-fp8 Meta Llama 4 Maverick
Meta Llama 4 Scout meta.llama-4-scout-17b-16e-instruct Meta Llama 4 Scout
Meta Lama 3.3 meta.llama-3.3-70b-instruct Large Meta
Meta Llama 3.2 11B Vision meta.llama-3.2-11b-vision-instruct Large Meta
Meta Llama 3.2 90B Vision meta.llama-3.2-90b-vision-instruct Large Meta
Meta Llama 3.1 (70B) meta.llama-3.1-70b-instruct Large Meta
Meta Llama 3.1 (405B) meta.llama-3.1-405b-instruct Meta Llama 3.1 405B
Meta Llama 3 meta.llama-3-70b-instruct (obsoleto) Large Meta
Importante

Os modelos de resumo e geração de texto suportados para o modo sob demanda agora estão retirados. Recomendamos que você use os modelos de chat.

Incorporando Modelos

Nome do Modelo Nome do Modelo do OCI Nome do Produto da Página de Preços
Cohere Incorporar Imagem em Inglês V3 cohere.embed-english-image-v3.0 Embed Cohere
Cohere Embed Multilingual Image V3 cohere.embed-multilingual-image-v3.0 Embed Cohere
Cohere Embed English Light Image V3 cohere.embed-english-light-image-v3.0 Embed Cohere
Cohere Embed Multilingual Light Image V3 cohere.embed-multilingual-light-image-v3.0 Embed Cohere
Cohere Embed English V3 cohere.embed-english-v3.0 Embed Cohere
Cohere Embed Multilingual V3 cohere.embed-multilingual-v3.0 Embed Cohere
Cohere Embed English Light V3 cohere.embed-english-light-v3.0 Embed Cohere
Cohere Embed Multilingual Light V3 cohere.embed-multilingual-light-v3.0 Embed Cohere

Exemplo de Chat

Paul chama o modelo meta.llama-3.3-70b-instruct com o seguinte prompt, que é 220 characters longo:

Gere um passo de produto para um microfone compacto conectado por USB que possa gravar o som surround. O microfone é mais útil na gravação de música ou conversas. O microfone também pode ser útil para gravar podcasts.

A resposta do modelo é 2,205 characters longa. Paulo quer saber o custo desta chamada. Aqui estão as etapas para calcular o custo.

  1. Calcule o tamanho do prompt + resposta (em caracteres).

    Vamos adicionar o tamanho do prompt (220 caracteres) e o tamanho da resposta do modelo (2.205 caracteres).

    prompt + response length = 220 + 2,205 = 2,425 characters
  2. Calcule o número de transações.

    Os preços são listados para 10.000 transações.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
  3. Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Large Meta, localize <Large-Meta-unit-price>.
    Paul usa o modelo meta.llama-3.3-70b-instruct que se encaixa no produto, Generative AI OCI - Large Meta na página Preços de IA para IA generativa.
  4. Calcule o preço de 1.838 caracteres. 
    price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>
Dica

Além de calcular o preço, você pode estimar o custo selecionando a categoria IA e Machine Learning e carregando o estimador de custos para a OCI Generative AI.

Exemplo de Incorporações de Texto

A Gina está convertendo contratos de clientes em incorporações para um novo aplicativo de pesquisa semântica. Em média, Gina ingere 16 documentos a cada hora. Cada documento é de aproximadamente 1,000 characters longo. Gina quer obter uma estimativa da conta mensal para gerar esses embeddings. Aqui estão as etapas para calcular o custo.

  1. Calcule o tamanho de entrada (em caracteres).

    Vamos adicionar o comprimento do caractere de entrada para cada hora.

    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. Vá para Preços de IA e, em OCI Generative AI, para Oracle Cloud Infrastructure Generative AI - Incorpore Cohere, encontre o <Embed-Cohere-unit-price>.
    A Gina usa o modelo cohere.embed que se associa ao produto, Oracle Cloud Infrastructure Generative AI - Embed Cohere na página Preços de IA para IA generativa.
  3. Calcule o número de transações por hora.

    Gina ingere 16.000 caracteres por hora. Os preços são listados para 10.000 transações.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Encontre o preço por hora dos 16.000 caracteres que Gina ingere por hora. 
    hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. Encontre o preço mensal para o mês mais longo do ano. 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price