Pagando por Inferência sob Demanda
Você obtém os seguintes benefícios confirmando a inferência sob demanda na IA Gerativa do OCI:
- Baixa barreira para começar a usar a IA Gerativa.
- Acesso a todos os modelos básicos de IA generativa disponíveis.
- Ótimo para experimentar e avaliar os modelos.
- Pay as you go para transações. Consulte a observação a seguir para obter detalhes.
Com a inferência sob demanda, você paga conforme vai pelos seguintes comprimentos de caracteres:
- Bate-papo: tamanho do prompt (em caracteres) + tamanho da resposta (em caracteres)
- Geração de texto: tamanho do prompt (em caracteres) + tamanho da resposta (em caracteres)
- Resumo: tamanho do prompt (em caracteres) + tamanho da resposta (em caracteres)
- Incorporações de Texto: tamanho da entrada (em caracteres)
Os exemplos a seguir calculam o custo de inferência sob demanda para geração de texto e incorporações de texto no OCI Generative AI. Para calcular o custo do cluster do AI dedicado, consulte Pagando por Clusters do AI Dedicados.
Correspondendo um Modelo Fundamental a um Produto
Para localizar o preço unitário de 10.000 transações de inferência sob demanda, corresponda ao modelo básico usado para inferência ao produto na tabela a seguir.
| Recurso | Modelo Base Fundamental | Produto para Inferência sob Demanda na Página Preços |
|---|---|---|
| Chat | meta.llama-3-70b-instruct |
Oracle Cloud Infrastructure IA Gerativa - Grande Meta |
| Chat | cohere.command-r-plus |
Oracle Cloud Infrastructure IA Gerativa - Grande Cohere V2 |
| Chat | cohere.command-r-16k |
Oracle Cloud Infrastructure IA Gerativa - Small Cohere V2 |
| Geração de Texto | cohere.command |
Oracle Cloud Infrastructure IA Gerativa - Grande Cohere |
| Geração de Texto | cohere.command-light |
Oracle Cloud Infrastructure IA Gerativa - Small Cohere |
| Geração de Texto | meta.llama2_70b-chat |
Oracle Cloud Infrastructure IA Gerativa - Grande Meta |
| Sumarização | cohere.command |
Oracle Cloud Infrastructure IA Gerativa - Grande Cohere |
| Incorporação | cohere.embed |
Oracle Cloud Infrastructure IA Gerativa - Incorpore a Cohere |
Os exemplos a seguir calculam o custo de inferência sob demanda para geração de texto e incorporações de texto no OCI Generative AI. Para calcular o custo do cluster do AI dedicado, consulte Pagando por Clusters do AI Dedicados.
Exemplo de Chat
Paul chama o modelo meta.llama-3-70b-instruct com o seguinte prompt, que é 220 characters longo:
Gere um passo de produto para um microfone compacto conectado por USB que possa gravar o som surround. O microfone é mais útil na gravação de música ou conversas. O microfone também pode ser útil para gravar podcasts.
A resposta do modelo é 1,618 characters longa. Paulo quer saber o custo desta chamada. Aqui estão as etapas para calcular o custo.
Exemplo de Geração de Texto
Paul chama o modelo cohere.command com o seguinte prompt, que é 220 characters longo:
Gere um passo de produto para um microfone compacto conectado por USB que possa gravar o som surround. O microfone é mais útil na gravação de música ou conversas. O microfone também pode ser útil para gravar podcasts.
A resposta do modelo é 1,618 characters longa. Paulo quer saber o custo desta chamada. Aqui estão as etapas para calcular o custo.
Exemplo de Incorporações de Texto
A Gina está convertendo contratos de clientes em incorporações para um novo aplicativo de pesquisa semântica. Em média, Gina ingere 16 documentos a cada hora. Cada documento é de aproximadamente 1,000 characters longo. Gina quer obter uma estimativa da conta mensal para gerar esses embeddings. Aqui estão as etapas para calcular o custo.