Pago por inferencias bajo demanda
Obtiene las siguientes ventajas al comprometerse a inferir bajo demanda en OCI Generative AI:
- Baja barrera para empezar a utilizar la IA generativa.
- Acceso a todos los modelos fundamentales de IA generativa disponibles.
- Ideal para experimentar y evaluar los modelos.
- Pay as you go para transacciones. Consulte la siguiente nota para obtener detalles.
Con la inferencia bajo demanda, paga a medida que avanza por las siguientes longitudes de caracteres:
- Chat: longitud de petición de datos (en caracteres) + longitud de respuesta (en caracteres)
- Incrustaciones de texto: longitud de entrada (en caracteres)
En la página Precios, 1 character se calcula como 1 transaction.
Si aloja modelos fundamentales o los ajusta en clusters de IA dedicados, se le cobrará la hora de unidad en lugar de la transacción. En este caso, consulte Pago por clusters de IA dedicados para obtener más información sobre cómo calcular los costos del cluster de IA dedicado.
Coincidencia de modelos con precios bajo demanda
Consulte las siguientes tablas para hacer coincidir un modelo fundamental con el nombre del producto en la página de precios. La página de fijación de precios muestra el precio de 10 000 transacciones bajo demanda cuando se utiliza el patio de recreo, la API o la CLI para la inferencia.
Modelos de chat
| Nombre del Modelo | Nombre de modelo de OCI | Nombre de producto de página de asignación de precios |
|---|---|---|
| Cohere Command A | cohere.command-a-03-2025 |
Large Cohere |
| Cohere: Command R 08-2024 | cohere.command-r-08-2024 |
Small Cohere |
| Cohere Command R+ 08-2024 | cohere.command-r-plus-08-2024 |
Large Cohere |
| Cohere Command R | cohere.command-r-16k (en desuso) |
Small Cohere |
| Cohere Command R+ | cohere.command-r-plus (en desuso) |
Large Cohere |
| Meta Llama 4 Maverick | meta.llama-4-maverick-17b-128e-instruct-fp8 |
Meta Llama 4 Maverick |
| Meta Llama 4 Scout | meta.llama-4-scout-17b-16e-instruct |
Meta Llama 4 Scout |
| Meta Llama 3.3 | meta.llama-3.3-70b-instruct |
Large Meta |
| Meta Llama 3.2 11B Vision | meta.llama-3.2-11b-vision-instruct |
Large Meta |
| Meta Llama 3.2 90B Vision | meta.llama-3.2-90b-vision-instruct |
Large Meta |
| Meta Llama 3.1 (70B) | meta.llama-3.1-70b-instruct |
Large Meta |
| Meta Llama 3.1 (405B) | meta.llama-3.1-405b-instruct |
Meta Llama 3.1 405B |
| Meta Llama 3 | meta.llama-3-70b-instruct (en desuso) |
Large Meta |
Los modelos de generación de texto y resumen soportados para el modo bajo demanda ahora están retirados. Le recomendamos que utilice las modelos de chat en su lugar.
Embebido de modelos
| Nombre del Modelo | Nombre de modelo de OCI | Nombre de producto de página de asignación de precios |
|---|---|---|
| Imagen en inglés de Cohere Embed V3 | cohere.embed-english-image-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual Image V3 | cohere.embed-multilingual-image-v3.0 |
Embed Cohere |
| Cohere Embed English Light Image V3 | cohere.embed-english-light-image-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual Light Image V3 | cohere.embed-multilingual-light-image-v3.0 |
Embed Cohere |
| Cohere Embed English V3 | cohere.embed-english-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual V3 | cohere.embed-multilingual-v3.0 |
Embed Cohere |
| Cohere Embed English Light V3 | cohere.embed-english-light-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual Light V3 | cohere.embed-multilingual-light-v3.0 |
Embed Cohere |
Ejemplo de chat
Paul llama al modelo meta.llama-3.3-70b-instruct con la siguiente petición de datos, que tiene 220 characters de longitud:
Genere un tono de producto para un micrófono compacto conectado por USB que pueda grabar sonido envolvente. El micrófono es más útil en la grabación de música o conversaciones. El micrófono también puede ser útil para grabar podcasts.
La respuesta del modelo es 2,205 characters larga. Pablo quiere saber el costo de esta llamada. Estos son los pasos para calcular el costo.
Además de calcular el precio, puede estimar el costo seleccionando la categoría IA y aprendizaje automático y cargando el estimador de costos para OCI Generative AI.
Ejemplo de incrustaciones de texto
Gina está convirtiendo los contratos de clientes en incrustaciones para una nueva aplicación de búsqueda semántica. En promedio, Gina ingiere 16 documentos cada hora. Cada documento tiene una longitud aproximada de 1,000 characters. Gina quiere obtener una estimación de la factura mensual para generar esas incrustaciones. Estos son los pasos para calcular el costo.