Pago de inferencias bajo demanda
Obtendrá las siguientes ventajas al comprometerse a inferir a demanda en OCI Generative AI:
- Baja barrera para empezar a utilizar la IA generativa.
- Acceso a todos los modelos fundamentales de IA generativa disponibles.
- Ideal para experimentar y evaluar los modelos.
- Pay as you go para transacciones. Consulte la siguiente nota para obtener más información.
Con la inferencia bajo demanda, usted paga a medida que avanza por las siguientes longitudes de caracteres:
- Chat: longitud del indicador (en caracteres) + longitud de respuesta (en caracteres)
- Incrustaciones de texto: longitud de entrada (en caracteres)
En la página de precios, 1 character se calcula como 1 transaction.
Si aloja modelos fundamentales o los ajusta en clusters de IA dedicados, se le cobrará la hora de unidad en lugar de la transacción. En este caso, consulte Pago por clusters de IA dedicados para aprender a calcular los costos de cluster de IA dedicados.
Coincidencia de modelos con precios bajo demanda
La página de precios muestra el precio de 10 000 transacciones bajo demanda o 1 000 000 tokens cuando se utiliza el patio de recreo, la API o la CLI para inferir.
Vaya a la página modelos previamente entrenados y seleccione el modelo con el que desea trabajar. En la sección Modo bajo demanda, busque la información de página de precios para el modelo. A continuación, revise los ejemplos de esta sección para aprender a calcular el costo en función del número de caracteres de entrada y salida.
Ejemplo de chat
Paul llama al modelo meta.llama-3.3-70b-instruct con la siguiente petición de datos, que tiene 220 characters de longitud:
Genere un tono de producto para un micrófono compacto conectado por USB que pueda grabar sonido envolvente. El micrófono es más útil para grabar música o conversaciones. El micrófono también puede ser útil para grabar podcasts.
La respuesta del modelo es 2,205 characters de largo. Pablo quiere saber el costo de esta llamada. Estos son los pasos para calcular el costo.
Además de calcular el precio, puede estimar el costo seleccionando la categoría IA y Machine Learning y cargando el estimador de costos para OCI Generative AI.
Ejemplo de incrustaciones de texto
Gina está convirtiendo los contratos de los clientes en incrustaciones para una nueva aplicación de búsqueda semántica. En promedio, Gina ingiere 16 documentos cada hora. Cada documento tiene aproximadamente 1,000 characters de largo. Gina quiere obtener una estimación de la factura mensual para generar esas incrustaciones. Estos son los pasos para calcular el costo.