Pago por inferencias bajo demanda
Obtiene las siguientes ventajas al comprometerse a inferir bajo demanda en OCI Generative AI:
- Baja barrera para empezar a utilizar la IA generativa.
- Acceso a todos los modelos fundamentales de IA generativa disponibles.
- Ideal para experimentar y evaluar los modelos.
- Pay as you go para transacciones. Consulte la siguiente nota para obtener detalles.
Con la inferencia bajo demanda, paga a medida que avanza por las siguientes longitudes de caracteres:
- Chat: longitud de petición de datos (en caracteres) + longitud de respuesta (en caracteres)
- Incrustaciones de texto: longitud de entrada (en caracteres)
En la página Precios, 1 character se calcula como 1 transaction.
Si aloja modelos fundamentales o los ajusta en clusters de IA dedicados, se le cobrará la hora de unidad en lugar de la transacción. En este caso, consulte Pago por clusters de IA dedicados para aprender a calcular los costos de cluster de IA dedicados.
Coincidencia de modelos con precios bajo demanda
La página de fijación de precios muestra el precio de 10 000 transacciones bajo demanda cuando se utiliza el patio de recreo, la API o la CLI para la inferencia.
Vaya a la página modelos previamente entrenados y seleccione el modelo con el que desea trabajar. En la sección Modo bajo demanda, busque la información de página de precios para el modelo. A continuación, revise los ejemplos de esta sección para aprender a calcular el costo en función del número de caracteres de entrada y salida.
Ejemplo de chat
Paul llama al modelo meta.llama-3.3-70b-instruct con la siguiente petición de datos, que tiene 220 characters de longitud:
Genere un tono de producto para un micrófono compacto conectado por USB que pueda grabar sonido envolvente. El micrófono es más útil en la grabación de música o conversaciones. El micrófono también puede ser útil para grabar podcasts.
La respuesta del modelo es 2,205 characters larga. Pablo quiere saber el costo de esta llamada. Estos son los pasos para calcular el costo.
Además de calcular el precio, puede estimar el costo seleccionando la categoría IA y aprendizaje automático y cargando el estimador de costos para OCI Generative AI.
Ejemplo de incrustaciones de texto
Gina está convirtiendo los contratos de clientes en incrustaciones para una nueva aplicación de búsqueda semántica. En promedio, Gina ingiere 16 documentos cada hora. Cada documento tiene una longitud aproximada de 1,000 characters. Gina quiere obtener una estimación de la factura mensual para generar esas incrustaciones. Estos son los pasos para calcular el costo.