Pago por clusters de IA dedicados
Obtiene las siguientes ventajas para utilizar clusters de IA dedicados en OCI Generative AI:
- Precios predecibles que no fluctúan con la demanda.
- Ideal para modelos de ajuste o alojamiento.
- Compromiso mínimo de alojamiento: 744 horas unitarias por cluster de hosting.
- Compromiso mínimo de ajuste: 1 unidad/hora por trabajo de ajuste fino. (Dependiendo del modelo, el ajuste fino requiere al menos 2 unidades para ejecutarse).
Los siguientes ejemplos calculan el costo del cluster de IA dedicado en OCI Generative AI. Para calcular el costo de inferencia bajo demanda, consulte Pago de inferencias bajo demanda.
Comparación de modelos con precios de unidades de cluster dedicadas
Si está alojando modelos fundamentales o ajustándolos en clusters de IA dedicados, se le cobrará por la hora de unidad en lugar de por la transacción.
Vaya a la página modelos previamente entrenados y seleccione el modelo con el que desea trabajar. En la sección Cluster de AI dedicado para el modelo, busque el tamaño de unidad para el cluster de AI dedicado que coincida con el modelo y la información de página de precios. A continuación, revise los ejemplos de esta sección para aprender a calcular el costo para el uso de estos modelos.
Algunos modelos base preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio dedicado ahora están en desuso y se retirarán antes de que transcurran 6 meses desde el lanzamiento del 1er modelo de reemplazo. Puede alojar un modelo base o ajustar un modelo base y alojar el modelo ajustado en un cluster de IA dedicado (modo de servicio dedicado) hasta que el modelo base se retiró. Para conocer las fechas de baja del modo de servicio dedicado, consulte Baja de los modelos.
Ejemplo 1 de alojamiento de un modelo básico
John desea alojar una instancia del modelo Command R+ 08-2024 (cohere.command-r-plus-08-2024) en una infraestructura dedicada. John suprime el cluster después de 40 días y desea conocer el costo del cluster. Para alojar un modelo cohere.command-r-plus-08-2024, John primero debe identificar el tamaño de unidad que puede alojar el modelo cohere.command-r-plus-08-2024. El tamaño de unidad para el modelo cohere.command-r-plus-08-2024 es una unidad Large Cohere V2_2. Consulte Dedicated AI Cluster for the Model.
John necesita un mínimo de una unidad Large Cohere V2_2 para alojar el modelo cohere.command-r-plus-08-2024. Estos son los pasos para calcular el costo de un cluster de alojamiento con una unidad Large Cohere V2_2.
Ejemplo 2 de alojamiento de un modelo básico
Alice desea alojar una instancia del modelo Command R 08-2024 (cohere.command-r-08-2024) en una infraestructura dedicada. Para alojar un modelo cohere.command-r-08-2024, Alice primero debe identificar el tamaño de unidad que puede alojar el modelo Command R 08-2024. El tamaño de la unidad para Command R 08-2024 es una unidad Small Cohere V2. Consulte Dedicated AI Cluster for the Model.
Alice decide comprar tres unidades de Small Cohere V2 para gestionar un volumen de llamadas al modelo superior al que proporcionaría una sola unidad. Alice planea suprimir el cluster después de cinco días. Estos son los pasos para calcular el costo de un cluster de alojamiento con tres unidades Small Cohere V2 durante cinco días.
Ejemplo de ajuste y alojamiento de un modelo
Bob desea ajustar un modelo Command R 08-2024 (cohere.command-r-08-2024). Bob crea un cluster de IA dedicado a ajuste fino con el valor predefinido de ocho unidades Small Cohere V2. Bob crea un modelo personalizado en el cluster de IA fine-tuning Dedicated y ajusta el modelo básico Command R 08-2024 con datos de entrenamiento. El trabajo de ajuste fino tarda 5 horas en completarse. Bob crea un cluster de ajuste fino cada semana.
Para alojar un modelo cohere.command-r-08-2024, Bob necesita identificar el tamaño de unidad que puede alojar el modelo cohere.command-r-08-2024. El tamaño de unidad para el modelo cohere.command-r-08-2024 es una unidad Small Cohere V2. Consulte Dedicated AI Cluster for the Model. Bob puede alojar hasta 50 modelos ajustados en un único cluster de alojamiento. Estos son los pasos para calcular el costo mensual para ajustar y alojar los modelos.
Además de calcular el precio, puede estimar el costo seleccionando la categoría IA y aprendizaje automático y cargando el estimador de costos para OCI Generative AI.