Pago por clusters de IA dedicados
Obtendrás las siguientes ventajas de utilizar clusters de IA dedicados en OCI Generative AI:
- Precios predecibles que no fluctúan con la demanda.
- Ideal para ajustar o alojar modelos.
- Compromiso de alojamiento mínimo: 744 horas-unidad por cluster de hosting.
- Compromiso mínimo de ajuste: 1 unidad de hora por trabajo de ajuste correcto. (Según el modelo, el ajuste requiere al menos 2 unidades para ejecutarse).
Los siguientes ejemplos calculan el costo del clúster de IA dedicado en OCI Generative AI. Para calcular el costo de inferencia bajo demanda, consulte Pago por inferencia bajo demanda.
Modelos de coincidencia con precios unitarios de cluster dedicados
Si está alojando modelos fundamentales o ajustándolos en clusters de IA dedicados, se le cobrará por la hora de unidad en lugar de por la transacción.
Vaya a la página modelos previamente entrenados y seleccione el modelo con el que desea trabajar. En la sección Cluster de AI dedicado para el modelo, busque el tamaño de unidad para el cluster de AI dedicado que coincida con el modelo y la información de página de precios. A continuación, revise los ejemplos de esta sección para aprender a calcular el costo para el uso de estos modelos.
Algunos modelos base preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio dedicado ahora están en desuso y se retirarán antes de que transcurran 6 meses desde el lanzamiento del 1er modelo de reemplazo. Puede alojar un modelo base o ajustar un modelo base y alojar el modelo ajustado en un cluster de IA dedicado (modo de servicio dedicado) hasta que el modelo base se retiró. Para conocer las fechas de baja del modo de servicio dedicado, consulte Baja de los modelos.
Ejemplo 1 de alojamiento de un modelo básico
John desea alojar una instancia del modelo Command R+ 08-2024 (cohere.command-r-plus-08-2024) en una infraestructura dedicada. John suprime el cluster después de 40 días y desea conocer el costo del cluster. Para alojar un modelo cohere.command-r-plus-08-2024, John primero debe identificar el tamaño de unidad que puede alojar el modelo cohere.command-r-plus-08-2024. El tamaño de unidad para el modelo cohere.command-r-plus-08-2024 es una unidad Large Cohere V2_2. Consulte Dedicated AI Cluster for the Model.
John necesita un mínimo de una unidad Large Cohere V2_2 para alojar el modelo cohere.command-r-plus-08-2024. Estos son los pasos para calcular el costo de un cluster de alojamiento con una unidad Large Cohere V2_2.
Ejemplo 2 de alojamiento de un modelo básico
Alice desea alojar una instancia del modelo Command R 08-2024 (cohere.command-r-08-2024) en una infraestructura dedicada. Para alojar un modelo cohere.command-r-08-2024, Alice primero debe identificar el tamaño de unidad que puede alojar el modelo Command R 08-2024. El tamaño de la unidad para Command R 08-2024 es una unidad Small Cohere V2. Consulte Dedicated AI Cluster for the Model.
Alice decide comprar tres unidades de Small Cohere V2 para manejar un mayor volumen de llamadas al modelo de lo que proporcionaría una sola unidad. Alice planea suprimir el cluster después de cinco días. A continuación, se muestran los pasos para calcular el costo de un cluster de alojamiento con tres unidades Small Cohere V2 durante cinco días.
Ejemplo de ajuste y alojamiento de un modelo
Bob desea ajustar un modelo Command R 08-2024 (cohere.command-r-08-2024). Bob crea un cluster de AI fine-tuning Dedicated con el valor predefinido de ocho unidades Small Cohere V2. Bob crea un modelo personalizado en el cluster de IA de ajuste dedicado y ajusta el modelo básico Command R 08-2024 con datos de entrenamiento. El trabajo de ajuste tarda 5 horas en completarse. Bob crea un cluster de ajuste cada semana.
Para alojar un modelo cohere.command-r-08-2024, Bob necesita identificar el tamaño de unidad que puede alojar el modelo cohere.command-r-08-2024. El tamaño de unidad para el modelo cohere.command-r-08-2024 es una unidad Small Cohere V2. Consulte Dedicated AI Cluster for the Model. Bob puede alojar hasta 50 modelos ajustados en un único cluster de alojamiento. Estos son los pasos para calcular el costo mensual para ajustar y alojar los modelos.
Además de calcular el precio, puede estimar el costo seleccionando la categoría IA y Machine Learning y cargando el estimador de costos para OCI Generative AI.