Pago por clusters de IA dedicados
Obtiene las siguientes ventajas para utilizar clusters de IA dedicados en OCI Generative AI:
- Precios predecibles que no fluctúan con la demanda.
- Ideal para modelos de ajuste o alojamiento.
- Compromiso mínimo de alojamiento: 744 horas unitarias por cluster de hosting.
- Compromiso mínimo de ajuste: 1 unidad/hora por trabajo de ajuste fino. (Dependiendo del modelo, el ajuste fino requiere al menos 2 unidades para ejecutarse).
Para averiguar qué modelos están disponibles para el ajuste, consulte Coincidencia de modelos base con clusters.
Los siguientes ejemplos calculan el costo del cluster de IA dedicado en OCI Generative AI. Para calcular el costo de inferencia bajo demanda, consulte Pago de inferencias bajo demanda.
Comparación de modelos con precios de unidades de cluster dedicadas
Si está alojando modelos fundamentales o ajustándolos en clusters de IA dedicados, se le cobrará la hora de unidad en lugar de por transacción. En este caso, consulte la siguiente tabla para calcular el costo del cluster de IA dedicado para los modelos de chat.
Algunos modelos base preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio dedicado ahora están en desuso y se retirarán antes de que transcurran 6 meses desde el lanzamiento del 1er modelo de reemplazo. Puede alojar un modelo base o ajustar un modelo base y alojar el modelo ajustado en un cluster de IA dedicado (modo de servicio dedicado) hasta que el modelo base se retiró. Para conocer las fechas de baja del modo de servicio dedicado, consulte Baja de los modelos.
Modelos de chat
| Modelo base | Cluster de ajuste | Alojamiento de cluster | Información de Página de Precios | Solicitar aumento del límite de cluster |
|---|---|---|---|---|
|
No disponible para ajuste fino |
|
|
|
|
No disponible para ajuste fino |
|
|
|
|
No disponible para ajuste fino |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
No disponible para ajuste fino |
|
|
|
|
No disponible para ajuste fino |
|
|
|
|
|
|
|
|
|
No disponible para ajuste fino |
|
|
|
|
No disponible para ajuste |
|
|
|
|
|
|
|
|
|
No disponible para ajuste |
|
|
|
|
|
|
|
|
Debe solicitar un aumento del límite para utilizar los siguientes recursos:
Familia Meta Llama
-
Para alojar un modelo Meta Llama 4 Maverick, debe solicitar que
dedicated-unit-llama2-70-countaumente en 4. -
Para alojar un modelo Meta Llama 4 Scout, debe solicitar que
dedicated-unit-llama2-70-countaumente en 2. -
Para alojar un modelo Meta Llama 3.3 (70B), debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 2. -
Para ajustar un modelo Meta Llama 3.3 (70B), debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 4. -
Para alojar un modelo Meta Llama 3.2 11B Vision , debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 1. -
Para alojar un modelo Meta Llama 3.2 90B Vision , debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 2. -
Para alojar un modelo Meta Llama 3.1 (70B), debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 2. -
Para ajustar un modelo Meta Llama 3.1 (70B), debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 4. -
Para alojar un modelo Meta Llama 3.1 (405B), debe solicitar
dedicated-unit-llama2-70-countpara aumentar en 4.
Familia de Comandos de Cohere
-
Para alojar un modelo Cohere Command A, debe solicitar que
dedicated-unit-large-cohere-countaumente en 1. -
Para alojar un modelo Cohere Command R (en desuso), debe solicitar que
dedicated-unit-small-cohere-countaumente en 1. -
Para ajustar un modelo Cohere Command R (en desuso), debe solicitar que
dedicated-unit-small-cohere-countaumente en 8. -
Para alojar un modelo Cohere Command R 08-2024, debe solicitar
dedicated-unit-small-cohere-countpara aumentar en 1. -
Para ajustar un modelo Cohere Command R 08-2024, debe solicitar
dedicated-unit-small-cohere-countpara aumentar en 8. -
Para alojar un modelo Cohere Command R+ (en desuso), debe solicitar que
dedicated-unit-large-cohere-countaumente en 2. -
Para alojar un modelo Cohere Command R+ 08-2024, debe solicitar
dedicated-unit-large-cohere-countpara aumentar en 2.
Referencias: Límites de servicio para la IA generativa y Solicitud de aumento del límite de cluster
Para la generación de texto, el resumen y los modelos de incrustación de texto, consulte las tablas de Coincidencia de modelos base con clusters.
Ejemplo 1 de alojamiento de un modelo básico
John desea alojar una instancia del modelo Command R+ 08-2024 (cohere.command-r-plus-08-2024) en una infraestructura dedicada. John suprime el cluster después de 40 días y desea conocer el costo del cluster. Para alojar un modelo cohere.command-r-plus-08-2024, John primero debe identificar el tamaño de unidad que puede alojar el modelo cohere.command-r-plus-08-2024. El tamaño de unidad para el modelo cohere.command-r-plus-08-2024 es una unidad Large Cohere V2_2. Consulte coincidencia de modelos base con clusters.
John necesita un mínimo de una unidad Large Cohere V2_2 para alojar el modelo cohere.command-r-plus-08-2024. Estos son los pasos para calcular el costo de un cluster de alojamiento con una unidad Large Cohere V2_2.
Ejemplo 2 de alojamiento de un modelo básico
Alice desea alojar una instancia del modelo Command R 08-2024 (cohere.command-r-08-2024) en una infraestructura dedicada. Para alojar un modelo cohere.command-r-08-2024, Alice primero debe identificar el tamaño de unidad que puede alojar el modelo Command R 08-2024. El tamaño de la unidad para Command R 08-2024 es una unidad Small Cohere V2. Consulte coincidencia de modelos base con clusters.
Alice decide comprar tres unidades de Small Cohere V2 para gestionar un volumen de llamadas al modelo superior al que proporcionaría una sola unidad. Alice planea suprimir el cluster después de cinco días. Estos son los pasos para calcular el costo de un cluster de alojamiento con tres unidades Small Cohere V2 durante cinco días.
Ejemplo de ajuste y alojamiento de un modelo
Bob desea ajustar un modelo Command R 08-2024 (cohere.command-r-08-2024). Bob crea un cluster de IA dedicado a ajuste fino con el valor predefinido de ocho unidades Small Cohere V2. Bob crea un modelo personalizado en el cluster de IA fine-tuning Dedicated y ajusta el modelo básico Command R 08-2024 con datos de entrenamiento. El trabajo de ajuste fino tarda 5 horas en completarse. Bob crea un cluster de ajuste fino cada semana.
Para alojar un modelo cohere.command-r-08-2024, Bob necesita identificar el tamaño de unidad que puede alojar el modelo cohere.command-r-08-2024. El tamaño de unidad para el modelo cohere.command-r-08-2024 es una unidad Small Cohere V2. Consulte coincidencia de modelos base con clusters. Bob puede alojar hasta 50 modelos ajustados en un único cluster de alojamiento. Estos son los pasos para calcular el costo mensual para ajustar y alojar los modelos.
Además de calcular el precio, puede estimar el costo seleccionando la categoría IA y aprendizaje automático y cargando el estimador de costos para OCI Generative AI.