Documentación de Oracle Cloud Infrastructure

Cambio de modelos en clusters de IA dedicados

Cambia un modelo previamente entrenado o importado alojado en un cluster de IA dedicado en OCI Generative AI. Vuelva a utilizar el cluster si el nuevo modelo soporta la unidad completa en la misma región o cree un nuevo cluster si se necesita una unidad diferente.

Es posible que desee cambiar de modelo para agregar soporte de imagen, mejorar el razonamiento o la calidad de respuesta de una aplicación o sustituir un modelo que se está retirando. Si ya aloja el modelo actual en un cluster de IA dedicado, compare las unidades soportadas del nuevo modelo con la unidad del cluster existente antes de crear otro cluster. Este proceso también se aplica cuando se cambia entre modelos importados.

Decisión sobre la reutilización de un cluster de IA dedicado

Seleccione una unidad al crear un cluster de AI dedicado. No puede cambiar esa forma después de la creación. Para reutilizar el cluster, el nuevo modelo debe soportar la misma unidad en la región del cluster.

Compare los nombres de unidad completos, como Cohere_H100_X2 y Cohere_H100_X4, en lugar de solo el tipo de hardware, como H100. Las unidades pueden variar según el modelo y la región.

  • Si el nuevo modelo soporta la unidad existente, suprima los puntos finales del modelo actual y cree un punto final para el nuevo modelo en el mismo cluster de IA dedicado. El cluster permanece asignado.
  • Si el nuevo modelo requiere una unidad diferente, cree un nuevo cluster de IA dedicado con esa unidad y un punto final para el nuevo modelo. No es necesario suprimir el cluster original para crear el nuevo.

Por defecto, un cluster puede tener hasta 50 puntos finales para el mismo modelo alojado. Estos puntos finales comparten las réplicas del modelo del cluster, que sirven al modelo actual. Para cambiar el cluster a otro modelo, suprima todos los puntos finales del modelo actual antes de crear un punto final para el modelo de sustitución. Las solicitudes a los puntos finales suprimidos se paran; una vez que el nuevo punto final se activa, actualice las aplicaciones para utilizarlo.

Ejemplos: cambio de modelos previamente entrenados de OCI Generative AI en Ashburn

Suponga que aloja el comando Cohere A en un cluster de AI dedicado con la unidad Cohere_H100_X2 en el este de EE. UU. (Ashburn). La tabla Unidades base de Norteamérica muestra estas opciones para cambiar modelos en la misma región.

Cambio del Comando A de Cohere en Ashburn
Escenario Modelo actual Unidad de cluster actual Nuevo Modelo Unidad de cluster de destino Acción
Escenario 1 Comando A de Cohere Cohere_H100_X2 Comando Cohere Una Visión Cohere_H100_X2

Reutilice el cluster existente. Ambos modelos soportan Cohere_H100_X2. Suprima todos los puntos finales del comando A del cluster y, a continuación, cree un punto final del comando A Vision en el mismo cluster.
Escenario 2 Comando A de Cohere Cohere_H100_X2 Cohere ordena un razonamiento Cohere_H100_X4

Crear Nuevo Cluster. El comando A Reasoning necesita Cohere_H100_X4 y no puede cambiar la unidad Cohere_H100_X2 del cluster existente. Cree un nuevo cluster con la unidad necesaria y un punto final para el razonamiento del comando A.

Ejemplos: Cambio de modelos Qwen importados

Supongamos que aloja Qwen/Qwen3.6-35B-A3B en un cluster de AI dedicado con la unidad H100_X2. En estos ejemplos, la región de destino tiene disponibles H100_X1, H100_X2 y H100_X4. La página Modelos de Alibaba compatibles muestra H100_X1 como unidad de unidad H100 mínima para Qwen/Qwen3.8-27B y H100_X4 para Qwen/Qwen3-Next-80B-A3B-Instruct. El modelo Qwen/Qwen3.8-27B también soporta H100_X2 en estos ejemplos.

Cambio de Qwen/Qwen3.6-35B-A3B
Escenario Modelo actual Unidad de cluster actual Nuevo Modelo Unidad de cluster de destino Acción
Escenario 1 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X2

Reutilice el cluster existente. El nuevo modelo soporta H100_X2, aunque su unidad H100 mínima es H100_X1. Suprima todos los puntos finales para el modelo actual y, a continuación, cree un punto final para el nuevo modelo en el mismo cluster.
Escenario 2 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X1

Cree un nuevo cluster para utilizar una unidad más pequeña. El nuevo modelo puede utilizar el cluster H100_X2 existente. Para utilizar su unidad H100_X1 mínima en su lugar, cree un nuevo cluster porque no puede cambiar la unidad del cluster existente. Cree un punto final en el nuevo cluster y cambie la aplicación a él. Suprima los puntos finales y el cluster del modelo antiguo si ya no los necesita.
Escenario 3 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3-Next-80B-A3B-Instruct H100_X4

Crear Nuevo Cluster. El nuevo modelo necesita al menos H100_X4, por lo que el cluster H100_X2 existente no tiene suficientes unidades de hardware. Cree un nuevo cluster con H100_X4 y un punto final para el nuevo modelo.

Antes de suprimir el cluster de IA dedicado original

La creación de un nuevo cluster de AI dedicado es independiente de decidir si se suprime el original. Las condiciones de facturación dependen del tipo de modelo:

  • Los clusters de alojamiento para modelos personalizados y preentrenados de OCI Generative AI tienen un compromiso mínimo de 744 horas unitarias. Si suprime un cluster antes de que se alcance el mínimo, no se eliminará el cargo mínimo.
  • Los clusters de alojamiento para modelos importados no requieren el compromiso de 744 horas de unidades. En cambio, tienen una duración mínima facturable de una hora. Consulte Unidades de unidad de hardware para modelos importados.

Antes de decidir si desea suprimir el cluster original o cuándo, revise su uso, cualquier facturación mínima aplicable y si aún lo necesita para otros puntos finales o un modelo compatible. El mantenimiento de un cluster asignado continúa acumulando uso. También tenga en cuenta las condiciones de facturación del nuevo cluster. Consulte Cálculo de costos y la página de precios.

Cambio de modelos

Tiene un punto final para el modelo actual en un cluster de IA dedicado de alojamiento y ha seleccionado el modelo que desea utilizar en su lugar.

  1. Revise los detalles del cluster de AI dedicado existente y observe su región y unidad completa.
    Por ejemplo, un cluster de Cohere Command A en Ashburn utiliza Cohere_H100_X2. En los ejemplos de modelos importados, un cluster que aloja Qwen/Qwen3.6-35B-A3B utiliza H100_X2.
  2. Busque las unidades soportadas del nuevo modelo en la región del cluster y compare sus nombres completos con la unidad del cluster existente.

    Para los modelos preentrenados de OCI Generative AI, utiliza unidades de unidades de hardware básicas para modelos de OCI. En Ashburn, el comando A Vision utiliza Cohere_H100_X2, que coincide con el cluster de ejemplo. El comando A Reasoning utiliza Cohere_H100_X4, que requiere un nuevo cluster.

    Para los modelos importados, busque una unidad compatible en la página del nuevo modelo en Compatible Models y compruebe su disponibilidad regional en Hardware Unit Shapes for Imported Models. Por ejemplo, se puede volver a utilizar un cluster con H100_X2 para otro modelo importado que soporte H100_X2 en la misma región.

  3. Si el nuevo modelo soporta la unidad existente, reutilice el cluster:
    1. Suprimir todos los puntos finales para el modelo actual en el cluster.
    2. Cree un nuevo punto final para el nuevo modelo mediante el mismo cluster de IA dedicado.
    El cluster de AI dedicado permanece asignado a usted. No es necesario suprimirlo cuando la unidad no se modifica.
  4. Si el nuevo modelo necesita una unidad diferente, cree un nuevo cluster y punto final:
    1. Cree un nuevo cluster de IA dedicado de alojamiento con la unidad que necesita el nuevo modelo en su región.
    2. Después de que el nuevo cluster se active, cree un punto final para el nuevo modelo que contiene.
  5. Actualice la aplicación para utilizar el nuevo punto final y verificar sus respuestas.
    El nuevo punto final tiene su propio OCID. Actualice cualquier configuración de aplicación que haga referencia al punto final antiguo.

Si ha creado un nuevo cluster, consulte Antes de suprimir el cluster de IA dedicado original antes de decidir si desea retirar los recursos antiguos o cuándo. Si decide suprimir el cluster original, primero suprima sus puntos finales y, luego, suprima el cluster.