Documentación de Oracle Cloud Infrastructure

Creación de un cluster de IA dedicado para alojar modelos

Crea un recurso de cluster de IA dedicado en OCI Generative AI para alojar puntos finales para modelos base preentrenados y modelos personalizados.

Importante

  • No disponible bajo demanda: todos los modelos preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio bajo demanda que utilizan las API de generación y resumen de texto (incluido el patio de recreo) ahora están retirados. Le recomendamos que utilice las modelos de chat en su lugar.
  • Se puede alojar en clusters: si aloja un modelo de generación o resumen, como cohere.command, en un cluster de IA dedicado (modo de servicio dedicado), puede seguir utilizando ese modelo hasta que se reciba. Estos modelos, cuando se alojan en un cluster de IA dedicado, solo están disponibles en el medio oeste de EE. UU. (Chicago). Consulte Baja de los modelos para conocer las fechas y definiciones de baja.
    1. En la página de lista Clusters de IA dedicados, seleccione Crear cluster de IA dedicado. Si necesita ayuda para encontrar la página de lista, consulte Listing Dedicated AI Clusters.
    2. Seleccione un compartimento en el que crear el cluster de AI dedicado. El compartimento por defecto es el que ha seleccionado en la página de lista, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
    3. (Opcional) Introduzca un nombre y una descripción para el cluster. Si no introduce un nombre, el sistema generará uno que podrá cambiar más tarde.

      El nombre generado tiene el formato generativeaidedicatedaicluster<timestamp>. Por ejemplo: generativeaidedicatedaicluster20250922181431

    4. Para Tipo de cluster, seleccione Alojamiento.
    5. En Modelo base, seleccione el modelo base fundamental para los modelos que desea alojar en este cluster. La lista de modelos incluye solo los modelos base que no se han dado de baja aún para el modo bajo demanda.
      Para el tamaño de la unidad de cluster dedicada y las reglas sobre los puntos finales de los modelos alojados en el cluster, seleccione el modelo base que se muestra en la página Modelos básicos previamente entrenados en IA generativa.
    6. (Opcional) Aumente el número de instancias en el campo Réplica de modelo.
      Importante

      Al crear un cluster para alojar modelos para inferencia, por defecto se crea una unidad para el modelo base seleccionado. Para aumentar el rendimiento global, puede aumentar el número de instancias en el campo Réplica de modelo ahora o más tarde al editar el cluster. Por ejemplo, la creación de dos réplicas de modelo en este cluster requiere dos unidades.
    7. Lea las horas de unidad de compromiso para el cluster de hosting y seleccione la casilla de control para aceptar el compromiso.
    8. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este cluster.
    9. Seleccione Crear.
    Nota

    Los clusters tardan unos minutos en crearse. Después de que el cluster esté en estado activo, puede seleccionar ese cluster para alojar un modelo al crear un punto final para ese modelo.

  • Utilice el comando dedicated-AI-cluster create y los parámetros necesarios para crear un cluster de AI dedicado:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Ejecute la operación CreateDedicatedAiCluster para crear un cluster dedicado.