Documentación de Oracle Cloud Infrastructure

Creación de un cluster de IA dedicado para alojar modelos

Cree un recurso de cluster de IA dedicado en OCI Generative AI para alojar puntos finales para modelos base previamente entrenados, modelos personalizados o modelos importados.

Importante

  • No disponible bajo demanda: todos los modelos preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio bajo demanda que utilizan las API de generación y resumen de texto (incluido el patio de recreo) ahora están retirados. Le recomendamos que utilice las modelos de chat en su lugar.
  • Se puede alojar en clusters: si aloja un modelo de generación o resumen, como cohere.command, en un cluster de IA dedicado (modo de servicio dedicado), puede seguir utilizando ese modelo hasta que se reciba. Estos modelos, cuando se alojan en un cluster de IA dedicado, solo están disponibles en el medio oeste de EE. UU. (Chicago). Consulte API en desuso en la IA generativa para ver la fecha en la que las API ya no están disponibles.
    1. En la página de lista Clusters de IA dedicados, seleccione Crear cluster de IA dedicado. Si necesita ayuda para encontrar la página de lista, consulte Listing Dedicated AI Clusters.
    2. Seleccione un compartimento en el que crear el cluster de AI dedicado. El compartimento por defecto es el que ha seleccionado en la página de lista, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
    3. (Opcional) Introduzca un nombre y una descripción para el cluster. Si no introduce un nombre, el sistema generará uno que podrá cambiar más tarde.

      El nombre generado tiene el formato generativeaidedicatedaicluster<timestamp>. Por ejemplo: generativeaidedicatedaicluster20250922181431

    4. Para Tipo de cluster, seleccione Alojamiento.
    5. Para Modelo base, seleccione una de las siguientes opciones:
      • El modelo básico preentrenado que está alojando.
      • Si utiliza un modelo personalizado, ajustado a partir de un modelo básico, seleccione el modelo de base original en el que se entrenó.
      • Si utiliza un modelo importado, seleccione ese modelo importado.
    6. Si ha seleccionado un modelo importado, seleccione un tamaño de unidad recomendado.
      Para obtener recomendaciones de tamaño de unidad, consulte Supported Models for Import. También puede utilizar esta guía para los modelos que almacena en cubos.

      Los nombres de unidades tienen dos partes: tipo de instancia y número de tarjetas. Ejemplo: H100_X1 = H100 with 1 card. Para A100, tanto A100-80G como A100-40G están disponibles; el tamaño de memoria en el nombre (80G o 40G) los distingue.

      Importante

      No puede cambiar la unidad después de crear un cluster de AI dedicado.
    7. (Opcional) Aumente el número de instancias en el campo Réplica de modelo.
      Importante

      Al crear un cluster para alojar modelos para inferencia, por defecto se crea una unidad para el modelo base seleccionado. Para aumentar el rendimiento global, puede aumentar el número de instancias en el campo Réplica de modelo ahora o más tarde al editar el cluster. Por ejemplo, la creación de dos réplicas de modelo en este cluster requiere dos unidades.
    8. Lea las horas de unidad de compromiso para el cluster de hosting y seleccione la casilla de control para aceptar el compromiso.
    9. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este cluster.
    10. Seleccione Crear.
    Nota

    Los clusters tardan unos minutos en crearse. Después de que el cluster esté en estado activo, puede seleccionar ese cluster para alojar un modelo al crear un punto final para ese modelo.

  • Utilice el comando dedicated-AI-cluster create y los parámetros necesarios para crear un cluster de AI dedicado:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Ejecute la operación CreateDedicatedAiCluster para crear un cluster dedicado.