Documentación de Oracle Cloud Infrastructure

Creación de un cluster de IA dedicado para alojar modelos

Cree un recurso de cluster de IA dedicado en OCI Generative AI para alojar puntos finales para modelos base previamente entrenados, modelos personalizados o modelos importados.

Un cluster de IA dedicado de alojamiento proporciona los recursos informáticos para la inferencia de modelos. El modelo o modelo base y la unidad seleccionada al crear el cluster determinan qué modelos son compatibles con él. Después de que el cluster se active, cree uno o más puntos finales de modelo para acceder al modelo alojado.

Importante

  • No disponible bajo demanda: todos los modelos preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio bajo demanda que utilizan las API de generación y resumen de texto (incluido el patio de recreo) ahora están retirados. Le recomendamos que utilice las modelos de chat en su lugar.
  • Se puede alojar en clusters: si aloja un modelo de generación o resumen, como cohere.command, en un cluster de IA dedicado (modo de servicio dedicado), puede seguir utilizando ese modelo hasta que se reciba. Estos modelos, cuando se alojan en un cluster de IA dedicado, solo están disponibles en el medio oeste de EE. UU. (Chicago). Consulte API en desuso en la IA generativa para ver la fecha en la que las API ya no están disponibles.
    1. En la página de lista Clusters de IA dedicados, seleccione Crear cluster de IA dedicado. Si necesita ayuda para encontrar la página de lista, consulte Listing Dedicated AI Clusters.
    2. Seleccione un compartimento en el que crear el cluster de AI dedicado. El compartimento por defecto es el que ha seleccionado en la página de lista, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
    3. (Opcional) Introduzca un nombre y la descripción para el cluster. Si no introduce un nombre, el sistema generará uno que podrá cambiar posteriormente.

      El nombre generado tiene el formato generativeaidedicatedaicluster<timestamp>. Por ejemplo: generativeaidedicatedaicluster20250922181431

    4. Para Tipo de cluster, seleccione Alojamiento.
    5. Para Modelo base, seleccione una de las siguientes opciones:
      • El modelo básico preentrenado que está alojando.
      • Si utiliza un modelo personalizado, ajustado a partir de un modelo básico, seleccione el modelo de base original en el que se entrenó.
      • Si utiliza un modelo importado, seleccione ese modelo importado.
    6. Si ha seleccionado un modelo importado, seleccione un tamaño de unidad recomendado.
      Para obtener recomendaciones de tamaño de unidad, vaya a Modelos compatibles para importación y seleccione el modelo.

      Los nombres de unidades tienen dos partes: tipo de instancia y número de tarjetas. Ejemplo: H100_X1 = H100 with 1 card. Para A100, tanto A100-80G como A100-40G están disponibles; el tamaño de memoria en el nombre (80G o 40G) los distingue.

      Importante

      No puede cambiar la unidad después de crear un cluster de AI dedicado.
    7. (Opcional) Aumente el número de instancias en el campo Réplica de modelo.
      Importante

      Al crear un cluster para alojar modelos de inferencia, se crea por defecto una unidad para el modelo que seleccione. Para aumentar el rendimiento, aumente el número de instancias en el campo Réplica de modelo ahora o más tarde al editar el cluster. Por ejemplo, la creación de dos réplicas de modelo en este cluster requiere dos unidades. La creación de puntos finales de modelo adicionales no agrega réplicas ni aumenta el rendimiento.
    8. Lea las horas de unidad de compromiso para el cluster de alojamiento y seleccione la casilla de control para aceptar el compromiso.
      Importante

      Facturación para clusters de IA dedicados que alojan modelos importados

      Los clusters de IA dedicados que alojan un modelo importado no requieren el compromiso mínimo de 744 horas de unidades que se aplica a los clusters de IA dedicados que alojan modelos preentrenados disponibles en OCI Generative AI. En cambio, un cluster de IA dedicado de modelo importado tiene una duración mínima facturable de una hora. Por ejemplo, un cluster que utiliza una unidad AI y se ejecuta durante 30 minutos se factura por una unidad AI-hora.

      Después de la primera hora, los cargos se basan en el tiempo de ejecución real del cluster y se prorratean hasta el milisegundo. Por ejemplo, un cluster que se ejecuta durante una hora y un minuto se factura por esa duración, en lugar de por dos horas completas.

      OCI envía registros de uso a Medición y facturación cada cinco minutos mientras se ejecuta el cluster. Si el cluster se suprime antes de que se alcance el mínimo de una hora, OCI sigue informando sobre el uso facturable hasta que se alcance el mínimo. Si el cluster se ejecuta durante más de una hora, OCI sigue enviando registros de uso cada cinco minutos hasta que se suprime el cluster.

    9. (Opcional) Seleccione Agregar etiqueta y asigne etiquetas a este cluster.
    10. Seleccione Crear.
    Nota

    Los clusters tardan unos minutos en crearse. Una vez que el cluster esté en estado activo, selecciónelo al crear un punto final para el modelo. Por defecto, un cluster de alojamiento puede tener hasta 50 puntos finales de modelo. Consulte Capacidad de punto final.

  • Utilice el comando dedicated-AI-cluster create y los parámetros necesarios para crear un cluster de AI dedicado:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Para obtener una lista completa de parámetros y valores para los comandos de la CLI, consulte la Referencia de comandos de la CLI.

  • Ejecute la operación CreateDedicatedAiCluster para crear un cluster dedicado.