Documentación de Oracle Cloud Infrastructure

Creación de un cluster de IA dedicado en IA generativa para modelos de alojamiento

Crea un recurso de cluster de IA dedicado en OCI Generative AI para alojar puntos finales para modelos base preentrenados y modelos personalizados.

Importante

  • No disponible bajo demanda: todos los modelos preentrenados fundamentales de OCI Generative AI soportados para el modo de servicio bajo demanda que utilizan las API de generación y resumen de texto (incluido el patio de recreo) ahora están retirados. Le recomendamos que utilice las modelos de chat en su lugar.
  • Se puede alojar en clusters: si aloja un modelo de generación o resumen, como cohere.command, en un cluster de IA dedicado (modo de servicio dedicado), puede seguir utilizando ese modelo hasta que se reciba. Estos modelos, cuando se alojan en un cluster de IA dedicado, solo están disponibles en el medio oeste de EE. UU. (Chicago). Consulte Baja de los modelos para conocer las fechas y definiciones de baja.
  1. En la barra de navegación de la consola, seleccione una región con IA generativa, por ejemplo, Medio oeste de EE. UU. (Chicago) o Sur de Reino Unido (Londres). Consulte qué modelos se ofrecen en su región.
  2. Abra el menú de navegación y seleccione Análisis e IA. En Servicios de IA, seleccione IA generativa.
  3. Seleccione un compartimento en el que desee alojar los modelos.
    Asegúrese de que tiene permiso para utilizar o gestionar los recursos generative-ai-family y object-family en este compartimento.
  4. En la navegación izquierda, seleccione un compartimento en el que tenga permiso para trabajar.
  5. Haga clic en Clusters de IA dedicados.
  6. Haga clic en Crear cluster de IA dedicado.
  7. Seleccione un compartimento en el que crear el cluster de IA dedicado. El compartimento por defecto es el que ha seleccionado en el paso 3, pero puede seleccionar cualquier compartimento en el que tenga permiso para trabajar.
  8. (Opcional) Introduzca un nombre y una descripción para el cluster. Si no introduce un nombre, el sistema generará uno que podrá cambiar más tarde.

    El nombre generado tiene el formato generativeaidedicatedaicluster<timestamp>. Por ejemplo: generativeaidedicatedaicluster20240601202357

  9. En Tipo de cluster, haga clic en Hosting.
  10. En Modelo base, seleccione el modelo base fundamental para los modelos que desea alojar en este cluster. La lista de modelos incluye solo los modelos base que no se han dado de baja aún para el modo bajo demanda.
    Para obtener información sobre los tamaños de unidades de cluster dedicadas, consulte Coincidencia de modelos base con clusters. Para obtener más información sobre las reglas de creación de puntos finales para los modelos alojados en clusters, consulte Adición de puntos finales a clusters de alojamiento.
  11. (Opcional) Aumente el número de instancias en el campo Réplica de modelo.
    Importante

    Al crear un cluster para alojar modelos para inferencia, por defecto se crea una unidad para el modelo base seleccionado. Para aumentar el rendimiento global, puede aumentar el número de instancias en el campo Réplica de modelo ahora o más tarde al editar el cluster. Por ejemplo, la creación de dos réplicas de modelo en este cluster requiere dos unidades.
  12. Lea las horas de unidad de compromiso para el cluster de hosting y seleccione la casilla de control para aceptar el compromiso.
  13. (Opcional) Haga clic en Mostrar opciones avanzadas y asigne etiquetas a este cluster.
  14. Haga clic en Crear.
    Nota

    Los clusters tardan unos minutos en crearse. Después de que el cluster esté en estado activo, puede seleccionar ese cluster para alojar un modelo al crear un punto final para ese modelo.