Documentation Oracle Cloud Infrastructure

Création d'un cluster d'IA dédié pour l'hébergement de modèle

Créez une ressource de cluster d'IA dédiée dans OCI Generative AI pour héberger les adresses pour les modèles de base préentraînés, les modèles personnalisés ou les modèles importés.

Important

  • Non disponible à la demande : tous les modèles préentraînés de base d'OCI Generative AI pris en charge pour le mode de service à la demande qui utilisent les API de génération de texte et de synthèse (y compris le playground de test) sont désormais retirés. Nous vous recommandons plutôt d'utiliser les modèles de chat.
  • Peut être hébergé sur des clusters : si vous hébergez un récapitulatif ou un modèle de génération tel que cohere.command sur un cluster d'IA dédié (mode de service dédié), vous pouvez continuer à utiliser ce modèle jusqu'à son abandon. Ces modèles, lorsqu'ils sont hébergés sur un cluster d'IA dédié, sont uniquement disponibles dans le Midwest des Etats-Unis (Chicago). Reportez-vous à API en phase d'abandon dans Generative AI pour connaître la date à laquelle les API ne sont plus disponibles.
    1. Sur la page de liste Clusters d'IA dédiés, sélectionnez Créer un cluster d'IA dédié. Si vous avez besoin d'aide pour trouver la page de liste, reportez-vous à Liste des clusters d'IA dédiés.
    2. Sélectionnez le compartiment dans lequel créer le cluster d'IA dédié. Le compartiment par défaut est celui de la page de liste, mais vous pouvez sélectionner n'importe quel compartiment dans laquelle vous êtes autorisé à travailler.
    3. (Facultatif) Saisissez un nom et une description pour le cluster. Si vous n'entrez pas de nom, le système en génère un que vous pourrez modifier ultérieurement.

      Le nom généré a le format generativeaidedicatedaicluster<horodatage>. Par exemple : generativeaidedicatedaicluster20250922181431

    4. Pour Type de cluster, sélectionnez Hébergement.
    5. Pour Modèle de base, sélectionnez l'une des options suivantes :
      • Le modèle de base préentraîné que vous hébergez.
      • Si vous utilisez un modèle personnalisé, affiné à partir d'un modèle de base, sélectionnez le modèle de base d'origine sur lequel il a été entraîné.
      • Si vous utilisez un modèle importé, sélectionnez-le.
    6. Si vous avez sélectionné un modèle importé, sélectionnez une taille d'unité recommandée.
      Pour connaître les recommandations de taille d'unité, reportez-vous à Modèles pris en charge pour l'import. Vous pouvez également utiliser ce guide pour les modèles que vous stockez dans des buckets.

      Les noms de forme d'unité se divisent en deux parties : le type d'instance et le nombre de cartes. Exemple : H100_X1 = H100 with 1 card. Pour A100, A100-80G et A100-40G sont disponibles ; la taille de mémoire dans le nom (80G ou 40G) les distingue.

      Important

      Vous ne pouvez pas modifier la forme de l'unité après avoir créé un cluster d'IA dédié.
    7. (Facultatif) Augmentez le nombre d'instances dans le champ Réplique de modèle.
      Important

      Lorsque vous créez un cluster pour héberger des modèles pour l'inférence, une unité est créée par défaut pour le modèle de base que vous sélectionnez. Pour augmenter le débit, vous pouvez augmenter le nombre d'instances dans le champ Réplique de modèle maintenant ou ultérieurement lorsque vous modifiez le cluster. Par exemple, la création de deux répliques de modèle sur ce cluster nécessite deux unités.
    8. Lisez les heures de l'unité d'engagement pour le cluster d'hébergement et cochez la case pour accepter l'engagement.
    9. (Facultatif) Sélectionnez Ajouter une balise et affectez des balises à ce cluster.
    10. Sélectionnez Create (Créer).
    Remarque

    La création de clusters prend quelques minutes. Une fois que le cluster est dans un état actif, vous pouvez le sélectionner pour héberger un modèle, lorsque vous créez une adresse pour ce modèle.

  • Utilisez la commande dedicated-AI-cluster create et les paramètres requis pour créer un cluster AI dédié :

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Pour obtenir la liste complète des paramètres et des valeurs des commandes de la CLI, reportez-vous à Référence des commandes de la CLI.

  • Exécutez l'opération CreateDedicatedAiCluster pour créer un cluster dédié.