Documentation sur Oracle Cloud Infrastructure

Création d'une grappe dédiée à l'IA pour héberger des modèles

Créez une ressource de grappe dédiée à l'IA dans OCI Generative AI pour héberger des points d'extrémité pour les modèles de base préentraînés, les modèles personnalisés ou les modèles importés.

Important

  • Non disponible sur demande : Tous les modèles préentraînés de base du service d'intelligence artificielle générative pour OCI pris en charge pour le mode de service sur demande qui utilisent les API de génération de texte et de récapitulation (y compris le terrain de jeu) sont maintenant mis hors service. Nous vous recommandons d'utiliser les modèles de chat à la place.
  • Peut être hébergé sur des grappes : Si vous hébergez une récapitulation ou un modèle de génération tel que cohere.command sur une grappe dédiée à l'IA (mode de service dédié), vous pouvez continuer à utiliser ce modèle jusqu'à ce qu'il soit abandonné. Ces modèles, lorsqu'ils sont hébergés sur une grappe dédiée à l'IA, sont disponibles uniquement dans le Midwest des États-Unis (Chicago). Voir API obsolètes dans le service d'intelligence artificielle générative pour la date à laquelle les API ne sont plus disponibles.
    1. Dans la page de liste Grappes dédiées à l'IA, sélectionnez Créer une grappe dédiée à l'IA. Si vous avez besoin d'aide pour trouver la page de liste, voir Liste des grappes dédiées à l'IA.
    2. Sélectionnez un compartiment dans lequel créer la grappe dédiée à l'IA. Le compartiment par défaut est le même que la page de liste, mais vous pouvez sélectionner tout compartiment que vous êtes autorisé à utiliser.
    3. (Facultatif) Entrez un nom et une description pour la grappe. Si vous n'entrez pas de nom, le système en génère un que vous pourrez modifier plus tard.

      Le nom généré a le format generativeaidedicatedaicluster<timestamp>. Par exemple : generativeaidedicatedaicluster20250922181431

    4. Pour Type de grappe, sélectionnez Hébergement.
    5. Pour Modèle de base, sélectionnez l'une des options suivantes :
      • Le modèle de base préentraîné que vous hébergez.
      • Si vous utilisez un modèle personnalisé, affiné à partir d'un modèle de base, sélectionnez le modèle de base (de base) initial sur lequel il a été entraîné.
      • Si vous utilisez un modèle importé, sélectionnez-le.
    6. Si vous avez sélectionné un modèle importé, sélectionnez une taille d'unité recommandée.
      Pour des recommandations de taille d'unité, voir Modèles pris en charge pour l'importation. Vous pouvez également utiliser ce guide pour les modèles que vous stockez dans des seaux.

      Les noms de forme d'unité comportent deux parties : le type d'instance et le nombre de cartes. Exemple : H100_X1 = H100 with 1 card. Pour A100, A100-80G et A100-40G sont disponibles; la taille de la mémoire dans le nom (80G ou 40G) les distingue.

      Important

      Vous ne pouvez pas modifier la forme de l'unité après avoir créé une grappe dédiée à l'IA.
    7. (Facultatif) Augmentez le nombre d'instances dans le champ Réplique de modèle.
      Important

      Lorsque vous créez une grappe pour l'hébergement de modèles à des fins d'inférence, une unité est créée par défaut pour le modèle de base que vous sélectionnez. Pour augmenter le débit, vous pouvez augmenter le nombre d'instances dans le champ Réplique de modèle maintenant ou ultérieurement lorsque vous modifiez la grappe. Par exemple, la création de deux répliques de modèle sur ce cluster nécessite deux unités.
    8. Lisez les heures de l'unité d'engagement pour la grappe d'hébergement et cochez la case pour accepter l'engagement.
    9. (Facultatif) Sélectionnez Ajouter un marqueur et affectez des marqueurs à cette grappe.
    10. Sélectionnez Créer.
    Note

    La création de grappes prend quelques minutes. Une fois que la grappe est active, vous pouvez la sélectionner pour héberger un modèle, lorsque vous créez un point d'extrémité pour ce modèle.

  • Utilisez la commande dedicated-AI-cluster create et les paramètres requis pour créer une grappe dédiée à l'IA :

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir Informations de référence sur les commandes de l'interface de ligne de commande.

  • Exécutez l'opération CreateDedicatedAiCluster pour créer une grappe dédiée.