Documentation sur Oracle Cloud Infrastructure

Création d'une grappe dédiée à l'IA pour héberger des modèles

Créez une ressource de grappe dédiée à l'IA dans OCI Generative AI pour héberger des points d'extrémité pour les modèles de base préentraînés, les modèles personnalisés ou les modèles importés.

Important

  • Non disponible sur demande : Tous les modèles préentraînés de base du service d'intelligence artificielle générative pour OCI pris en charge pour le mode de service sur demande qui utilisent les API de génération de texte et de récapitulation (y compris le terrain de jeu) sont maintenant mis hors service. Nous vous recommandons d'utiliser les modèles de chat à la place.
  • Peut être hébergé sur des grappes : Si vous hébergez une récapitulation ou un modèle de génération tel que cohere.command sur une grappe dédiée à l'IA (mode de service dédié), vous pouvez continuer à utiliser ce modèle jusqu'à ce qu'il soit abandonné. Ces modèles, lorsqu'ils sont hébergés sur une grappe dédiée à l'IA, sont disponibles uniquement dans le Midwest des États-Unis (Chicago). Voir API obsolètes dans le service d'intelligence artificielle générative pour la date à laquelle les API ne sont plus disponibles.
    1. Dans la page de liste Grappes dédiées à l'IA, sélectionnez Créer une grappe dédiée à l'IA. Si vous avez besoin d'aide pour trouver la page de liste, voir Liste des grappes dédiées à l'IA.
    2. Sélectionnez un compartiment dans lequel créer la grappe dédiée à l'IA. Le compartiment par défaut est le même que la page de liste, mais vous pouvez sélectionner tout compartiment que vous êtes autorisé à utiliser.
    3. (Facultatif) Entrez un nom et une description pour la grappe. Si vous n'entrez pas de nom, le système en génère un que vous pourrez modifier ultérieurement.

      Le nom généré a le format generativeaidedicatedaicluster<timestamp>. Par exemple : generativeaidedicatedaicluster20250922181431

    4. Pour Type de grappe, sélectionnez Hébergement.
    5. Pour Modèle de base, sélectionnez l'une des options suivantes :
      • Le modèle de base préentraîné que vous hébergez.
      • Si vous utilisez un modèle personnalisé, affiné à partir d'un modèle de base, sélectionnez le modèle de base (de base) initial sur lequel il a été entraîné.
      • Si vous utilisez un modèle importé, sélectionnez-le.
    6. Si vous avez sélectionné un modèle importé, sélectionnez une taille d'unité recommandée.
      Pour les recommandations de taille d'unité, allez à Modèles compatibles pour l'importation et sélectionnez le modèle.

      Les noms de forme d'unité comportent deux parties : le type d'instance et le nombre de cartes. Exemple : H100_X1 = H100 with 1 card. Pour A100, A100-80G et A100-40G sont disponibles; la taille de la mémoire dans le nom (80G ou 40G) les distingue.

      Important

      Vous ne pouvez pas modifier la forme de l'unité après avoir créé une grappe dédiée à l'IA.
    7. (Facultatif) Augmentez le nombre d'instances dans le champ Réplique de modèle.
      Important

      Lorsque vous créez une grappe pour l'hébergement de modèles à des fins d'inférence, une unité est créée par défaut pour le modèle de base que vous sélectionnez. Pour augmenter le débit, vous pouvez augmenter le nombre d'instances dans le champ Réplique de modèle maintenant ou plus tard lorsque vous modifiez la grappe. Par exemple, la création de deux répliques de modèle sur cette grappe nécessite deux unités.
    8. Lisez les heures d'unité d'engagement pour la grappe d'hébergement et cochez la case pour accepter l'engagement.
      Important

      Facturation pour les grappes d'IA dédiées hébergeant des modèles importés

      Les grappes dédiées à l'IA qui hébergent un modèle importé ne nécessitent pas l'engagement minimal de 744 heures qui s'applique aux grappes dédiées à l'IA hébergeant des modèles préentraînés disponibles dans OCI Generative AI. À la place, une grappe dédiée à l'IA de modèle importé a une durée minimale facturable d'une heure. Par exemple, une grappe qui utilise une unité d'IA et qui s'exécute pendant 30 minutes est facturée pour une unité d'IA par heure.

      Après la première heure, les frais sont basés sur le temps d'exécution réel de la grappe et sont calculés au prorata de la milliseconde. Par exemple, une grappe qui s'exécute pendant une heure et une minute est facturée pour cette durée, plutôt que pour deux heures complètes.

      OCI envoie les enregistrements d'utilisation aux services de mesure et de facturation toutes les cinq minutes pendant l'exécution de la grappe. Si la grappe est supprimée avant que le minimum d'une heure soit atteint, OCI continue à déclarer l'utilisation facturable jusqu'à ce que le minimum soit atteint. Si la grappe s'exécute pendant plus d'une heure, OCI continue d'envoyer des enregistrements d'utilisation toutes les cinq minutes jusqu'à ce que la grappe soit supprimée.

    9. (Facultatif) Sélectionnez Ajouter un marqueur et affectez des marqueurs à cette grappe.
    10. Sélectionnez Créer.
    Note

    La création de grappes prend quelques minutes. Une fois que la grappe est active, vous pouvez la sélectionner pour héberger un modèle, lorsque vous créez un point d'extrémité pour ce modèle.

  • Utilisez la commande dedicated-AI-cluster create et les paramètres requis pour créer une grappe dédiée à l'IA :

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Pour la liste complète des paramètres et des valeurs pour les commandes de l'interface de ligne de commande, voir Informations de référence sur les commandes de l'interface de ligne de commande.

  • Exécutez l'opération CreateDedicatedAiCluster pour créer une grappe dédiée.