Documentation sur Oracle Cloud Infrastructure

Création d'une grappe dédiée à l'IA pour l'hébergement de modèles dans le service d'intelligence artificielle générative

Créez une ressource de grappe d'IA dédiée dans l'IA générative OCI pour héberger des points d'extrémité pour les modèles de base préentraînés et les modèles personnalisés.

Important

  • Non disponible sur demande : Tous les modèles préentraînés de base du service d'intelligence artificielle générative pour OCI pris en charge pour le mode de service sur demande qui utilisent les API de génération de texte et de récapitulation (y compris le terrain de jeu) sont maintenant mis hors service. Nous vous recommandons d'utiliser les modèles de chat à la place.
  • Peut être hébergé sur des grappes : Si vous hébergez une récapitulation ou un modèle de génération tel que cohere.command sur une grappe dédiée à l'IA (mode de service dédié), vous pouvez continuer à utiliser ce modèle jusqu'à ce qu'il soit abandonné. Ces modèles, lorsqu'ils sont hébergés sur une grappe dédiée à l'IA, sont disponibles uniquement dans le Midwest des États-Unis (Chicago). Voir Mise hors service des modèles pour les dates et les définitions de mise hors service.
  1. Dans la barre de navigation de la console, sélectionnez une région dotée de l'IA générative, par exemple, Midwest américain (Chicago) ou Royaume-Uni - Sud (Londres). Voir Quels modèles sont offerts dans votre région.
  2. Ouvrez le menu de navigation et sélectionnez Analyse et intelligence artificielle. Sous Services IA, sélectionnez Intelligence artificielle générative.
  3. Sélectionnez un compartiment dans lequel héberger les modèles.
    Assurez-vous de disposer de l'autorisation d'utilisation ou de gestion des ressources generative-ai-family et object-family dans ce compartiment.
  4. Dans le menu de navigation de gauche, sélectionnez un compartiment que vous êtes autorisé à utiliser.
  5. Cliquez sur Grappes dédiées à l'IA.
  6. Cliquez sur Créer une grappe dédiée à l'IA.
  7. Sélectionnez un compartiment dans lequel créer la grappe dédiée à l'IA. Le compartiment par défaut est celui que vous avez sélectionné à l'étape 3, mais vous pouvez sélectionner tout compartiment que vous êtes autorisé à utiliser.
  8. (Facultatif) Entrez un nom et une description pour la grappe. Si vous n'entrez pas de nom, le système en génère un que vous pourrez modifier plus tard.

    Le nom généré a le format generativeaidedicatedaicluster<timestamp>. Par exemple : generativeaidedicatedaicluster20240601202357

  9. Pour Type de grappe, cliquez sur Hébergement.
  10. Pour Modèle de base, sélectionnez le modèle de base de base pour les modèles que vous voulez héberger sur cette grappe. La liste des modèles inclut uniquement les modèles de base qui ne sont pas encore mis hors service pour le mode sur demande.
    Pour les tailles d'unité de grappe dédiées, voir Correspondance de modèles de base avec des grappes. Pour les règles relatives à la création de points d'extrémité pour les modèles hébergés sur des grappes, voir Ajout de points d'extrémité à des grappes d'hébergement.
  11. (Facultatif) Augmentez le nombre d'instances dans le champ Réplique de modèle.
    Important

    Lorsque vous créez une grappe pour l'hébergement de modèles à des fins d'inférence, une unité est créée par défaut pour le modèle de base que vous sélectionnez. Pour augmenter le débit, vous pouvez augmenter le nombre d'instances dans le champ Réplique de modèle maintenant ou ultérieurement lorsque vous modifiez la grappe. Par exemple, la création de deux répliques de modèle sur ce cluster nécessite deux unités.
  12. Lisez les heures de l'unité d'engagement pour la grappe d'hébergement et cochez la case pour accepter l'engagement.
  13. (Facultatif) Cliquez sur Afficher les options avancées et affectez des marqueurs à cette grappe.
  14. Cliquez sur Créer.
    Note

    La création de grappes prend quelques minutes. Une fois que la grappe est active, vous pouvez la sélectionner pour héberger un modèle, lorsque vous créez un point d'extrémité pour ce modèle.