Documentation Oracle Cloud Infrastructure

Création d'un cluster d'IA dédié dans Generative AI pour héberger des modèles

Créez une ressource de cluster d'IA dédiée dans OCI Intelligence artificielle générative pour héberger les adresses des modèles de base préentraînés et des modèles personnalisés.

  1. Dans la barre de navigation de la console, sélectionnez une région avec Generative AI, par exemple US Midwest (Chicago) ou UK South (Londres). Reportez-vous aux modèles proposés dans votre région.
  2. Ouvrez le menu de navigation et cliquez sur Analytics et IA. Sous Services d'IA, cliquez sur Intelligence artificielle générative.
  3. Sélectionnez le compartiment dans lequel héberger les modèles.
    Assurez-vous que vous disposez du droit d'accès permettant d'utiliser ou de gérer les ressources generative-ai-family et object-family dans ce compartiment.
  4. Dans le menu de gauche, choisissez un compartiment dans lequel vous êtes autorisé à travailler.
  5. Cliquez sur Clusters d'IA dédiés.
  6. Cliquez sur Créer un cluster d'AI dédié.
  7. Sélectionnez le compartiment dans lequel créer le cluster d'IA dédié. Le compartiment par défaut est celui que vous avez sélectionné à l'étape 3 mais vous pouvez sélectionner n'importe quel compartiment dans lequel vous êtes autorisé à travailler.
  8. (Facultatif) Saisissez un nom et une description pour le cluster. Si vous n'entrez pas de nom, le système en génère un que vous pourrez modifier ultérieurement.

    Le nom généré a le format generativeaidedicatedaicluster<horodatage>. Exemple : generativeaidedicatedaicluster20240601202357

  9. Pour Type de cluster, cliquez sur Hébergement.
  10. Pour Modèle de base, sélectionnez le modèle de base pour les modèles à héberger sur ce cluster :
    • Llama-3-70b-instruct : provisionne une ou plusieurs grandes unités génériques.
    • Llama-2-70b-chat : prévoit une ou plusieurs Llama2 70 unités
    • Cohere.command : provisionne une ou plusieurs unités de grande sphère.
    • Cohere.command-light : fournit une ou plusieurs unités Small Cohere.
    • Cohere.embed : provisionne une ou plusieurs unités Embed Cohere.
    • Cohere.command-r-plus : provisionne une ou plusieurs unités V2 de grande sphère.
    • Cohere.command-r-16k : provisionne une ou plusieurs unités V2 Small Cohere.

    La liste des modèles inclut uniquement la version prise en charge des modèles de base.

    Important

    Lorsque vous créez un cluster pour héberger des modèles d'inférence, une unité est créée par défaut pour le modèle de base que vous choisissez. Pour augmenter le débit, vous pouvez augmenter le nombre d'instances dans le champ Réplique de modèle maintenant ou ultérieurement lorsque vous modifiez le cluster. Par exemple, la création de deux répliques de modèle sur ce cluster nécessite deux unités et double le débit.
  11. Lisez les heures d'unité d'engagement pour le cluster d'hébergement et cochez la case pour accepter l'engagement.
  12. (Facultatif) Cliquez sur Afficher les options avancées et affectez des balises à ce cluster.
  13. Cliquez sur Créer.
    Remarque

    La création de clusters prend quelques minutes. Une fois le cluster actif, vous pouvez le sélectionner pour héberger un modèle lorsque vous créez une adresse pour ce modèle.