Documentation Oracle Cloud Infrastructure

Sélection de modèle dans les agents d'IA générative

Le service Agents OCI Generative AI prend en charge la sélection de modèle, dans laquelle vous pouvez sélectionner un grand modèle de langage (LLM) comme LLM de routage pour votre agent lors de sa création ou de sa modification. Vous pouvez sélectionner des modèles à la demande hébergés dans le service OCI Generative AI ou créer et utiliser des adresses de cluster d'IA dédiées pour les modèles pris en charge.

La sélection de modèle permet d'optimiser les performances de votre agent en fonction de votre charge globale (par exemple, pour les outils RAG et SQL).

Sélection d'un modèle

Lors de la création ou de la modification d'un agent dans la console OCI, accédez à la section Sélection de modèle sous la configuration de l'agent.

  1. Sélectionnez le type de LLM de routage :

    • Sélectionnez l'une des options suivantes :
      • Valeur par défaut : utilise le modèle standard fourni par le service Agents d'IA générative (Llama 3.3 70B). Il convient aux agents à usage général sans besoin de modèle personnalisé.
      • Modèle d'IA générative : sélectionnez l'un des modèles à la demande hébergés directement dans le service OCI Generative AI.
      • Adresse d'IA générative : sélectionnez parmi les modèles hébergés sur des adresses de cluster d'IA dédiées dans le service OCI Generative AI.

  2. Sélectionnez un modèle ou une adresse spécifique :

    • Si vous avez sélectionné Modèle d'IA générative ou Adresse d'IA générative dans la liste, la console affiche la liste des options disponibles. Parcourez et sélectionnez le modèle ou l'adresse de préférence.
    • La liste est renseignée en fonction des modèles/adresses disponibles de la location et des droits d'accès IAM

  3. Mettre à jour les hyperparamètres par défaut :

    • Vérifiez les valeurs par défaut des hyperparamètres de modèle.
    • Mettez éventuellement à jour l'un de ces hyperparamètres.
Conseil

Modèles pris en charge

Modèles pris en charge et leurs hyperparamètres
Modèles que vous pouvez sélectionner Hyperparamètres que vous pouvez mettre à jour
  • Nombre maximal de sèmes de sortie
  • Température
  • Valeur Top p
  • Valeur Top k
  • Pénalité de fréquence
  • Pénalité de présence
  • Prédéfinir
  • Nombre maximal de sèmes de sortie
  • Température
  • Valeur Top p
  • Pénalité de fréquence
  • Pénalité de présence
  • Nombre maximal de sèmes de sortie
  • Température
  • Valeur Top p
  • Pénalité de fréquence
  • Pénalité de présence

Régions prises en charge

Les régions suivantes sont prises en charge :

  • Est du Brésil (São Paulo)
  • Allemagne centrale (Francfort)
  • Centre du Japon (Osaka)
  • Sud du Royaume-Uni (Londres)
  • Est des Etats-Unis (Ashburn)
  • Midwest des Etats-Unis (Chicago)
  • Ouest des Etats-Unis (Phoenix)

Pour confirmer les régions utilisables d'un modèle pour la fonction de sélection du modèle d'agents, effectuez les tâches suivantes.

  1. Sur la page Modèles par région de la documentation Generative AI, sélectionnez l'un des modèles pris en charge répertoriés dans la section Modèles pris en charge.
  2. Sélectionnez une région pour le modèle qui apparaît dans les régions disponibles du modèle ET dans les sept régions prises en charge précédentes.
  3. Vérifiez si le modèle est disponible dans le mode dont vous avez besoin (à la demande ou dédié).

    Pour l'accès aux modèles en mode dédié, seules les adresses publiques sont prises en charge.