Documentation sur Oracle Cloud Infrastructure

Sélection de modèle dans les agents d'intelligence artificielle générative

Le service d'agents du service d'intelligence artificielle générative pour OCI prend en charge la sélection de modèle, où vous pouvez sélectionner un grand modèle de langage (LLM) comme modèle d'acheminement pour votre agent lors de la création ou de la modification. Vous pouvez sélectionner des modèles sur demande hébergés dans le service d'intelligence artificielle générative pour OCI ou créer et utiliser des points d'extrémité de grappe dédiée à l'IA pour les modèles pris en charge.

La sélection de modèle offre la flexibilité nécessaire pour optimiser les performances de votre agent en fonction de votre charge de travail (par exemple, pour les outils RAG et SQL).

Comment sélectionner un modèle

Lors de la création ou de la modification d'un agent dans la console OCI, naviguez jusqu'à la section Sélection de modèle sous la configuration de l'agent.

  1. Sélectionnez le type de GML d'acheminement :

    • Vous disposez des options suivantes :
      • Valeur par défaut : Utilise le modèle standard fourni par le service d'agents d'IA générative (Llama 3.3 70B). Ceci convient aux agents à usage général sans besoins de modèle personnalisé.
      • Modèle d'IA générative : Sélectionnez un des modèles sur demande hébergés directement dans le service d'IA générative pour OCI.
      • Point d'extrémité du service d'intelligence artificielle générative : Sélectionnez un des modèles hébergés sur des points d'extrémité de grappe dédiée au service d'intelligence artificielle générative pour OCI.

  2. Sélectionner un modèle ou un point d'extrémité spécifique :

    • Si vous avez sélectionné Modèle d'IA générative ou Point d'extrémité d'IA générative dans la liste, la console affiche une liste des options disponibles. Parcourez et sélectionnez le modèle ou le point d'extrémité préféré.
    • La liste est alimentée en fonction des modèles/points d'extrémité disponibles de la location et des autorisations IAM

  3. Mettre à jour les hyperparamètres par défaut :

    • Vérifiez les valeurs par défaut des hyperparamètres de modèle.
    • Vous pouvez éventuellement mettre à jour l'un de ces hyperparamètres.
Conseil

Modèles pris en charge

Modèles pris en charge et leurs hyperparamètres
Modèles que vous pouvez sélectionner Hyperparamètres que vous pouvez mettre à jour
  • Nombre maximal de jetons de sortie
  • Température
  • Haut p
  • Échantillonnage k premier
  • Pénalité de fréquence
  • Pénalité de présence
  • Prédéfinir
  • Nombre maximal de jetons de sortie
  • Température
  • Haut p
  • Pénalité de fréquence
  • Pénalité de présence
  • Nombre maximal de jetons de sortie
  • Température
  • Haut p
  • Pénalité de fréquence
  • Pénalité de présence

Régions prises en charge

Les régions suivantes sont prises en charge :

  • Brésil - Est (Sao Paulo)
  • Allemagne - Centre (Francfort)
  • Japon - Centre (Osaka)
  • Royaume-Uni - Sud (Londres)
  • États-Unis - Est (Ashburn)
  • États-Unis - Midwest (Chicago)
  • États-Unis - Ouest (Phoenix)

Pour confirmer les régions utilisables d'un modèle pour la fonction de sélection de modèle d'agent, effectuez les tâches suivantes.

  1. Dans la page Modèles par région de la documentation sur le service d'intelligence artificielle générative, sélectionnez un des modèles pris en charge dans la section Modèles pris en charge.
  2. Sélectionnez une région pour le modèle qui apparaît dans les deux régions disponibles du modèle ET dans les sept régions prises en charge précédentes.
  3. Vérifiez si le modèle est disponible dans le mode dont vous avez besoin (sur demande ou dédié).

    Pour l'accès aux modèles en mode dédié, seuls les points d'extrémité publics sont pris en charge.