Documentation Oracle Cloud Infrastructure

Créer le service LLM

L'état du composant LLM dans le flux de dialogue accède au modèle via un service LLM de niveau brique, qui combine un service LLM de niveau instance avec l'un des gestionnaires de transformation de la brique. Un service LLM est un artefact de niveau brique.

Pour configurer ce service, procédez comme suit :
  1. Sélectionnez Paramètres > Configuration.
  2. Dans la section Services de modèle de langue de grande taille de la page, cliquez sur + Nouveau service LLM.
  3. Complétez la ligne :
    • Nom : entrez un nom facilement identifiable pour le service LLM. Il s'agit du nom que vous choisirez lors de la configuration du flux de dialogue.
    • Service LLLM : sélectionnez l'un des services LLLM configurés pour l'instance.
    • Gestionnaire de transformation : choisissez le gestionnaire de transformation qui est l'équivalent du service LLM. Par exemple, si le composant LLM utilise le service Azure OpenAI LLM pour générer des réponses, vous devez choisir l'un des gestionnaires d'événements de la brique qui transforme les charges utiles Azure OpenAI en CLMI.
    • Maquette : activez cette option (true) pour gagner du temps et des coûts lors du test du flux de dialogue. Etant donné que cette option permet au composant LLM de renvoyer une réponse statique au lieu de la continuation générée par LLM, vous n'avez pas à perdre de temps à attendre la réponse LLM, ni à engager des coûts de la part du fournisseur de services LLM lorsque vous testez simplement une partie du flux de dialogue.
      Remarque

      Vous ne pouvez utiliser cette option que si le service LLM que vous avez sélectionné a une réponse statique de 200.
    • Par défaut : si vous activez cette option (true), le service LLM est défini comme sélection par défaut dans le menu Service LLM du composant LLM. Si un service LLM existant est déjà défini comme service par défaut, son statut par défaut est remplacé (c'est-à-dire défini sur False) lorsque vous activez cette option pour un autre service LLM.
  4. Cliquez sur l'action Enregistrer (à droite).
    Icône d'action Enregistrer.

Les services LLM créés en tant que services REST dans les versions antérieures à la version 24.02 sont signalés par un avertissement Icône d'avertissement.. Pour ignorer cet avertissement, sélectionnez le service REST (accessible via Paramètres > Services d'API), puis cliquez sur Convertir en LLM.