Créer le service LLM

L'état du composant LLM dans le flux de dialogue accède au modèle au moyen d'un service LLM de niveau compétence, qui combine un service LLM de niveau instance avec l'un des programmes de traitement de transformation de la compétence. Un service LLM est un artefact de niveau compétence.

Pour configurer ce service :

1. Sélectionnez Settings (Paramètres) > Configuration.
2. Dans la section Large Language Model Services (Services de modèle de langage volumineux) de la page, cliquez sur + New LLM Service (+ Nouveau service de LLM).
3. Terminez la ligne :
   • Nom : Entrez un nom facilement identifiable pour le service LLM. Il s'agit du nom que vous choisirez lors de la configuration du flux de dialogue.
   • ServiceLLM : Sélectionnez un des servicesLLM configurés pour l'instance.
   • Programme de traitement de transformation : Sélectionnez le programme de traitement de transformation qui est la contrepartie du service de GML. Par exemple, si le composant LLM utilise le service LLM Azure OpenAI pour générer des réponses, vous choisissez l'un des programmes de traitement d'événements de la compétence qui transforme les données utiles Azure OpenAI en CLMI.
   • Moquer : Activez cette option (Vrai) pour gagner du temps et réduire les coûts lorsque vous testez votre flux de dialogue. Comme cette option permet au composant LLM de retourner une réponse statique au lieu de la continuation générée par le LLM, vous n'avez pas à perdre de temps à attendre la réponse du LLM ni à engager des coûts du fournisseur de services LLM lorsque vous testez simplement une partie du flux de dialogue.
     Note
     
     Vous ne pouvez utiliser cette option que si le service de grand modèle de langage que vous avez sélectionné a une réponse statique de 200.
   • Valeur par défaut : Si vous activez cette option (vrai), le service LLM est défini comme sélection par défaut dans le menu Service LLM du composant LLM. Si un service LLM existant est déjà défini comme valeur par défaut, son statut par défaut est remplacé (c'est-à-dire réglé à Faux) lorsque vous activez ce service pour un autre LLM.
4. Cliquez sur l'action Enregistrer (située à droite).
   
   
   
   

Les services LLM créés en tant que services REST dans les versions antérieures à 24.02 sont marqués d'un avertissement . Pour ignorer cet avertissement, sélectionnez le service REST (accessible au moyen de paramètres > services d'API), puis cliquez sur Convertir en GML.