Intégration LLM

L'intégration des grands modèles de langage (LLM) par Oracle Digital Assistant vous permet d'améliorer vos compétences grâce à des fonctionnalités d'IA générative.

Ces fonctions sont les suivantes :

• Gérer une petite conversation avec un utilisateur.
• Génération de résumés écrits des données.
• Automatiser des tâches commerciales difficiles ou répétitives, telles que celles requises pour l'acquisition de talents.
• Fournir une analyse de sentiment d'un texte donné pour déterminer s'il reflète une opinion positive, négative ou neutre.

A l'aide du composant Appeler un modèle de langage volumineux (composant LLM), vous pouvez intégrer ces fonctionnalités dans votre flux de dialogue là où elles sont nécessaires. Ce composant de flux de dialogue est l'élément d'intégration principal pour l'IA générative en ce sens qu'il contacte la LM via un appel REST, puis envoie à la LM une invite (les instructions en langage naturel à la LM) ainsi que les paramètres associés. Il renvoie ensuite les résultats générés par le modèle (également connus sous le nom de complétions) et gère l'état des interactions LLM-utilisateur afin que ses réponses restent en contexte après des cycles successifs de requêtes et de commentaires des utilisateurs. Le composant LM peut appeler n'importe quelle LM. Vous pouvez ajouter un ou plusieurs états de composant LLM (ou blocs LLM) aux flux. Vous pouvez également chaîner les appels LLM de sorte que la sortie d'une demande LLM puisse être transmise à une demande LLM suivante.

Outre le composant LLM, les autres éléments majeurs de l'intégration LLM incluent les adresses du fournisseur de services LLM et les gestionnaires de transformation pour la conversion des charges utiles de demande et de réponse vers et depuis le format de Digital Assistant, l'interface LLM commune (CLMI). Voici les principales étapes à suivre pour ajouter ces composants et d'autres composants afin de créer l'intégration LLM pour votre brique :

• Inscrivez un service d'API dans votre instance Digital Assistant pour l'adresse REST du LLM.
• Pour votre brique, créez un gestionnaire d'événements de transformation LLM pour convertir les charges utiles de demande et de réponse LLM vers et depuis CLMI.
  Remarque
  
  Nous fournissons des gestionnaires prédéfinis si vous intégrez votre brique au modèle Cohere ou à Oracle Generative AI Service. Si vous accédez à d'autres modèles, tels qu'Azure OpenAI, vous pouvez mettre à jour le code de transformation de démarrage que nous fournissons.
• Définissez pour votre brique un service LLM correspondant au service REST que vous avez inscrit auprès de l'instance auprès d'un gestionnaire de transformation LLM.
• Dans le flux dans lequel vous souhaitez utiliser la LM, insérez et configurez un composant LLM en ajoutant le texte d'invite et en définissant d'autres paramètres.

  Conseil :

  Nous vous recommandons d'utiliser Prompt Builder (accessible via le composant LLM) pour perfectionner votre invite.