Intégration LLM

L'intégration d'Oracle Digital Assistant à de grands modèles de langage (LLM) vous permet d'améliorer vos compétences grâce à des capacités d'IA génératives.

Ces fonctions comprennent :

  • Gérer les petites conversations avec un utilisateur.
  • génération de sommaires de données écrits;
  • Automatiser les tâches d'affaires difficiles ou répétitives, comme celles requises pour l'acquisition de talents.
  • Fournir une analyse de sentiment d'un morceau de texte donné pour déterminer si elle reflète une opinion positive, négative ou neutre.

À l'aide du composant Invoke Large Language Model (le composant LLM), vous pouvez connecter ces fonctionnalités à votre flux de dialogue là où elles sont nécessaires. Ce composant de flux de dialogue est l'élément d'intégration principal pour l'IA générative dans la mesure où il contacte le LLM au moyen d'un appel REST, puis envoie au LLM une invite (les instructions en langage naturel au LLM) avec les paramètres connexes. Il retourne ensuite les résultats générés par le modèle (également appelés complétions) et gère l'état des interactions LLM-utilisateur afin que ses réponses restent en contexte après des séries successives de requêtes et de retours d'utilisateurs. Le composant LLM peut appeler n'importe quel LLM. Vous pouvez ajouter un ou plusieurs états de composant LLM (ou blocs LLM) aux flux. Vous pouvez également chaîner les appels LLM de sorte que la sortie d'une demande LLM puisse être transmise à une demande LLM ultérieure.

Outre le composant LLM, les autres éléments importants de l'intégration LLM comprennent des points d'extrémité pour le fournisseur de services LLM et des gestionnaires de transformation pour convertir les données utiles de demande et de réponse vers et depuis le format de Digital Assistant, l'interface LLM commune (CLMI). Voici les étapes générales permettant d'ajouter ces composants et d'autres composants pour créer l'intégration LLM pour votre compétence :

  • Enregistrez un service d'API dans votre instance Digital Assistant pour le point d'extrémité REST du LLM.
  • Pour votre compétence, créez un gestionnaire d'événements de transformation LLM pour convertir les données utiles de demande et de réponse LLM vers et depuis CLMI.
    Note

    Nous fournissons des programmes de traitement prédéfinis si vous intégrez votre compétence au modèle Cohere ou au service d'intelligence artificielle générative d'Oracle. Si vous accédez à d'autres modèles, tels qu'Azure OpenAI, vous pouvez mettre à jour le code de transformation de démarrage que nous fournissons.
  • Définissez un service LLM pour votre compétence qui est mappé au service REST que vous avez enregistré à l'instance avec un programme de traitement de transformation LLM.
  • Dans le flux où vous souhaitez utiliser le LLM, insérez et configurez un composant LLM en ajoutant le texte de votre invite et en définissant d'autres paramètres.

    Conseil :

    Il est recommandé d'utiliser le générateur d'invites (accessible via le composant LLM) pour parfaire l'invite.
Les pages suivantes vous guideront à travers les concepts derrière et les étapes d'intégration d'un service LLM dans votre compétence pour créer des blocs LLM dans votre flux de dialogue.