Appeler un composant de modèle de langue volumineux

1. Cliquez sur Composants dans la barre de navigation de gauche.
2. Cliquez sur +New Service.
3. Renseignez la boîte de dialogue Create Service comme suit :
   • Nom : entrez le nom de service.
   • Type de service : Conteneur imbriqué
   • Type de package de services de composant : Nouveau composant
   • Type de composant : Validation et personnalisation LLLM
   • Nom de composant : entrez un nom facilement identifiable pour le gestionnaire d'événements. Vous référencerez ce nom lorsque vous créerez le service LLM pour la brique.
4. Cliquez sur Créer pour générer le gestionnaire de validation.
5. Une fois le déploiement terminé, développez le service, puis sélectionnez le gestionnaire de validation.
6. Cliquez sur Modifier pour ouvrir l'éditeur Modifier le code de composant.
7. A l'aide du modèle généré, mettez à jour les méthodes de gestionnaire suivantes si nécessaire.

   Méthode	Description	Lorsque la validation réussit	Lorsque la validation échoue	Type renvoyé	Emplacement dans l'éditeur	Code espace réservé	Que faire en cas d'échec de la validation ?
   validateRequestPayload	Valide la charge utile de demande.	Renvoie true lorsque la demande est valide.	Renvoie false lorsqu'une demande échoue à la validation.	boolean	Courbes 24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } Pour en savoir plus sur ce code, reportez-vous à la section validateRequestPayload properties.	Modifiez l'invite, puis renvoyez-la au LLM. Définissez une erreur de validation.
   validateResponsePayload	Valide la charge utile de réponse LLM.	Lorsque le gestionnaire renvoie true : Si vous définissez la propriété Envoyer le résultat LLM en tant que message sur true, la réponse LLM, y compris les boutons d'action standard ou personnalisés, est envoyée à l'utilisateur. Si la transmission en continu est activée, la réponse LLM est transmise en continu par blocs. Les boutons d'action seront ajoutés à la fin du flux. Tous les messages utilisateur ajoutés dans le gestionnaire sont envoyés à l'utilisateur, quel que soit le paramètre de la propriété Envoyer le résultat LLM en tant que message. Si une nouvelle invite LLM est définie dans le gestionnaire, cette invite est envoyée à la LLM et le gestionnaire de validation sera appelé à nouveau avec la nouvelle réponse LLM. Si aucune nouvelle invite LLM n'est définie et que la propriété Activer les affinements multitours est définie sur true, la rotation est libérée et le flux de dialogue reste à l'état LLM. Toutefois, si cette propriété est définie sur false, la rotation est conservée et la boîte de dialogue passe de l'état à l'aide de l'action de transition success.	Lorsque le gestionnaire renvoie false : Si la transmission en continu est activée, les utilisateurs peuvent afficher les réponses potentiellement non valides car le gestionnaire d'événements de validation est appelé une fois que la réponse LLM a déjà démarré la transmission en continu. Tous les messages utilisateur ajoutés par le gestionnaire sont envoyés à l'utilisateur, quel que soit le paramètre Envoyer le résultat LLM en tant que réponse de brique. Si une nouvelle invite LLM est définie dans le gestionnaire, cette invite est envoyée au gestionnaire LLM et le gestionnaire de validation est appelé à nouveau avec la nouvelle réponse LLM. Si aucune invite LLM n'est définie, le flux de dialogue quitte l'état du composant LLM. L'action de transition définie dans le code de gestionnaire sera utilisée pour déterminer l'état suivant. Si aucune action de transition n'est définie, l'action de transition error est déclenchée.	boolean	Courbes 50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } Pour en savoir plus sur ce code, reportez-vous à la section validateResponsePayload Properties.	Appelez à nouveau le LLM à l'aide d'une invite de nouvelle tentative qui indique le problème avec la réponse (elle n'est pas conforme à un format JSON spécifique, par exemple) et demande que le LLM le corrige. Définissez une erreur de validation.
   changeBotMessages	Modifie les messages de brique candidats envoyés à l'utilisateur.	N/A	N/A	Liste des messages du modèle de message de conversation	Courbes 59-71	changeBotMessages: async (event, context) => { return event.messages; }, Pour obtenir un exemple d'utilisation de cette méthode, reportez-vous à Amélioration du message utilisateur pour les réponses au format JSON.	N/A
   submit	Ce gestionnaire est appelé lorsque les utilisateurs touchent le bouton Soumettre. Il traite ensuite la réponse LLM.	N/A	N/A	N/A	Courbes 79-80	submit: async (event, context) => { }	N/A

   Chacune de ces méthodes utilise un objet event et un objet context. Par exemple :

    validateResponsePayload: async (event, context) =>
   ...

   Les propriétés définies pour l'objet event dépendent du type d'événement. Le deuxième argument, context, fait référence à la classe LlmComponentContext, qui accède aux méthodes simplifiées pour créer votre propre logique de gestionnaire d'événements. Il s'agit notamment de méthodes permettant de définir le nombre maximal d'invites de nouvelle tentative et d'envoyer des messages d'état et d'erreur aux utilisateurs de la brique.
8. Vérifiez le sytnax de vos mises à jour en cliquant sur Valider. Cliquez ensuite sur Enregistrer > Fermer.

1. Commencez par définir le rôle ou le persona de la LLM avec une description de haut niveau de la tâche en cours.
2. Ajoutez des détails sur les éléments à inclure dans la réponse, le format de sortie attendu, etc.
3. Si nécessaire, fournissez quelques exemples de la tâche en cours.
4. Vous pouvez éventuellement indiquer comment traiter les scénarios constituant une requête non prise en charge.

• Commencer par une invite simple et concise : commencez par une invite brève, simple et directe qui décrit clairement le cas d'utilisation et la sortie attendue. Par exemple :
  • Une instruction d'une ligne comme "Dites-moi une blague"
  • Invite de style de saisie semi-automatique
  • Instruction avec entrée
  Par exemple :

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  Une invite simple est un bon point de départ dans vos tests, car c'est un bon indicateur du comportement du modèle. Vous pouvez également ajouter d'autres éléments lorsque vous affinez le texte de l'invite.
• Modifier et tester votre invite de façon itérative : ne vous attendez pas à ce que le premier brouillon de votre invite renvoie les résultats attendus. Plusieurs tests peuvent être nécessaires pour déterminer quelles instructions doivent être ajoutées, supprimées ou reformulées. Par exemple, pour empêcher le modèle d'halluciner en ajoutant du contenu supplémentaire, vous devez ajouter des instructions supplémentaires :

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• Utiliser un persona spécifique à votre cas d'emploi : les personas donnent souvent de meilleurs résultats car ils aident le LLM à émuler un comportement ou à prendre un rôle.
  Remarque
  
  Les modèles Cohere pèsent plus les instructions spécifiques à la tâche que la définition de persona.
  Par exemple, si vous souhaitez que le LLM génère des informations, demandez-lui d'être un analyste de données :

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  Remarque
  
  Faites attention aux biais ou comportements implicites qui peuvent être inhérents au persona.
• Ecrire des invites propres à une LM : les LM disposent d'architectures différentes et sont entraînées à l'aide de méthodes et de jeux de données différents. Vous ne pouvez pas écrire une seule invite qui renverra les mêmes résultats de toutes les LLM, ni même des versions différentes de la même LLM. Les approches qui fonctionnent bien avec GPT-4 échouent avec GPT-3.5 et vice-versa, par exemple. Au lieu de cela, vous devez adapter votre invite aux capacités du LLM choisi pour votre cas d'utilisation. Utiliser des exemples ponctuels : comme les LLM tirent des enseignements d'exemples, fournissez des exemples ponctuels chaque fois que cela est pertinent. Incluez dans votre invite des exemples étiquetés qui illustrent la structure de la réponse générée. Par exemple :

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  Fournissez quelques exemples dans les cas suivants :
  • Les contraintes structurelles doivent être appliquées.
  • Les réponses doivent être conformes à des modèles spécifiques et contenir des détails spécifiques
  • Les réponses varient selon les conditions d'entrée.
  • Votre cas d'utilisation est très spécifique au domaine ou ésotérique car les LLM, qui ont des connaissances générales, fonctionnent mieux sur les cas d'utilisation courants.
  Remarque
  
  Si vous incluez plusieurs exemples ponctuels dans l'invite d'un modèle Cohere, assurez-vous de représenter également toutes les classes d'exemples. Un déséquilibre dans les catégories d'exemples rares affecte négativement les réponses, car le modèle limite parfois ses résultats aux modèles prédominants trouvés dans la majorité des exemples.
• Définissez des critères d'acceptation clairs : plutôt que d'indiquer au LLM ce que vous ne voulez pas qu'il fasse en incluant "ne pas faire cela" ou "éviter cela" dans l'invite, vous devez fournir des instructions claires indiquant au LLM ce qu'il doit faire en fonction de ce que vous attendez comme sortie acceptable. Qualifier les résultats appropriés en utilisant des critères concrets plutôt que des adjectifs vagues.

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• Soyez bref et concis : gardez l'invite aussi succincte que possible. Évitez d'écrire de longs paragraphes. Le LLM est plus susceptible de suivre vos instructions si vous les fournissez en tant que points brefs, concis. Essayez toujours de réduire la verbosité de l'invite. Bien qu'il soit crucial de fournir des instructions détaillées et toutes les informations de contexte avec lesquelles le LLM est censé fonctionner, gardez à l'esprit que la précision des réponses générées par le LLM tend à diminuer à mesure que la durée de l'invite augmente.
  Par exemple, procédez comme suit :

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  Ne procédez pas comme suit :

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• Méfiez-vous des biais inhérents - Les LLM sont formés à d'importants volumes de données et de connaissances du monde réel qui peuvent souvent contenir des informations historiquement inexactes ou obsolètes et comportent des biais inhérents. Cela, à son tour, peut amener les LLM à halluciner et à produire des données incorrectes ou des informations biaisées. Les LLM ont souvent une limite de formation qui peut les amener à présenter des informations historiquement inexactes, mais avec confiance.
  Remarque
  
  N'effectuez pas les opérations suivantes :

  • Demandez aux LLM de rechercher sur le Web ou de récupérer les informations actuelles.
  • Demandez aux LLM de générer du contenu en fonction de leur propre interprétation de la connaissance du monde ou des données factuelles.
  • Interrogez les LLM sur les informations sensibles au temps.
• Cas d'arête d'adresse : définissez les cas d'arête qui peuvent entraîner l'hallucination du modèle et générer une réponse plausible, mais incorrecte. Décrire les cas de bord et ajouter des exemples peut former une barrière contre les hallucinations. Par exemple, un cas en périphérie peut être qu'un appel d'API qui remplit les valeurs de variable dans l'invite ne parvient pas à le faire et renvoie une réponse vide. Pour permettre à la LM de gérer cette situation, l'invite inclut une description de la réponse attendue.

  Conseil :

  Les tests peuvent révéler des cas de bord imprévus.
• Ne pas introduire de contradictions : examinez attentivement votre invite pour vous assurer qu'elle ne contient aucune instruction conflictuelle. Par exemple, vous ne souhaitez pas :

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• Ne présumez pas que quoi que ce soit est implicite : la quantité de connaissances dont dispose un LLM est limitée. Dans la plupart des cas, il est préférable de supposer que le LLM ne sait pas quelque chose, ou peut être confus sur des termes spécifiques. Par exemple, un LLM peut généralement savoir ce qu'un aperçu dérivé d'une donnée signifie, mais il ne suffit pas de dire "dériver de bonnes informations à partir de ces données". Vous devez indiquer ce que les informations clés signifient pour vous dans ce cas :

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• Assurez-vous que l'invite a du sens une fois les variables remplies : les invites peuvent comporter des espaces réservés pour les valeurs qui peuvent être remplies, par exemple via le remplissage des emplacements. Assurez-vous que l'invite a du sens une fois qu'elle est remplie en testant ses valeurs échantillon. Par exemple, ce qui suit semble logique avant que la valeur de la variable ne soit remplie.

  Job is in the ${team} at Oracle

  Cependant, une fois que la variable est renseignée, l'expression ne semble pas correcte :

  Job is in the Oracle Digital Assistant at Oracle

  Pour résoudre ce problème, modifiez l'expression. Dans ce cas, en modifiant la variable avec team.

  Job is in the ${team} team at Oracle

  Le résultat est le suivant :

  Job is in the Oracle Digital Assistant team at Oracle

• Évitez de demander au LLM de faire des mathématiques - Dans certains cas, les LLM peuvent ne pas être en mesure de faire des mathématiques de base correctement. Malgré cela, ils hallucinent et renvoient une réponse qui semble si confiante qu'elle pourrait facilement être considérée comme correcte. Voici un exemple d'hallucination LLM lorsque l'on lui demande "quelle est la moyenne de 5, 7, 9" : The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• Soyez prudent lorsque vous définissez la température du modèle : des températures plus élevées, qui encouragent une production plus créative et aléatoire, peuvent également produire des hallucinations. Des valeurs inférieures telles que 0,01 indiquent que la sortie du LLM doit être précise et déterministe.
• Évitez les instructions redondantes : n'incluez pas d'instructions qui semblent redondantes. Réduisez autant que possible la verbosité de l'invite sans omettre les détails cruciaux.
• Utiliser des verbes explicites : au lieu d'utiliser des instructions détaillées et descriptives, utilisez des verbes concrets propres à la tâche, tels que "résumer", "classifier", "générer", "brouillon", etc.
• Fournir des entrées en langage naturel : lorsque vous devez transmettre du contexte ou des entrées supplémentaires au modèle, assurez-vous qu'elles sont facilement interprétables et en langage naturel. Tous les modèles ne peuvent pas comprendre correctement les données, les raccourcis ou les codes non structurés. Lorsque les données extraites des back-ends ou des bases de données ne sont pas structurées, vous devez les transposer en langage naturel.
  Par exemple, si vous devez transmettre le profil utilisateur dans le contexte, procédez comme suit :

  Name: John Smith
  Age: 29
  Gender: Male

  Ne procédez pas comme suit :

  Smith, John - 29M

  Remarque
  
  Evitez toujours tout vocabulaire propre à un domaine. Incorporez plutôt les informations à l'aide du langage naturel.

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: