1. Cliquez sur Components (Composants) dans la barre de navigation gauche.
2. Cliquez sur +New Service.
3. Remplissez la boîte de dialogue Create Service :
   • Nom : Entrez le nom du service.
   • Type de service : Conteneur intégré
   • Type d'ensemble de services de composant : Nouveau composant
   • Type de composant : Validation et personnalisation LLLM
   • Nom du composant : Entrez un nom facilement identifiable pour le programme de traitement d'événements. Vous référencerez ce nom lorsque vous créerez le service LLM pour la compétence.
4. Cliquez sur Créer pour générer le programme de traitement de validation.
5. Une fois le déploiement terminé, développez le service, puis sélectionnez le programme de traitement de validation.
6. Cliquez sur Modifier pour ouvrir l'éditeur de modification de code de composant.
7. À l'aide du modèle généré, mettez à jour les méthodes de programme de traitement suivantes, au besoin.

   Méthode	Description	Lorsque la validation réussit	Lorsque la validation échoue	Type de valeur renvoyée	Emplacement dans l'éditeur	Code de paramètre fictif	Que puis-je faire en cas d'échec de la validation?
   validateRequestPayload	Valide les données utiles de la demande.	Retourne true lorsque la demande est valide.	Retourne false en cas d'échec de la validation d'une demande.	booléen	Courbes 24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } Pour en savoir plus sur ce code, consultez les propriétés validateRequestPayload.	Révisez l'invite, puis renvoyez-la au LLM Définissez une erreur de validation.
   validateResponsePayload	Valide les données utiles de la réponse LLM.	Lorsque le programme de traitement retourne true : Si vous réglez la propriété Send LLM Result as a Message (Envoyer le résultat LLM en tant que message) à true, la réponse LLM, y compris les boutons d'action standard ou personnalisés, est envoyée à l'utilisateur. Si la diffusion en continu est activée, la réponse LLM sera diffusée en fragments. Les boutons d'action seront ajoutés à la fin du flux. Tous les messages d'utilisateur ajoutés dans le programme de traitement sont envoyés à l'utilisateur, quel que soit le paramètre de la propriété Envoyer le résultat LLM en tant que message. Si une nouvelle invite LLM est définie dans le gestionnaire, cette invite est envoyée au LLM et le gestionnaire de validation est de nouveau appelé avec la nouvelle réponse LLM. Si aucune nouvelle invite LLM n'est définie et que la propriété Enable Multi-Turn Refinements (Activer les affinements à rotation multiple) est réglée à true, le virage est lancé et le flux de dialogue reste à l'état LLM. Si cette propriété est réglée à false, cependant, le virage est conservé et la boîte de dialogue passe de l'état à l'aide de l'action de transition success.	Lorsque le programme de traitement retourne false : Si la diffusion en continu est activée, les utilisateurs peuvent voir les réponses potentiellement non valides car le programme de traitement d'événements de validation est appelé après que la réponse LLM a déjà commencé la diffusion en continu. Tous les messages d'utilisateur ajoutés par le programme de traitement sont envoyés à l'utilisateur, quel que soit le paramètre Send LLM Result as a Skill Response (Envoyer le résultat LLM en tant que réponse à une compétence). Si une nouvelle invite LLM est définie dans le gestionnaire, cette invite est envoyée au LLM et le gestionnaire de validation est de nouveau appelé avec la nouvelle réponse LLM. Si aucune invite LLM n'est définie, le flux de dialogue quitte l'état du composant LLM. L'action de transition définie dans le code du programme de traitement sera utilisée pour déterminer l'état suivant. Si aucune action de transition n'est définie, l'action de transition error est déclenchée.	booléen	Courbes 50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } Pour en savoir plus sur ce code, consultez validateResponsePayload Properties (Propriétés).	Appelez à nouveau le LLM à l'aide d'une invite de nouvelle tentative qui spécifie le problème avec la réponse (elle n'est pas conforme à un format JSON spécifique, par exemple) et demande que le LLM corrige la réponse. Définissez une erreur de validation.
   changeBotMessages	Modifie les messages de compétences candidates qui seront envoyés à l'utilisateur.	S.O.	S.O.	Liste des messages du modèle de messages de conversation	Courbes 59-71	changeBotMessages: async (event, context) => { return event.messages; }, Pour un exemple d'utilisation de cette méthode, voir Améliorer le message d'utilisateur pour les réponses au format JSON.	S.O.
   submit	Ce programme de traitement est appelé lorsque les utilisateurs touchent le bouton Soumettre. Il traite plus avant la réponse LLM.	S.O.	S.O.	S.O.	Courbes 79-80	submit: async (event, context) => { }	S.O.

   Chacune de ces méthodes utilise un objet event et un objet context. Par exemple :

    validateResponsePayload: async (event, context) =>
   ...

   Les propriétés définies pour l'objet event dépendent du type d'événement. Le deuxième argument, context, référence la classe LlmComponentContext, qui accède aux méthodes pratiques pour créer votre propre logique de programme de traitement d'événements. Il s'agit notamment de méthodes permettant de définir le nombre maximal d'invites de nouvelle tentative et d'envoyer des messages de statut et d'erreur aux utilisateurs de la compétence.
8. Vérifiez le numéro de système de vos mises à jour en cliquant sur Valider. Cliquez sur Save (Enregistrer) > Close (Fermer).

1. Commencez par définir le rôle ou le persona du LLM avec une description de haut niveau de la tâche à accomplir.
2. Ajoutez des détails sur les éléments à inclure dans la réponse, le format de sortie attendu, etc.
3. Si nécessaire, fournissez quelques exemples de la tâche à accomplir.
4. Facultativement, mentionnez comment traiter les scénarios constituant une interrogation non prise en charge.

• Commencer par une invite simple et concise - Commencez par une invite courte, simple et directe qui décrit clairement le cas d'utilisation et la sortie attendue. Par exemple :
  • Une instruction en une ligne comme "Dites-moi une blague"
  • Invite de style d'achèvement de texte
  • Une instruction avec une entrée
  Par exemple :

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  Une simple invite est un bon point de départ de vos tests, car c'est un bon indicateur du comportement du modèle. Il vous permet également d'ajouter d'autres éléments au fur et à mesure que vous affinez votre texte d'invite.
• Modifier et tester votre invite de manière itérative - Ne vous attendez pas à ce que la première version provisoire de votre invite retourne les résultats attendus. Il peut prendre plusieurs séries de tests pour savoir quelles instructions doivent être ajoutées, supprimées ou reformulées. Par exemple, pour empêcher le modèle d'halluciner en ajoutant du contenu supplémentaire, vous devez ajouter des instructions supplémentaires :

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• Utiliser un persona propre à votre cas d'utilisation - Les personas obtiennent souvent de meilleurs résultats, car ils aident le LLM à imiter le comportement ou à assumer un rôle.
  Note
  
  Les modèles de cohère pèsent les instructions propres à la tâche plus que la définition de persona.
  Par exemple, si vous souhaitez que le LLM génère des informations, demandez-lui d'être un analyste de données :

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  Note
  
  Faites attention aux biais ou aux comportements implicites qui peuvent être inhérents au persona.
• Écrire des invites propres à un LLM - Les LLM ont des architectures différentes et sont entraînés à l'aide de différentes méthodes et de différents jeux de données. Vous ne pouvez pas écrire une seule invite qui retournera les mêmes résultats de tous les LLM, ou même des versions différentes du même LLM. Les approches qui fonctionnent bien avec GPT-4 échouent avec GPT-3.5 et vice-versa, par exemple. Au lieu de cela, vous devez adapter votre invite aux capacités du LLM choisi pour votre cas d'utilisation. Utiliser quelques exemples d'instantané - Comme les modules de gestion de la qualité apprennent des exemples, fournissez quelques exemples d'instantané chaque fois que cela est pertinent. Incluez dans votre invite des exemples étiquetés qui illustrent la structure de la réponse générée. Par exemple :

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  Fournissez quelques exemples d'instantanés lorsque :
  • Les contraintes structurelles doivent être appliquées.
  • Les réponses doivent être conformes à des modèles spécifiques et contenir des détails spécifiques
  • Les réponses varient en fonction des différentes conditions d'entrée
  • Votre cas d'utilisation est très spécifique au domaine ou ésotérique, car les LLM, qui disposent de connaissances générales, fonctionnent mieux sur les cas d'utilisation courants.
  Note
  
  Si vous incluez plusieurs exemples d'instantané dans l'invite d'un modèle Cohere, assurez-vous de représenter de manière égale toutes les classes d'exemples. Un déséquilibre dans les catégories d'exemples peu saisis affecte négativement les réponses, car le modèle limite parfois sa production aux modèles prédominants trouvés dans la majorité des exemples.
• Définir des critères d'acceptation clairs - Plutôt que d'instruire le LLM sur ce que vous ne voulez pas qu'il fasse en incluant "ne pas faire ceci" ou "éviter cela" dans l'invite, vous devez fournir des instructions claires qui indiquent au LLM ce qu'il doit faire en termes de sortie acceptable. Qualifier les résultats appropriés en utilisant des critères concrets au lieu d'adjectifs vagues.

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• Soyez bref et concis - Gardez l'invite aussi succincte que possible. Évitez d'écrire de longs paragraphes. Le LLM est plus susceptible de suivre vos instructions si vous les fournissez comme des points brefs, concis. Essayez toujours de réduire la verbosité de l'invite. Bien qu'il soit crucial de fournir des instructions détaillées et toutes les informations de contexte avec lesquelles le LLM est censé fonctionner, gardez à l'esprit que la précision des réponses générées par le LLM tend à diminuer à mesure que la durée de l'invite augmente.
  Par exemple, effectuez les opérations suivantes :

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  Ne pas faire ceci :

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• Méfiez-vous des biais inhérents - Les LLM sont formés sur de grands volumes de données et de connaissances du monde réel qui peuvent souvent contenir des informations historiquement inexactes ou obsolètes et comporter des biais inhérents. Cela, à son tour, peut amener les LLM à halluciner et à produire des données incorrectes ou des informations biaisées. Les LLM ont souvent une limite de formation qui peut les amener à présenter des informations historiquement inexactes, mais en toute confiance.
  Note
  
  Ne pas :

  • Demandez aux LLM de rechercher sur le Web ou d'extraire les informations courantes.
  • Demandez aux LLM de générer du contenu en fonction de leur propre interprétation des connaissances du monde ou des données factuelles.
  • Demandez aux LLM des informations sensibles au temps.
• Cas de périphérie de réseau de l'adresse - Définissez les cas de périphérie de réseau qui peuvent entraîner une hallucination du modèle et générer une réponse plausible, mais incorrecte. La description des cas de bord et l'ajout d'exemples peuvent former un garde-corps contre les hallucinations. Par exemple, un cas en périphérie de réseau peut indiquer qu'un appel d'API qui remplit les valeurs de variable dans l'invite ne parvient pas à le faire et retourne une réponse vide. Pour permettre au LLM de gérer cette situation, votre invite comprendra une description de la réponse attendue.

  Conseil :

  Les tests peuvent révéler des cas de périphérie imprévus.
• Ne pas introduire de contradictions - Vérifiez attentivement votre invite pour vous assurer que vous ne lui avez pas donné d'instructions contradictoires. Par exemple, vous ne voulez pas :

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• Ne présumez pas que quoi que ce soit est implicite - Il y a une limite quant à la quantité de connaissances dont dispose un LLM. Dans la plupart des cas, il est préférable de supposer que le LLM ne sait pas quelque chose, ou peut être confus sur des termes spécifiques. Par exemple, un LLM peut généralement savoir ce que signifie un aperçu dérivé d'une donnée, mais dire simplement "dériver de bonnes informations à partir de ces données" ne suffit pas. Vous devez spécifier ce que les informations signifient pour vous dans ce cas :

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• Assurez-vous que l'invite a du sens après le remplissage des variables - Les invites peuvent avoir des paramètres fictifs pour les valeurs qui peuvent être remplies, par exemple, par le remplissage des emplacements. Assurez-vous que l'invite a du sens une fois qu'elle est alimentée en testant ses exemples de valeurs. Par exemple, ce qui suit semble logique avant que la valeur de la variable ne soit remplie.

  Job is in the ${team} at Oracle

  Cependant, une fois que la variable est alimentée, l'expression ne semble pas correcte :

  Job is in the Oracle Digital Assistant at Oracle

  Pour corriger cela, modifiez l'expression. Dans ce cas, en modifiant la variable avec team.

  Job is in the ${team} team at Oracle

  Le résultat est le suivant :

  Job is in the Oracle Digital Assistant team at Oracle

• Évitez de demander au LLM de faire des mathématiques - Dans certains cas, les LLM peuvent ne pas être en mesure de faire des mathématiques de base correctement. Malgré cela, ils hallucinent et retournent une réponse qui semble si confiante qu'elle pourrait facilement être confondue avec la bonne. Voici un exemple d'hallucination LLM comme suit lorsqu'on lui demande " quelle est la moyenne de 5, 7, 9 " : The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• Faites attention lors de la définition de la température du modèle - Des températures plus élevées, qui favorisent une sortie plus créative et aléatoire, peuvent également produire des hallucinations. Des valeurs inférieures telles que 0.01 indiquent que la sortie du LLM doit être précise et déterministe.
• Éviter les instructions redondantes - N'incluez pas les instructions qui semblent redondantes. Réduisez la verbosité de l'invite autant que possible sans omettre les détails cruciaux.
• Utiliser des verbes explicites - Au lieu d'utiliser des énoncés descriptifs verbose, utilisez des verbes concrets propres à la tâche, par exemple "sommaire", "classifier", "générer", "ébauche", etc.
• Fournir des entrées en langage naturel - Lorsque vous devez transmettre un contexte ou des entrées supplémentaires au modèle, assurez-vous qu'elles sont facilement interprétables et en langage naturel. Tous les modèles ne peuvent pas comprendre correctement les données non structurées, les raccourcis ou les codes. Lorsque les données extraites de serveurs dorsaux ou de bases de données ne sont pas structurées, vous devez les transposer en langage naturel.
  Par exemple, si vous devez transmettre le profil d'utilisateur dans le contexte, procédez de la façon suivante :

  Name: John Smith
  Age: 29
  Gender: Male

  Ne pas faire ceci :

  Smith, John - 29M

  Note
  
  Évitez toujours d'utiliser du vocabulaire propre à un domaine. Intégrez plutôt les informations en langage naturel.

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: