1. Klicken Sie in der linken Navigationsleiste auf Komponenten.
2. Klicken Sie auf +New-Service.
3. Füllen Sie das Dialogfeld "Service erstellen" aus:
   • Name: Geben Sie den Dienstnamen ein.
   • Servicetyp: Eingebetteter Container
   • Komponentenservicepakettyp: Neue Komponente
   • Komponententyp: LLM-Validierung und -Anpassung
   • Komponentenname: Geben Sie einen einfach identifizierbaren Namen für den Ereignis-Handler ein. Sie referenzieren diesen Namen, wenn Sie den LLM-Service für den Skill erstellen.
4. Klicken Sie auf Erstellen, um den Validierungs-Handler zu generieren.
5. Blenden Sie nach Abschluss des Deployments den Service ein, und wählen Sie den Validierungs-Handler aus.
6. Klicken Sie auf Bearbeiten, um den Editor "Komponentencode bearbeiten" zu öffnen.
7. Aktualisieren Sie mit der generierten Vorlage die folgenden Handler-Methoden nach Bedarf.

   Methode	Beschreibung	Wenn die Validierung erfolgreich ist	Wenn Validierung nicht erfolgreich	Rückgabetyp	Position im Editor	Platzhaltercode	Was kann ich tun, wenn die Validierung nicht erfolgreich ist?
   validateRequestPayload	Validiert die Anforderungs-Payload.	Gibt true zurück, wenn die Anforderung gültig ist.	Gibt false zurück, wenn die Validierung einer Anforderung nicht erfolgreich ist.	boolean	Zeilen 24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } Weitere Informationen zu diesem Code finden Sie unter validateRequestPayload properties.	Ändern Sie die Eingabeaufforderung, und senden Sie sie erneut an das LLM Legen Sie einen Validierungsfehler fest.
   validateResponsePayload	Validiert die LLM-Antwort-Payload.	Wenn der Handler true zurückgibt: Wenn Sie die Eigenschaft LLM-Ergebnis als Nachricht senden auf true setzen, wird die LLM-Antwort, einschließlich standardmäßiger oder benutzerdefinierter Aktionsschaltflächen, an den Benutzer gesendet. Wenn Streaming aktiviert ist, wird die LLM-Antwort in Chunks gestreamt. Die Aktionsschaltflächen werden am Ende des Streams hinzugefügt. Alle im Handler hinzugefügten Benutzernachrichten werden an den Benutzer gesendet, unabhängig von der Einstellung für die Eigenschaft LLM-Ergebnis als Nachricht senden. Wenn im Handler eine neue LLM-Eingabeaufforderung festgelegt ist, wird diese Eingabeaufforderung an das LLM gesendet, und der Validierungs-Handler wird erneut mit der neuen LLM-Antwort aufgerufen Wenn keine neue LLM-Eingabeaufforderung festgelegt ist und die Eigenschaft Multi-Turn-Verfeinerungen aktivieren auf true gesetzt ist, wird die Umdrehung freigegeben, und der Dialogablauf bleibt im LLM-Status. Wenn diese Eigenschaft jedoch auf false gesetzt ist, wird die Umdrehung beibehalten, und das Dialogfeld geht mit der Übergangsaktion success von dem Status über.	Wenn der Handler false zurückgibt: Wenn Streaming aktiviert ist, können Benutzer Antworten anzeigen, die möglicherweise ungültig sind, weil der Validierungsereignis-Handler aufgerufen wird, nachdem die LLM-Antwort das Streaming bereits gestartet hat. Alle vom Handler hinzugefügten Benutzernachrichten werden an den Benutzer gesendet, unabhängig von der Einstellung LLM-Ergebnis als Skillantwort senden. Wenn im Handler eine neue LLM-Eingabeaufforderung festgelegt ist, wird diese Eingabeaufforderung an das LLM gesendet, und der Validierungs-Handler wird mit der neuen LLM-Antwort erneut aufgerufen. Wenn keine LLM-Eingabeaufforderung festgelegt ist, verlässt der Dialogablauf den Status der LLM-Komponente. Mit der im Handler-Code festgelegten Übergangsaktion wird der nächste Status bestimmt. Wenn keine Übergangsaktion festgelegt ist, wird die Übergangsaktion error ausgelöst.	boolean	Zeilen 50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } Weitere Informationen zu diesem Code finden Sie unter validateResponsePayload Properties.	Rufen Sie das LLM erneut mit einer Wiederholungseingabeaufforderung auf, die das Problem mit der Antwort angibt (z.B. nicht mit einem bestimmten JSON-Format übereinstimmt) und fordert das LLM auf, es zu beheben. Legen Sie einen Validierungsfehler fest.
   changeBotMessages	Ändert die Kandidatenskillnachrichten, die an den Benutzer gesendet werden.	N/V	N/V	Eine Liste der Nachrichten im Unterhaltungsnachrichtenmodell	Zeilen 59-71	changeBotMessages: async (event, context) => { return event.messages; }, Ein Beispiel für die Verwendung dieser Methode finden Sie unter Benutzernachricht für JSON-formatierte Antworten erweitern.	N/V
   submit	Dieser Handler wird aufgerufen, wenn Benutzer auf die Schaltfläche Weiterleiten tippen. Es verarbeitet die LLM-Antwort weiter.	N/V	N/V	N/V	Zeilen 79-80	submit: async (event, context) => { }	N/V

   Jede dieser Methoden verwendet ein event-Objekt und ein context-Objekt. Beispiel:

    validateResponsePayload: async (event, context) =>
   ...

   Die für das Objekt event definierten Eigenschaften hängen vom Ereignistyp ab. Das zweite Argument, context, referenziert die Klasse LlmComponentContext, die auf die Convenience-Methoden zum Erstellen Ihrer eigenen Ereignis-Handler-Logik zugreift. Dazu gehören Methoden zum Festlegen der maximalen Anzahl von Wiederholungs-Prompts sowie zum Senden von Status- und Fehlermeldungen an Skillbenutzer.
8. Prüfen Sie die Sytnax Ihrer Aktualisierungen, indem Sie auf Validieren klicken. Klicken Sie auf Speichern > Schließen.

1. Definieren Sie zunächst die Rolle oder Persona des LLM mit einer allgemeinen Beschreibung der aktuellen Aufgabe.
2. Fügen Sie Details dazu hinzu, was in die Antwort, das erwartete Ausgabeformat usw. aufgenommen werden soll.
3. Geben Sie bei Bedarf wenige Beispiele für die vorliegende Aufgabe an
4. Erwähnen Sie optional, wie Szenarios verarbeitet werden, die eine nicht unterstützte Abfrage darstellen.

• Beginnen Sie mit einem einfachen, kurzen Prompt - Beginnen Sie mit einem kurzen, einfachen und einfachen Prompt, der den Anwendungsfall und die erwartete Ausgabe klar umreißt. Beispiel:
  • Eine einzeilige Anweisung wie "Sag mir einen Witz"
  • Eine Eingabeaufforderung für Textvervollständigungsstil
  • Eine Anweisung zusammen mit Eingabe
  Beispiel:

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  Eine einfache Eingabeaufforderung ist ein guter Ausgangspunkt für Ihre Tests, da sie ein guter Indikator dafür ist, wie sich das Modell verhalten wird. Außerdem können Sie beim Verfeinern des Prompt-Textes weitere Elemente hinzufügen.
• Eingabeaufforderung iterativ ändern und testen - Erwarten Sie nicht, dass der erste Entwurf der Eingabeaufforderung die erwarteten Ergebnisse zurückgibt. Es kann mehrere Testrunden dauern, um herauszufinden, welche Anweisungen hinzugefügt, entfernt oder umformuliert werden müssen. Um beispielsweise zu verhindern, dass das Modell durch Hinzufügen zusätzlicher Inhalte halluziniert, fügen Sie zusätzliche Anweisungen hinzu:

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• Eine für Ihren Anwendungsfall spezifische Persona verwenden - Personas führt häufig zu besseren Ergebnissen, da sie dem LLM helfen, Verhalten zu emulieren oder eine Rolle zu übernehmen.
  Hinweis
  
  Cohere-Modelle wiegen die aufgabenspezifischen Anweisungen stärker als die Personadefinition.
  Beispiel: Wenn der LLM Erkenntnisse generieren soll, bitten Sie ihn, ein Datenanalyst zu sein:

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  Hinweis
  
  Achten Sie auf implizite Vorurteile oder Verhaltensweisen, die der Person inhärent sein können.
• LLM-spezifische Prompts schreiben - LLMs haben unterschiedliche Architekturen und werden mit verschiedenen Methoden und verschiedenen Datasets trainiert. Sie können keine einzelne Eingabeaufforderung schreiben, die dieselben Ergebnisse von allen LLMs oder sogar von verschiedenen Versionen desselben LLMs zurückgibt. Ansätze, die gut mit GPT-4 funktionieren, scheitern beispielsweise mit GPT-3.5 und umgekehrt. Stattdessen müssen Sie Ihre Eingabeaufforderung an die Fähigkeiten des für Ihren Anwendungsfall ausgewählten LLM anpassen. Beispiele mit wenigen Klicks verwenden - Da LLMs aus Beispielen lernen, geben Sie gegebenenfalls Beispiele mit wenigen Klicks an. Fügen Sie in der Eingabeaufforderung beschriftete Beispiele ein, die die Struktur der generierten Antwort demonstrieren. Beispiel:

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  Geben Sie Beispiele für wenige Aufnahmen an, wenn:
  • Strukturelle Einschränkungen müssen durchgesetzt werden.
  • Die Antworten müssen bestimmten Mustern entsprechen und spezifische Details enthalten
  • Antworten variieren mit unterschiedlichen Eingabebedingungen
  • Ihr Anwendungsfall ist sehr domänenspezifisch oder esoterisch, da LLMs mit allgemeinem Wissen am besten für häufige Anwendungsfälle geeignet sind.
  Hinweis
  
  Wenn Sie mehrere wenige Beispiele in die Eingabeaufforderung für ein Cohere-Modell aufnehmen, stellen Sie sicher, dass alle Klassen von Beispielen gleichmäßig dargestellt werden. Ein Ungleichgewicht in den Kategorien von Wenig-Schuss-Beispielen wirkt sich negativ auf die Antworten aus, da das Modell manchmal seine Ausgabe auf die vorherrschenden Muster beschränkt, die in den meisten Beispielen zu finden sind.
• Definieren Sie klare Akzeptanzkriterien - Anstatt den LLM anzuweisen, was er nicht tun soll, indem Sie in der Eingabeaufforderung "Nicht tun" oder "Vermeiden" angeben, sollten Sie stattdessen klare Anweisungen geben, die dem LLM mitteilen, was er in Bezug auf das tun soll, was Sie als akzeptable Ausgabe erwarten. Qualifizieren Sie geeignete Ergebnisse anhand konkreter Kriterien anstelle vager Adjektive.

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• Kurz und präzise sein - Halten Sie den Prompt so kurz wie möglich. Vermeiden Sie lange Absätze zu schreiben. Der LLM ist wahrscheinlicher, Ihre Anweisungen zu befolgen, wenn Sie sie als kurze, präzise Punkte angeben. Versuchen Sie immer, die Ausführlichkeit der Eingabeaufforderung zu reduzieren. Während es wichtig ist, detaillierte Anweisungen und alle Kontextinformationen bereitzustellen, mit denen das LLM arbeiten soll, beachten Sie, dass die Genauigkeit von LLM-generierten Antworten mit zunehmender Länge der Eingabeaufforderung tendenziell abnimmt.
  Beispiel:

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  Gehen Sie nicht wie folgt vor:

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• Vorsicht vor inhärenten Vorurteilen - LLMs werden auf große Datenmengen und reales Wissen trainiert, das oft historisch ungenaue oder veraltete Informationen enthalten und inhärente Vorurteile aufweisen kann. Dies wiederum kann dazu führen, dass LLMs halluzinieren und falsche Daten oder voreingenommene Erkenntnisse ausgeben. LLMs haben oft einen Trainingsgrenzwert, der dazu führen kann, dass sie historisch ungenaue Informationen präsentieren, wenn auch zuversichtlich.
  Hinweis
  
  Führen Sie folgende Aktionen nicht aus:

  • Bitten Sie LLMs, im Internet zu suchen oder aktuelle Informationen abzurufen.
  • Weisen Sie LLMs an, Inhalte basierend auf ihrer eigenen Interpretation von Weltwissen oder sachlichen Daten zu generieren.
  • Fragen Sie LLMs nach zeitkritischen Informationen.
• Edge-Fälle adressieren - Definieren Sie die Edge-Fälle, die dazu führen können, dass das Modell halluziniert und eine plausibel klingende, aber falsche Antwort generiert. Das Beschreiben von Randfällen und das Hinzufügen von Beispielen kann eine Leitschiene gegen Halluzinationen bilden. Beispiel: Ein Edge-Fall kann sein, dass ein API-Aufruf, der Variablenwerte in der Eingabeaufforderung ausfüllt, dies nicht tut und eine leere Antwort zurückgibt. Damit das LLM diese Situation bewältigen kann, enthält die Eingabeaufforderung eine Beschreibung der erwarteten Antwort.

  Tipp:

  Tests können unvorhergesehene Edge-Fälle aufdecken.
• Kein Widerspruch - Prüfen Sie Ihren Prompt sorgfältig, um sicherzustellen, dass Sie ihm keine widersprüchlichen Anweisungen gegeben haben. Beispiel: Sie möchten Folgendes nicht:

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• Gehen Sie nicht davon aus, dass etwas impliziert ist - Das Wissen, das ein LLM besitzt, ist begrenzt. In den meisten Fällen ist es besser anzunehmen, dass der LLM etwas nicht weiß oder über bestimmte Begriffe verwirrt werden kann. Zum Beispiel kann ein LLM im Allgemeinen wissen, was eine aus Daten abgeleitete Erkenntnis bedeutet, aber nur "abgeleitete gute Erkenntnisse aus diesen Daten" zu sagen, reicht nicht aus. In diesem Fall müssen Sie angeben, was Insights für Sie bedeutet:

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• Stellen Sie sicher, dass die Eingabeaufforderung nach dem Ausfüllen der Variablen sinnvoll ist - Eingabeaufforderungen können Platzhalter für Werte haben, die beispielsweise durch das Ausfüllen von Einschubfächern gefüllt werden können. Stellen Sie sicher, dass die Eingabeaufforderung nach dem Auffüllen sinnvoll ist, indem Sie ihre Beispielwerte testen. Beispiel: Das Folgende scheint sinnvoll zu sein, bevor der Variablenwert gefüllt wird.

  Job is in the ${team} at Oracle

  Sobald die Variable jedoch aufgefüllt ist, scheint die Phrase nicht richtig zu sein:

  Job is in the Oracle Digital Assistant at Oracle

  Um dies zu beheben, bearbeiten Sie die Wortgruppe. In diesem Fall ändern Sie die Variable mit team.

  Job is in the ${team} team at Oracle

  Das Ergebnis ist:

  Job is in the Oracle Digital Assistant team at Oracle

• Bitten Sie den LLM nicht, Mathematik zu machen - In einigen Fällen können LLMs möglicherweise nicht einmal die grundlegende Mathematik richtig ausführen. Trotzdem halluzinieren sie und geben eine Antwort zurück, die so sicher klingt, dass sie leicht als richtig verwechselt werden kann. Hier ist ein Beispiel für eine LLM-Halluzination, die wie folgt lautet: "Was ist der Durchschnitt von 5, 7, 9?" The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• Vorsicht beim Einstellen der Modelltemperatur - Höhere Temperaturen, die eine kreativere und zufälligere Ausgabe fördern, können ebenfalls Halluzinationen hervorrufen. Niedrigere Werte wie 0,01 deuten darauf hin, dass der Ausgang des LLM präzise und deterministisch sein muss.
• Vermeiden Sie redundante Anweisungen - Fügen Sie keine redundanten Anweisungen hinzu. Reduzieren Sie die Ausführlichkeit der Eingabeaufforderung so weit wie möglich, ohne wichtige Details zu unterlassen.
• Explizite Verben verwenden - Anstatt ausführliche, beschreibende Anweisungen zu verwenden, verwenden Sie konkrete Verben, die für die Aufgabe spezifisch sind, wie "Zusammenfassen", "Klassifizieren", "Generieren", "Entwurf" usw.
• Eingaben in natürlicher Sprache angeben - Wenn Sie Kontext oder zusätzliche Eingaben an das Modell übergeben müssen, stellen Sie sicher, dass sie leicht interpretierbar und in natürlicher Sprache sind. Nicht alle Modelle können unstrukturierte Daten, Abkürzungen oder Codes richtig verstehen. Wenn Daten, die aus Backends oder Datenbanken extrahiert werden, unstrukturiert sind, müssen Sie sie in eine natürliche Sprache übertragen.
  Beispiel: Wenn Sie das Benutzerprofil als Teil des Kontexts übergeben müssen, gehen Sie wie folgt vor:

  Name: John Smith
  Age: 29
  Gender: Male

  Gehen Sie nicht wie folgt vor:

  Smith, John - 29M

  Hinweis
  
  Vermeiden Sie immer domänenspezifische Vokabeln. Integrieren Sie die Informationen stattdessen in natürlicher Sprache.

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: