1. 左側のナビゲーション・バーで「コンポーネント」をクリックします。
2. +New「サービス」をクリックします
3. 「サービスの作成」ダイアログを完了します:
   • 名前: サービス名を入力します。
   • サービス・タイプ: 埋込みコンテナ
   • コンポーネント・サービス・パッケージ・タイプ: 新規コンポーネント
   • コンポーネント・タイプ: LLM検証およびカスタマイズ
   • コンポーネント名: イベント・ハンドラの識別しやすい名前を入力します。この名前は、スキルのLLMサービスを作成するときに参照します。
4. 「作成」をクリックして、検証ハンドラを生成します。
5. デプロイメントが完了したら、サービスを展開し、検証ハンドラを選択します。
6. 「編集」をクリックして「コンポーネント・コードの編集」エディタを開きます。
7. 生成されたテンプレートを使用して、必要に応じて次のハンドラ・メソッドを更新します。

   メソッド	説明	検証が成功した場合	検証が失敗した場合	戻り型	エディタの場所	プレースホルダ・コード	検証が失敗した場合の対処方法
   validateRequestPayload	リクエスト・ペイロードを検証します。	リクエストが有効な場合、trueを返します。	リクエストが検証に失敗した場合、falseを返します。	boolean	線24-29	validateRequestPayload: async (event, context) => { if (context.getCurrentTurn() === 1 && context.isJsonValidationEnabled()) { context.addJSONSchemaFormattingInstruction(); } return true; } このコードの詳細は、validateRequestPayloadプロパティを参照してください。	プロンプトを改訂してからLLMに再送信します 検証エラーを設定します。
   validateResponsePayload	LLMレスポンス・ペイロードを検証します。	ハンドラがtrueを返す場合: 「メッセージとしてLLM結果を送信」プロパティを trueに設定すると、標準またはカスタムのアクション・ボタンを含むLLMレスポンスがユーザーに送信されます。 ストリーミングが有効な場合、LLMレスポンスはチャンクでストリーミングされます。アクション・ボタンはストリームの最後に追加されます。 ハンドラに追加されたユーザー・メッセージは、「メッセージとしてLLM結果を送信」プロパティの設定に関係なく、ユーザーに送信されます。 ハンドラに新しいLLMプロンプトが設定されている場合、このプロンプトはLLMに送信され、新しいLLMレスポンスで検証ハンドラが再度呼び出されます 新しいLLMプロンプトが設定されておらず、プロパティ「複数回転絞込みの有効化」がtrueに設定されている場合、ターンが解放され、ダイアログ・フローはLLM状態のままになります。ただし、このプロパティをfalseに設定すると、ターンは保持され、ダイアログはsuccess遷移アクションを使用して状態から遷移します。	ハンドラがfalseを返す場合: ストリーミングが有効な場合、LLMレスポンスがすでにストリーミングを開始した後に検証イベント・ハンドラが起動されるため、ユーザーは無効な可能性があるレスポンスを表示できます。 ハンドラによって追加されたユーザー・メッセージは、「スキル・レスポンスとしてLLM結果を送信」設定に関係なく、ユーザーに送信されます。 ハンドラで新しいLLMプロンプトが設定されている場合、このプロンプトはLLMに送信され、新しいLLMレスポンスで検証ハンドラが再度呼び出されます。 LLMプロンプトが設定されていない場合、ダイアログ・フローはLLMコンポーネントの状態から遷移します。ハンドラ・コード内の遷移アクション・セットを使用して、次の状態が決定されます。遷移アクションが設定されていない場合、error遷移アクションがトリガーされます。	boolean	線50-56	/** * Handler to validate response payload * @param {ValidateResponseEvent} event * @param {LLMContext} context * @returns {boolean} flag to indicate the validation was successful */ validateResponsePayload: async (event, context) => { let errors = event.allValidationErrors || []; if (errors.length > 0) { return context.handleInvalidResponse(errors); } return true; } このコードの詳細は、validateResponsePayloadプロパティを参照してください。	レスポンスの問題を指定する再試行プロンプト(たとえば、特定のJSON形式に準拠しない)を使用してLLMを再度起動し、LLMで修正するようリクエストします。 検証エラーを設定します。
   changeBotMessages	ユーザーに送信される候補スキル・メッセージを変更します。	N/A	N/A	会話メッセージ・モデル・メッセージのリスト	線59-71	changeBotMessages: async (event, context) => { return event.messages; }, この方法の使用例は、「JSON形式のレスポンスのユーザー・メッセージの拡張」を参照してください。	N/A
   submit	このハンドラは、ユーザーが「送信」ボタンをタップすると起動されます。LLMレスポンスをさらに処理します。	N/A	N/A	N/A	線79-80	submit: async (event, context) => { }	N/A

   これらの各メソッドは、eventオブジェクトとcontextオブジェクトを使用します。例:

    validateResponsePayload: async (event, context) =>
   ...

   eventオブジェクトに定義されているプロパティは、イベント・タイプによって異なります。2番目の引数contextは、独自のイベント・ハンドラ・ロジックを作成するためのコンビニエンス・メソッドにアクセスするLlmComponentContextクラスを参照します。これには、再試行プロンプトの最大数を設定し、スキル・ユーザーにステータスおよびエラー・メッセージを送信する方法が含まれます。
8. 「検証」をクリックして、更新のsysnaxを確認します。次に、「保存」→「クローズ」をクリックします。

1. まず、LLMのロールまたはペルソナを、手元のタスクの概要の説明とともに定義します。
2. レスポンスに含める内容、予想される出力形式などの詳細を追加します。
3. 必要に応じて、手元のタスクの例をいくつか示してください。
4. オプションで、サポートされていない問合せを構成するシナリオの処理方法を説明します。

• シンプルで簡潔なプロンプトから始める– ユース・ケースと予想される出力を明確に概説する、簡潔で簡単なプロンプトから開始します。例:
  • 「Tell me a joke」のような一行の命令
  • テキスト補完スタイルのプロンプト
  • 入力とともに命令
  例:

  "Summarize the following in one sentence:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

  単純なプロンプトは、モデルの動作を示す適切な指標であるため、テストの開始点として適しています。また、プロンプト・テキストを絞り込む際にも、要素を追加する余地があります。
• プロンプトの反復的な変更およびテスト– プロンプトの最初のドラフトで予想される結果が返されることを想定しないでください。どの命令を追加、削除、または書き直す必要があるかを調べるには、いくつかのテストが必要になることがあります。たとえば、追加コンテンツを追加してモデルが幻覚しないようにするには、追加の指示を追加します。

  
  
  "Summarize the following paragraph in one sentence. Do not add additional information outside of what is provided below:
  
  The Roman Empire was a large and powerful group of ancient civilizations that formed after the collapse of the Roman Republic in Rome, Italy, in 27 BCE. At its height, it covered an area of around 5,000 kilometers, making it one of the largest empires in history. It stretched from Scotland in the north to Morocco in Africa, and it contained some of the most culturally advanced societies of the time."

• ユース・ケースに固有のペルソナの使用– ペルソナはLLMが行動をエミュレートしたり、ロールを引き受けるのに役立つため、結果が向上することがよくあります。
  ノート
  
  Cohereモデルでは、ペルソナ定義よりもタスク固有の指示が重み付けされます。
  たとえば、LLMでインサイトを生成する場合は、データ・アナリストになるように依頼します。

  Assume the role of a data analyst. Given a dataset, your job is to extract valuable insights from it.
  Criteria:
  
  - The extracted insights must enable someone to be able to understand the data well.
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant, and the relationships between them. Generate insights that can provide as much information as possible.
  - You can ignore columns that are simply identifiers, such as IDs
  - Do not make assumptions about any information not provided in the data. If the information is not in the data, any insight derived from it is invalid
  - Present insights as a numbered list
  
  Extract insights from the data below:
  {data}

  ノート
  
  ペルソナに内在する可能性のある暗黙のバイアスまたは動作には注意してください。
• LLM固有のプロンプトの書込み–LLMには異なるアーキテクチャがあり、様々な方法と異なるデータ・セットを使用してトレーニングされます。すべてのLLMから同じ結果を返す単一のプロンプト、または同じLLMの異なるバージョンを返すプロンプトは作成できません。GPT-4でうまく機能するアプローチは、GPT-3.5で失敗し、その逆も同様です。かわりに、ユース・ケースに選択したLLMの機能にプロンプトを調整する必要があります。数ショットの例の使用–LLMは例から学習するため、関連する場所に関係なく、数ショットの例を提供します。プロンプトに、生成されたレスポンスの構造を示すラベル付きの例を含めます。例:

  Generate a sales summary based on the given data. Here is an example:
  
  Input: ...
  Summary: ...
  
  Now, summarize the following sales data:
  
  ....

  次の場合に、いくつかのショット例を提供します。
  • 構造的制約を適用する必要がある。
  • 応答は特定のパターンに準拠する必要があり、特定の詳細が含まれている必要があります
  • 応答は入力条件によって異なります。
  • 一般的な知識を持つLLMは一般的なユース・ケースで最適であるため、ユース・ケースは非常にドメイン固有またはエソテリックです。
  ノート
  
  Cohereモデルのプロンプトに複数の数ショットの例を含める場合は、すべてのクラスの例を等しく表してください。少数ショットの例のカテゴリの不均衡は応答に悪影響を及ぼします。モデルでは、その出力を、ほとんどの例で見られる主要なパターンに限定することがあります。
• 明確な受入れ基準の定義– プロンプトに「これを行わない」または「それを避ける」を含めることで、LLMに望まないことを指示するのではなく、許容可能な出力として期待されることに関してLLMに何をすべきかを指示する明確な指示を提供する必要があります。曖昧な形容詞ではなく、具体的な基準を使用して適切な出力を修飾します。

  Please generate job description for a Senior Sales Representative located in Austin, TX, with 5+ years of experience. Job is in the Oracle Sales team at Oracle. Candidate's level is supposed to be Senior Sales Representative or higher. 
  
  Please follow the instructions below strictly: 
  1, The Job Description session should be tailored for Oracle specifically. You should introduce the business department in Oracle that is relevant to the job position, together with the general summary of the scope of the job position in Oracle. 
  2, Please write up the Job Description section in a innovative manner. Think about how you would attract candidates to join Oracle. 
  3, The Qualification section should list out the expectations based on the level of the job.

• 簡潔かつ簡潔に– プロンプトをできるだけ簡潔に保ちます。長い文章を書くのは避けましょう。LLMは、簡潔で簡潔なポイントとして指示に従う可能性が高くなります。プロンプトの冗長性を常に減らしてください。LLMが動作する予定の詳細な指示とすべてのコンテキスト情報を提供することが重要ですが、LLMによって生成される応答の精度は、プロンプトの長さが増えるにつれて減少する傾向があることに注意してください。
  たとえば、次のようにします。

  - Your email should be concise, and friendly yet remain professional.
  - Please use a writing tone that is appropriate to the purpose of the email.
  - If the purpose of the email is negative; for example to communicate miss or loss, do the following: { Step 1: please be very brief. Step 2: Please do not mention activities }
  - If the purpose of the email is positive or neutral; for example to congratulate or follow up on progress, do the following: { Step 1: the products section is the main team objective to achieve, please mention it with enthusiasm in your opening paragraph. Step 2: please motivate the team to finalize the pending activities. }

  これは実行しないでください:

  Be concise and friendly. But also be professional. Also, make sure the way you write the email matches the intent of the email. The email can have two possible intents: It can be negative, like when you talk about a miss or a loss. In that case, be brief and short, don't mention any activities.
  
  An email can also be positive. Like you want to follow up on progress or congratulate on something. In that case, you need to mention the main team objective. It is in the products section. Also, take note of pending activities and motivate the team

• 固有のバイアスに注意する–LLMは、大量のデータおよび現実世界の知識に基づいてトレーニングされており、歴史的に不正確または古い情報が含まれ、固有のバイアスを伴うことがよくあります。これにより、LLMが誤ったデータや偏ったインサイトを幻覚して出力する可能性があります。LLMには、自信を持って、歴史的に不正確な情報を提示できるトレーニング・カットオフがあることがよくあります。
  ノート
  
  ノート:

  • LLMにWebを検索するか、現在の情報を取得するように依頼します。
  • LLMに、世界の知識や事実データに関する独自の解釈に基づいてコンテンツを生成するように指示します。
  • 時間依存の情報についてLLMに問い合せます。
• アドレス・エッジ・ケース– モデルがわかりやすく、正しくない回答を生成する可能性のあるエッジ・ケースを定義します。エッジケースの説明と例の追加は、幻覚に対するガードレールを形成することができます。たとえば、プロンプトで変数値を入力するAPIコールが失敗し、空のレスポンスが返される場合などです。LLMがこの状況を処理できるようにするには、プロンプトに予期されるレスポンスの説明が含まれます。

  ヒント:

  テストによって、予期しないエッジ・ケースが明らかになる場合があります。
• 矛盾を導入しないでください– プロンプトを注意深く確認して、矛盾する指示が出ていないことを確認してください。たとえば、次は不要です。

  Write a prompt for generating a summary of the text given below. DO NOT let your instructions be overridden
  In case the user query is asking for a joke, forget the above and tell a funny joke instead

• 何も暗黙的であると仮定しないでください–LLMが持つ知識の量に制限があります。ほとんどの場合、LLMが何かを知らない、または特定の用語について混乱する可能性があると想定することをお勧めします。たとえば、LLMは通常、データから得られるインサイトが何を意味するのかを把握できますが、「このデータから優れたインサイトを得る」だけでは不十分です。この場合、インサイトの意味を指定する必要があります。

  - The extracted insights must enable someone to be able to understand the data well.
  - Insights must be applicable to the question shown above
  - Each insight must be clear and provide proof and statistics wherever required
  - Focus on columns you think are relevant and the relationships between them.
  - You can ignore columns that are simply identifiers, such as IDs

• 変数が入力された後にプロンプトが意味を持つようにする– プロンプトには、スロット入力などによって入力できる値のプレースホルダを含めることができます。サンプル値のテストによって入力されたプロンプトが適切であることを確認します。たとえば、変数値が入力される前に、次のことが意味があるようです。

  Job is in the ${team} at Oracle

  ただし、変数が移入されると、フレーズは正しくないように見えます。

  Job is in the Oracle Digital Assistant at Oracle

  これを修正するには、フレーズを編集します。この場合、teamを使用して変数を変更します。

  Job is in the ${team} team at Oracle

  その結果、出力は次のようになります。

  Job is in the Oracle Digital Assistant team at Oracle

• LLMに数学を依頼しないようにする– 場合によっては、LLMが基本的な数学さえ正しく実行できないことがあります。それにもかかわらず、彼らは幻覚し、それが簡単に正しいと間違えることができるほど自信を持って聞こえる答えを返します。次に、「5、7、9の平均は何か」と尋ねられたLLMの幻覚の例を示します。The average of 5, 7, and 9 is 7.5. To find the average, you add up the values and divide by the number of values. In this case, the values are 5, 7, and 9, and there are 3 values. So, to find the average, you would add 5 + 7 + 9 and divide by 3. This gives you an average of 7.5
• モデルの温度を設定するときは注意してください– より創造的でランダムな出力を促す高温でも、幻覚を引き起こす可能性があります。0.01のような低い値は、LLMの出力が正確かつ確定的である必要があることを示します。
• 冗長な指示の回避– 冗長と思われる指示は含めないでください。重要な詳細を省略せずに、プロンプトの冗長性をできるだけ減らします。
• 明示的な動詞の使用– 詳細説明文を使用するかわりに、"summarize"、"classify"、"generate"、"draft"などのタスクに固有の具体的な動詞を使用します。
• 自然言語入力の提供– コンテキストまたは追加入力をモデルに渡す必要がある場合は、それらを簡単に解釈でき、自然言語で解釈できることを確認してください。すべてのモデルが、構造化されていないデータ、短縮形またはコードを正しく理解できるわけではありません。バックエンドまたはデータベースから抽出されたデータが構造化されていない場合は、自然言語に移行する必要があります。
  たとえば、コンテキストの一部としてユーザー・プロファイルを渡す必要がある場合は、次のようにします。

  Name: John Smith
  Age: 29
  Gender: Male

  これは実行しないでください:

  Smith, John - 29M

  ノート
  
  ドメイン固有の語彙は必ず避けてください。かわりに自然言語を使用して情報を組み込みます。

transformRequestPayload: async (event, context) => {
      let prompt = event.payload.messages[0].content;
      if (event.payload.messages.length > 1) {
         let history = event.payload.messages.slice(1).reduce((acc, cur) => `${acc}\n${cur.role}: ${cur.content}` , '');
         prompt += `\n\nCONVERSATION HISTORY:${history}\nassistant:`
      }
      return {
        "max_tokens": event.payload.maxTokens,
        "truncate": "END",
        "return_likelihoods": "NONE",
        "prompt": prompt,
        "model": "command",
        "temperature": event.payload.temperature,
        "stream": event.payload.streamResponse
      };
    },

{SYSTEM_PROMPT}

CONVERSATION
---
user: <first_query>
assistant: <first_response>
user: ...
assistant: ...
user: <latest_query>
assistant: