LLM統合

Oracle Digital Assistantによる大規模言語モデル(LLM)の統合により、生成AI機能でスキルを向上させることができます。

この機能は次のとおりです。

  • ユーザーとの小さな会話。
  • データの要約の作成
  • 人材獲得に必要なタスクなど、難しいビジネス・タスクや反復的なビジネス・タスクを自動化します。
  • 特定のテキストのセンチメント分析を提供し、ポジティブ、ネガティブまたは中立的な意見を反映するかどうかを決定します。

「Large Language Modelの起動」コンポーネント(LLMコンポーネント)を使用すると、これらの機能を必要な場所でダイアログ・フローに接続できます。このダイアログ・フロー・コンポーネントは、生成AIがRESTコールを介してLLMに接続し、関連パラメータとともにLLMにプロンプト(自然言語命令)を送信するという点で、生成AIの主要な統合部分です。次に、モデルによって生成された結果(補完とも呼ばれます)を返し、LLMユーザー・インタラクションの状態を管理して、ユーザー問合せおよびフィードバックの連続ラウンド後にレスポンスがコンテキストにとどまるようにします。LLMコンポーネントは任意のLLMをコールできます。1つ以上のLLMコンポーネントの状態(またはLLMブロック)をフローに追加できます。また、LLMコールを連鎖して、1つのLLMリクエストの出力を後続のLLMリクエストに渡すこともできます。

LLMコンポーネントの他に、LLM統合の他の主要な部分には、LLMサービス・プロバイダのエンドポイント、およびリクエスト・ペイロードとレスポンス・ペイロードをデジタル・アシスタントのフォーマットである共通LLMインタフェース(CLMI)との間で変換するための変換ハンドラが含まれます。スキルのLLM統合を作成するための、これらのコンポーネントおよびその他のコンポーネントを追加するステップの概要を次に示します:

  • LLMのRESTエンドポイントのデジタル・アシスタント・インスタンスにAPIサービスを登録します。
  • スキルについて、LLMリクエストおよびレスポンス・ペイロードをCLMIとの間で変換するLLM変換イベント・ハンドラを作成します。
    ノート

    スキルをCohereモデルまたはOracle Generative AI Serviceと統合している場合は、事前構築済のハンドラを提供します。Azure OpenAIなどの他のモデルにアクセスしている場合は、提供するスタータ変換コードを更新できます。
  • LLM変換ハンドラを使用してインスタンスに登録したRESTサービスにマップするスキルのLLMサービスを定義します。
  • LLMを使用するフローで、プロンプト・テキストを追加し、他のパラメータを設定してLLMコンポーネントを挿入および構成します。

    ヒント:

    ベスト・プラクティスとして、プロンプト・ビルダー(LLMコンポーネントを介してアクセス)を使用してプロンプトを完成させることをお薦めします。
次のページでは、後続の概念およびLLMサービスをスキルに統合してダイアログ・フローにLLMブロックを作成するステップについて説明します。