ベスト・プラクティス

この項では、エンタープライズAIエージェントを本番にデプロイするための重要なベスト・プラクティスについて説明します。

1. エージェントのスコープの定義

すべてのプロダクションエージェントには、細かく定義された目的が必要です。

エージェントごとに次を定義します。

  • ビジネス目標
  • 成功メトリック
  • 許可された処理
  • 禁止されているアクション
  • 人的承認要件
  • エスカレーション・パス

汎用アシスタントではなく、特定のビジネス上の問題を解決するエージェントを設計します。小規模な専用エージェントは、単一のモノリシック・エージェントと比較して、検証、セキュリティ、監視およびメンテナンスの複雑さを軽減します。

実際の銀行の例: ローン・サービス・エージェントは、ローン残高および支払履歴の質問への回答、適格性の改善、支払リマインダの生成、チケットのサービスの作成、およびハードシップ要求のヒューマン・スペシャリストへのルーティングという、5つのアクティビティのみを対象としています。ローン変更の承認、手数料の放棄、支払期日の変更または資金のリリースはできません。この範囲を狭くすると、運用リスクと規制リスクが軽減され、精度が向上します。


scope-example.pngの説明が続きます
図scope-example.pngの説明

本番実装: LangGraphは、インテント分類、アカウント取得、ポリシー参照、チケット作成およびヒューマン・ハンドオフの専用ノードを定義します。Oracle Enterprise AI Response APIは推論を実行しますが、状態が変化するすべてのアクションは、モデルによって直接実行されるのではなく、管理されたエンタープライズAPIに委任されます。

2. モジュラー・エージェント・アーキテクチャの構築

エンタープライズ・エージェントは、推論と実行を分離するモジュラー・アーキテクチャを使用します。

一般的なコンポーネントには、次のものがあります。

  • ユーザー・インタフェース
  • プランニングおよび推論レイヤー
  • ツール・オーケストレーション
  • エンタープライズ・コネクタ
  • メモリー・サービス
  • 取得サービス(RAG)
  • ポリシー・エンジン
  • 観測層
  • セキュリティ・レイヤー

職責を分離すると、チームはシステム全体に影響を与えずにコンポーネントを個別に改善でき、テストとデバッグが簡素化されます。

実際の銀行の例: ワークフローでは、1つの大きなプロンプトのかわりに独立したステージを使用します。顧客の要求の抽出、ローンおよび口座レコードの取得、適用可能なサービス・ポリシーの確認、関連する数字(支払金額、次の期日)の計算、応答の草案、および必要に応じて人的承認の要求です。不正およびハードシップ検出モジュールは、顧客通信モジュールとは無関係にアップグレードできます。


Architecture-example.pngの説明が続きます
図architecture-example.pngの説明

本番実装: LangGraphは、各ステージを分離ノードとして編成します。LangChain OCIは銀行のローン・サービス・プラットフォームに再利用可能なコネクタを提供しますが、Oracle Enterprise AI Response APIは各ステージ内の推論を個別に処理します。

3. 堅牢なツール・ガバナンスを実装

エージェントは、アクセス可能なツールと同じくらい安全です。

ツールごとに次のものを定義します。

  • 明示的な入力スキーマ
  • 出力の検証
  • 認証要件
  • 承認ルール
  • タイムアウト制限
  • 再試行の動作
  • レート限度
  • 冪等性の保証

無制限APIを大規模言語モデル(LLM)に直接公開しないでください。かわりに、実行前にすべてのリクエストを検証する制御されたツール・インタフェースでエンタープライズAPIをラップします。

実際の銀行の例: エージェントは、「支払リマインダ」または「サービス・チケット」を開始できますが、コア・バンキング元帳に直接アクセスすることはありません。すべてのアクションは、顧客のアイデンティティを検証し、アカウントが良好な状態であることを確認し、リクエストされたアクションがポリシー制限内にあることを確認し、コア・バンキングAPIを呼び出すだけです。


ガバナンスの説明-example.pngの説明が続きます
図governance-example.pngの説明

本番実装: LangChain OCIは、厳密な入出力スキーマを持つ構造化関数としてサービス・ツールを公開します。Oracle Identityは、ツールの実行前にコール元の認可を検証し、成功したか拒否されたかに関係なく、すべての呼出しが監査のために記録されます。

4. 強力なアイデンティティおよびアクセス管理の強化

本番エージェントは、エンタープライズ・アイデンティティ・ポリシーの下で動作する必要があります。

ベスト・プラクティスには次のようなものがあります。

  • 最小権限によるアクセス
  • 短期間の資格証明
  • OAuthまたはエンタープライズ・アイデンティティ・プロバイダ
  • ロールベースのアクセス制御(RBAC)
  • セキュアなボールトによるシークレット管理
  • 完全な監査ロギング

エージェントは、自分が表すヒューマン・ユーザーよりも広い権限を受け取ることはできません。

実際の銀行の例: エージェントを使用するローン担当者は、割り当てられたポートフォリオ内の口座のみを表示および処理できます。エージェントは、その役員の代理として認証されると、同じ権限を継承し、これ以上継承しません。担当者がポートフォリオ外のアカウントについて尋ねると、モデルが応答を生成する前に、基礎となるツールによって要求が拒否されます。


iam-example.pngの説明が続きます
図iam-example.pngの説明

本番実装: Oracle Identity Cloud Service (IDCS)は、すべてのユーザー・セッションを認証します。各ツール・コールは、ユーザーのアイデンティティ、ロールおよびリソースの所有権に対してチェックされます。このチェックにより、エージェントがリクエスト元の従業員自身のアクセス権を超えないようにします。

5. エンタープライズ・ナレッジにRetrieval-Augmented Generation (RAG)を使用

エンタープライズ・エージェントは、モデルのトレーニングのみに依存するのではなく、検索を使用します。

次の演習を使用します。

  • 検索可能な索引へのエンタープライズ・ナレッジの格納
  • 関連するドキュメントを動的に取得
  • 取得中にドキュメント権限を適用
  • 可能な限りソースを引用
  • エンタープライズ・ナレッジのバージョン

適切に設計されたRAGアーキテクチャは、精度を向上させ、幻覚を軽減し、モデルを再トレーニングすることなく応答を最新の状態に保ちます。

実際の銀行の例: 顧客が適格性の絞込みについて尋ねると、エージェントは、基礎となるモデルのトレーニング・データに依存するのではなく、現在のサービス・ポリシー・マニュアル、適用可能なレート・シートおよび関連する規制開示を取得します。すべての回答は、それをサポートする特定のポリシー・セクションを示しています。銀行が融資条件を更新すると、エージェントは変更を反映します。


rag-example.pngの説明が続きます
図rag-example.pngの説明

本番実装: LangGraphには、専用の取得ノードが含まれます。ポリシー・マニュアルおよびレート・シートは、ネイティブのVECTORデータ型を使用してOracle AI Database 26aiに直接チャンク化および埋め込まれます。HNSW索引は、迅速な類似性検索と、正確なポリシー検索のためにセマンティックおよび全文照合をブレンドするハイブリッド・ベクトル索引を提供します。取得前の行レベル・セキュリティ・フィルタの結果には、ユーザーが表示を許可されているドキュメントのみが含まれ、LangChain OCIはこのストアに問い合せるため、Oracle Enterprise AI Response APIは、許可フィルタされたパスを顧客の質問と組み合せて、接地された適切なレスポンスを生成します。

6. 人間によるループ承認のための設計

いくつかの決定は人間の承認を必要とします。

リスクの高い操作には、次のような明示的な人間の承認が必要です。

  • 財務トランザクション
  • 顧客コミュニケーション
  • インフラストラクチャの変更
  • 本番環境
  • データの削除
  • 法的またはコンプライアンス・アクション

承認ワークフローは、運用リスクを低減しながら、リスクの低いタスクの自動化を可能にします。

実際の銀行の例: エージェントは、支払リマインダを自動的に送信したり、支払見積を生成できますが、支払延期、手数料免除または修正された返済スケジュールなどの困難な宿泊施設を意味する要求は、人間のローン専門家に一時停止およびルーティングします。スペシャリストは、決定する前に、顧客の状況、アカウント履歴およびエージェントの推奨の要約を受け取ります。


hitl-exampe.pngの説明が続きます
図hitl-exampe.pngの説明

本番実装: 承認ステップは、LangGraphチェックポイントとして実装されます。ワークフローの状態は、人間が応答するまで保持されます。永続状態では、数時間または数日かかる場合でも、プロセスは一時停止した場所から再開できます。

7. 信頼性と回復力を優先

信頼できるエンタープライズ・デプロイメントでは、理想的な条件を想定するのではなく、失敗を予測します。

次の障害を正常に処理するようにエージェントを設計します。

  • API失敗
  • ネットワーク停止
  • 部分的なツール障害
  • レート制限
  • コンテキスト・ウィンドウの制限
  • モデル使用不可
  • 無効な応答

推奨されるエンジニアリング・プラクティスには、回路遮断器、指数バックオフによる再試行ポリシー、リクエスト・タイムアウト、フォールバック・モデル、キューベースの処理、デッドレター・キュー、および長時間実行されるワークフローのチェックポイントが含まれます。回復性の高いシステムは、オペレータの介入を必要とせずに自動的に回復します。

実例バンク: ルーチン・サービス・リクエスト中に、コア・バンキングAPIがタイムアウトし、アイデンティティ・サービスが一時的に使用できなくなります。カスタマのセッションを終了するかわりに、エージェントは指数関数的なバックオフで再試行し、情報に関する質問のためにアカウントのキャッシュされた読取り専用ビューに戻り、サービスが回復すると自動的にすべての機能を再開します。このアプローチにより、顧客の中断が最小限に抑えられます。


信頼性-example.pngの説明が続きます
図reliability-example.pngの説明

本番の実装: LangGraphのチェックポイントは、失敗してもワークフローの状態を保持します。Oracle Enterprise AIデプロイメントでは、負荷の低い推論エンドポイントが自動的にスケーリングされ、エンタープライズAPIコネクタでは、デフォルトで再試行ポリシーおよびサーキット・ブレーカが実装されます。

8. 包括的な可観測性の確立

エンタープライズAIシステムには、分散ソフトウェア・システムと同じレベルの可観測性が必要です。

プロンプト、レスポンス、ツール・コール、レイテンシ、トークン消費、コスト、成功率、エラー率、人的承認、ユーザー・フィードバックおよび実行トレースを取得します。エージェント・ワークフロー全体に分散トレースを使用すると、トラブルシューティングとパフォーマンスの最適化が簡素化されます。

実際の銀行の例: 顧客は、サービス・エージェントからの応答の遅いレポートを開始します。推測するのではなく、エンジニアは分散トレースを検査し、内訳を見つけます: モデル応答1.1秒、ポリシー取得140ミリ秒、コアバンキング検索4.6秒、アイデンティティチェック250ミリ秒。トレースでは、ボトルネックがエージェント自体ではなく、低速のコア・バンキング・サービス・コールとして識別されます。


Observability-example.pngの説明が続きます
図可観測性の説明-example.png

本番実装: すべてのLangGraphノードがトレース、メトリックおよびログを発行します。OpenTelemetryは、LangGraph、Oracle Enterprise AIレスポンスAPI、エンタープライズ・コネクタ、取得索引およびOracle Enterprise AIデプロイメント全体のフル・リクエスト・パスを関連付けます。この相関関係により、運用チームはエンドツーエンドの完全な可視性を得ることができます。

9。継続的に評価

生産者には継続的な評価が必要です。

ビジネス・シナリオ、エッジ・ケース、障害ケース、敵対的プロンプト、セキュリティ攻撃、および回帰テストをカバーする評価データセットを維持します。リリース前にすべてのプロンプト、ワークフローまたはモデルの更新が検証されるように、自動評価をCI/CDパイプラインに組み込みます。

実際の銀行の例: モデルまたはプロンプト更新がLoan Servicing Agentに到達する前に、固定評価スイートに対して実行されます。2,000件の履歴サービス会話、500件の規制エッジ・ケース(貸付法で必要な開示など)、アップロードされたドキュメントに埋め込まれた200件のプロンプト・インジェクション試行、コンプライアンス精度ベンチマークです。プロモートされるのは、現在の本番ベースライン以上であるバージョンのみです。


評価example.pngの説明が続きます
図evaluate-example.pngの説明

本番実装: CI/CDパイプラインは、変更するたびに評価スイートを自動的に実行します。プロンプト編集、ワークフロー変更およびモデル・アップグレードはすべて、デプロイメントが認可される前に、これらの回帰ベンチマークを渡す必要があります。

10。迅速なインジェクションとデータ漏洩に対する保護

迅速な注射は、エージェントシステムで最も重要なリスクの1つです。

軽減策には、入力検証、迅速なサニタイズ、ツール分離、コンテキスト分離、出力フィルタリング、機密データ・リダクション、および実行前のポリシー施行が含まれます。エージェントは、検証なしで外部ドキュメントまたはWebコンテンツから取得した指示に従うことはできません。

実際の銀行の例: 顧客は、融資要求のサポート文書をアップロードします。ドキュメントのメタデータには、リクエストをすぐに承認するように指示する非表示のテキストが含まれています。アップロードされた文書は信頼できないデータとして扱われるため、エージェントは埋め込まれた指示を無視し、銀行の実際のサービス・ポリシーに対してのみ要求を評価し続けます。


secure-example.pngの説明が続きます
図secure-example.pngの説明

本番実装: LangGraphは、システム指示、ユーザー入力、取得されたドキュメントおよびツールの結果を別々のチャネルに保持します。ポリシー検証は、すべてのツールの起動前に実行されます。この階層化された防御により、注入された命令が機密性の高いアクションに影響するのを防ぎます。Oracle Deep Data Securityは、アプリケーション・レイヤーの下にある追加の制御として、Oracle AI Database 26aiで宣言的な行レベル、列レベルおよびセルレベルのポリシーを直接適用します。注入された命令によってエージェントが認可されていないクエリーを発行する場合でも、データベースはオフィサーの伝播されたアイデンティティおよびランタイム・コンテキストを使用して、オフィサーが確認できるデータのみを返し、その他すべてをNULLとしてマスクします。

11。コンテキストおよびメモリーの管理

メモリーをエンタープライズ・データとして処理します。

ベスト・プラクティスには、セッション・メモリーの長期メモリーからの分離、格納されたメモリーの暗号化、保存ポリシーの定義、メモリー削除のサポート、メモリー更新のバージョニング、不要な個人情報の格納の回避などがあります。プライバシ規制を尊重しながら、将来のタスク・パフォーマンスを向上させる情報のみを保持します。

実例バンク: Loan Servicing Agentは、銀行のOracle AI Database接続プールによってバックアップされた単一のOracleAgentMemoryインスタンスを初期化します。各顧客インタラクションは、その顧客のuser_idにスコープ指定されたスレッドになります。

  • カスタマが「今後、テキストによる連絡を希望する」などと言った場合、エージェントはthread.add_messages(...)をコールします。これにより、生の会話がデータベースに書き込まれ、個別の抽出ステップなしで永続ファクト(優先コンタクト・チャネル・プリファレンス)が自動的に抽出されます。
  • エージェントが通常の会話フロー外に保持する情報(たとえば、「顧客のハードシップ・ケースは7月3日に専門家にエスカレートされた」など)については、thread.add_memory(...)を使用して明示的に記述します。
  • 後でコールすると、エージェントはmemory.search(query=...、 scope=SearchScope(user_id=...)を使用して関連する履歴を取得します。このスコープでは、顧客ごとにメモリーがパーティション化されます。ローン担当者のエージェント・セッションは、権限がある範囲(エージェント、ユーザー、またはチーム・レベル)内でのみ検索でき、権限は役員自身のエンタープライズIDから継承されます。

この設計は、セッション・メモリーと長期メモリーの間の銀行の必要な分割にマップされます。RAWメッセージ履歴はセッション・メモリーまたは作業メモリーとして機能し、抽出されたファクトおよび状態は永続的でセッション間のメモリーとして機能します。耐久性のあるメモリは、エージェントが再確認することなく、リピート顧客の好みを認識するのに役立ちます。また、エージェントは類似度を使用して、銀行がエージェントを永続させたくない口座番号や認証データを保持せずに、以前のハードシップ・ケースに似た新しい要求にフラグを付けることもできます。


memory-example.pngの説明が続きます
図memory-example.pngの説明

本番実装: セッション・メモリーと長期メモリーの両方がOracle AI Database 26aiで稼働しています。抽出されたファクトおよび状態は、ネイティブVECTORデータ型を使用して格納され、HNSWベクトル索引で索引付けされます。エラスティック・ベクター・メモリーは、メモリーの増加に伴って取得を高速に維持します。ハイブリッド・ベクトル索引では、セマンティック検索と全文検索を融合して、類似度検索を強化し、検索精度をパーセンテージでチューニングできます。Governed Accessでは、暗号化、データ・マスキング、アクティビティ監査など、Oracleの組込みデータベース・セキュリティを使用します。権限は、セクション4で説明した同じアイデンティティ・システムから継承されます。保持は、銀行の規制期間を過ぎたメモリーをパージするスケジュール済ライフサイクル・ジョブとして実行されます。

12. 責任あるAIガードレールの構築

エンタープライズ・デプロイメントには、複数のレイヤーのAIガバナンスが必要です。

ガードレールを使用して、有害なコンテンツ、バイアス検出、毒性フィルタリング、コンプライアンス要件、プライバシー保護、知的財産、規制上の義務に対処します。例外的な状況に対する人間の監視を維持します。

実際の銀行の例: 貸付は厳しく規制された活動であるため、エージェントは、送信前にコンプライアンス・ガードレールを介して顧客対応のすべての応答を実行します。ガードレールは、必要な規制開示(フェアレンディング言語など)と、保護されたクラスに関する差別的な声明として解釈できる言語の画面をチェックします。また、エージェントは、拘束力のある与信決定に似た文の作成をブロックし、個人を特定できる情報をリダクションしてから、情報が記録されるか、応答に引用されます。


gurdrails-example.pngの説明が続きます
図gurdrails-example.pngの説明

本番実装: ポリシー・エンジンは、推論レイヤーと顧客対応の出力の間に位置し、コンプライアンスおよび責任AIルールを最終チェックポイントとして適用します。ポリシー・エンジンは、違反を自動的にブロックし、顧客に提示するのではなく、コンプライアンス・レビューアにルーティングします。

13. コストとパフォーマンスの最適化

生産エージェントは、運用効率と能力のバランスをとります。

最適化手法には、モデル・ルーティング、レスポンス・キャッシュ、セマンティック・キャッシュ、トークン最適化、コンテキスト圧縮、バッチ推論、ストリーミング・レスポンスおよび動的モデル選択が含まれます。すべてのリクエストに最大の使用可能なモデルが必要なわけではありません。タスクごとに適切なモデルを選択すると、レイテンシと運用コストを削減できます。

実際の銀行の例: 単純な「次回支払期日は何か」という質問は、セマンティック・キャッシュに裏付けられた、より小さく低レイテンシ・モデルにルーティングされます。これは、回答が簡単な参照であるためです。ポリシー文書間の複数ステップ推論を必要とする微調整適格質問は、より大きなモデルにルーティングされます。この動的ルーティングにより、複雑なリクエストの精度を低下させることなく、エージェントの平均レスポンス・コストが半分以上削減されます。


optim-example.pngの説明が続きます
図optimize-example.pngの説明

本番実装: Oracle Enterprise AI Deploymentは、同時にデプロイされた複数のモデル層をサポートし、LangGraphのルーティング・ノードはインテント分類に基づいて適切な層を選択します。セマンティック・キャッシュは、最もボリュームの小さいリクエスト・タイプの前にあります。

14. 安全なデプロイメント・プラクティスを実装

エージェント・デプロイメントをソフトウェア・リリースとして扱います。

推奨プラクティスには、バージョニング・プロンプトとワークフロー、カナリア・デプロイメント、ブルー/グリーン・デプロイメント、機能フラグ、ロールバック・メカニズム、構成管理およびInfrastructure as Code (IaC)が含まれます。アプリケーション コードと同じプロセスを使用して、プロンプトの変更を確認およびテストします。

実際の銀行の例: 銀行に新しい融資推奨機能が導入された場合、銀行全体の機能は一度にリリースされません。銀行は、内部ローン担当者に第1週のみ、第2週には顧客の5%、第3週には顧客の25%、第4週にはすべての顧客に、段階的に機能を導入しています。銀行は各ステージでエラー率を監視し、レートが定義済のしきい値を超えた場合、機能を自動的にロールバックします。


deployment-example.pngの説明が続きます
図deployment-example.pngの説明

本番実装: Oracle Enterprise AI Deploymentは、バージョン管理されたモデル・エンドポイントを管理し、IaCは、開発、テストおよび本番全体にわたって一貫した環境をプロビジョニングし、機能フラグは、基礎となるモデル・デプロイメントとは無関係にロールアウトを制御します。

15. ビジネス成果の測定

技術指標だけでは不十分です。

タスク完了率、人的介入率、顧客満足度、解決時間、運用コスト削減、生産性の向上、正確性、コンプライアンス率など、ビジネスに焦点を当てたKPIを追跡します。これらの指標は、ビジネス価値を実証し、継続的な改善の取り組みをガイドします。

実際の銀行の例: ローンチから6か月後、銀行はモデルの正確性のみでなく、測定可能な結果を追跡します。

KPI エージェント前 エージェントの後
平均解決期間 18分 5分
初回連絡解決 62% 87%
人的エスカレーション 45% 14%
顧客満足度 4.1 / 5 4.7 / 5
サービス・インタラクション当たりのコスト $8.40 $2.75

これらの結果は、技術的なパフォーマンスだけでなく、測定可能なビジネス価値を実証します。

本番導入: OpenTelemetry指標は、銀行のCRMおよびローン・サービス・システムから取り込まれたビジネスKPIと組み合わされます。エンジニアリング・ダッシュボードは、レイテンシ、トークン使用、ツール障害率などの技術指標と、解決時間や顧客満足度などのビジネス成果を関連付けます。この相関関係により、実際の運用への影響に基づいて継続的な最適化が可能になります。