専用のAIクラスタでOracle Generative AIを使用してチャットを要約

今日、企業は外部の顧客の問題を解決するためにサポートセンターに依存しています。サポート・エンゲージメント・プロセスの一環として、サポート・エンジニアはチャット・コミュニケーションを使用して顧客と効率的にやり取りします。チャット後、カスタマー・エクスペリエンスを向上させるために、エンジニアは、話し合った内容に関するサマリー・ノートを共有するためにさらに時間を費やす必要があります。
エンジニアは、Oracle Cloud Infrastructure(OCI)ジェネレーティブAIサービスの助けを借りて、チャットの内容をまとめ、エンドツーエンドの通信プロセスを自動化できます。また、OCI Generative AIでは、モデルを絞り込み、独自のデータを使用してカスタマイズできます。専用のAIクラスタを活用して、カスタム・モデルを微調整したり、カスタム・モデルのエンドポイントをホストしたりできます。学習モデルは、人間がわかりやすい読みやすいトーンで会話を効果的に要約できるため、エンジニアの貴重な時間を節約し、顧客エンゲージメントの生産性を高めることができます。

このリファレンス・アーキテクチャでは、OCI Generative AIサービスがユーザー間のチャット通信をどのように要約するかについて説明します。

アーキテクチャ

このリファレンス・アーキテクチャでは、Oracle Digital Assistant (ODA)を利用して、インターネット上のユーザーとの会話をシミュレートします。ODAは、ユーザーが自然言語での会話によって様々なタスクを実行するのに役立つAI駆動のインタフェースです。ODAをカスタム・ナレッジベース検索と統合して、コンテキストに関する詳細情報を提供できます。また、このアーキテクチャでは、OCI API Gatewayを使用してGenerative AIおよびDigital AssistantからAPIを保護および管理します。これらのAPIを使用して、任意のアプリケーションと統合できます。たとえば、このアーキテクチャはOracle B2C Service Cloudと統合されます。Webフック・コードを使用することで、ODAボットは詳細な分析および問題解決のためにチャットをライブ・エージェントに転送できます。チャット通信が終了すると、OCI Generative AIは、専用AIクラスタでホストされているファインチューニング・モデルを使用してチャットのサマリーを生成します。サマリーは、OCI Email Delivery Serviceを使用してお客様と共有されます。このアーキテクチャは、可視性とリソース制御を向上させるために、OCI Logging and Monitoringサービスを利用します。微調整が不要な場合は、マネージド・サービスを使用してベース・モデルをコールし、専用のAIクラスタが不要になります。
このリファレンス・アーキテクチャでは、次のOCIサービスがプロビジョニングされます。
  • テキスト・サマリー用の専用AIクラスタを備えたOCI生成AIサービス
  • Oracle Digital Assistant
  • OCI APIゲートウェイ
  • OCI Email Delivery
  • Oracle B2C Service Cloud

次の図は、このリファレンス アーキテクチャを示しています。


summary-chat-oci-gen-ai.pngの説明が続きます
図summaryize-chat-oci-gen-ai.pngの説明

summary-chat-oci-gen-ai-oracle.zip

このアーキテクチャには、次のコンポーネントがあります。
  • リージョン

    OCIリージョンとは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含む、ローカライズされた地理的領域です。リージョンは他のリージョンから独立しており、長距離では(複数の国または大陸にまたがる)、それらを分離できます。

  • Virtual Cloud Network (VCN)およびサブネット

    VCNは、ソフトウェアで定義されたカスタマイズ可能なネットワークであり、OCIリージョンで設定します。VCNは、従来のデータ・センター・ネットワークと同様に、ネットワーク環境の完全な制御を可能にします。VCNには重複しない複数のCIDRブロックを含めることができ、VCNの作成後にそれらを変更できます。VCNをサブネットにセグメント化して、そのスコープをリージョンまたは可用性ドメインに設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックにもプライベートにもできます。

  • オブジェクト・ストレージ

    オブジェクト・ストレージでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、すべてのコンテンツ・タイプの構造化データおよび非構造化データにすばやくアクセスできます。インターネットから直接またはクラウド・プラットフォーム内から、安全かつセキュアにデータを格納し、取得できます。パフォーマンスやサービスの信頼性を低下させることなく、シームレスにストレージを拡張できます。迅速、即時、頻繁にアクセスする必要のあるホット・ストレージには、標準ストレージを使用します。アーカイブ・ストレージは、長時間保持し、ほとんどまたはめったにアクセスしないコールド・ストレージに使用します。

  • OCI生成AI
    OCI Generative AIは、APIを介して利用できるフルマネージド・サービスであり、これらの多用途言語モデルを、執筆支援、要約、チャットなどの幅広いユースケースにシームレスに統合します。OCI Generative AIサービスには、次の基本モデルが含まれます:
    • 生成:テキストを生成したり、テキストから情報を抽出するための指示を提供します。
    • [サマリ]: 指示されたフォーマット、長さ、およびトーンでテキストを要約します。
    • 埋込み:セマンティック検索、テキスト分類またはテキスト・クラスタリングのためにアプリケーションで使用するテキストをベクトル埋込みに変換します。
  • 専用AIクラスタ

    専用AIクラスタは、カスタム・モデルのファインチューニングやカスタム・モデルのエンドポイントのホスティングに使用できるコンピュート・リソースです。クラスタは自分のモデル専用であり、他のテナンシのユーザーと共有されません。カスタム・モデルOCI生成AIを使用すると、独自のデータを使用してモデルを絞り込むことができます。

  • Oracle Digital Assistant

    デジタル・アシスタントは、会話型インタフェースまたはチャットボットを作成するためのプラットフォームです。チャットボットは、人間の会話をシミュレートして処理するコンピュータ・プログラム(書面または話し言葉)であり、人間は実際の人とコミュニケーションしているかのようにアプリケーションやデータを操作できます。開発者は、1つ以上のスキルからデジタル・アシスタントを組み立てます。スキルは、Oracleまたはサード・パーティが提供する事前構築済スキル、カスタム開発済スキル、または使用可能な多数のスキル・テンプレートのいずれかに基づきます。デジタル・アシスタントは、ユーザーのリクエストを満たすために、最も適切なスキルにユーザーのリクエストをルーティングします。スキルは、多言語NLPディープ・ラーニング・エンジン、強力なダイアログ・フロー・エンジンおよび統合コンポーネントを組み合せて、バックエンド・システムに接続します。

  • APIゲートウェイ

    Oracle API Gatewayでは、ネットワーク内からアクセス可能なプライベート・エンドポイントとともに、必要に応じてパブリック・インターネットに公開できるAPIを公開できます。エンドポイントは、API検証、リクエストとレスポンス変換、CORS、認証と認可およびリクエスト制限をサポートします。

  • 電子メール配信

    OCI Email Deliveryは、ミッションクリティカルなマーケティング、通知、トランザクション通信(領収書、不正検知アラート、多要素による本人確認、パスワードのリセットなど)用の大量のアプリケーション生成電子メールを送信するための、スケーラビリティとコスト効率、信頼性の高い電子メール配信サービスです。

  • アイデンティティおよびアクセス管理(IAM)

    OCI Identity and Access Management (IAM)は、OCIおよびOracle Cloud Applicationsのアクセス制御プレーンです。IAM APIおよびユーザー・インタフェースを使用すると、アイデンティティ・ドメインおよびアイデンティティ・ドメイン内のリソースを管理できます。各OCI IAMアイデンティティ・ドメインは、スタンドアロンのアイデンティティおよびアクセス管理ソリューションまたは異なるユーザー移入を表します。

  • ロギング
    Loggingは、クラウド内のリソースから次のタイプのログへのアクセスを提供する、高度にスケーラブルな完全管理型のサービスです:
    • 監査ログ: 監査サービスによって発行されたイベントに関連するログ。
    • サービス・ログ: APIゲートウェイ、イベント、ファンクション、ロード・バランシング、オブジェクト・ストレージ、VCNフロー・ログなどの個々のサービスによって発行されたログ。
    • カスタム・ログ: カスタム・アプリケーション、他のクラウド・プロバイダまたはオンプレミス環境からの診断情報を含むログ。
  • モニタリング

    OCI Monitoringサービスは、メトリックを使用してクラウド・リソースをアクティブおよびパッシブに監視し、リソースおよびアラームをモニターして、これらのメトリックがアラームで指定されたトリガーを満たしたときに通知を行います。

承認

作成者: Rajsagar Rawool