1. Oracle Cloud Infrastructureでエンタープライズ・レベルの生成AIスタックを構築
  2. Oracle Cloud Infrastructureでエンタープライズ・レベルの生成AIスタックを構築

Oracle Cloud Infrastructureでエンタープライズ・レベルの生成AIスタックを構築

Oracle Cloud Infrastructure(OCI)にエンド・ツー・エンドの生成AIスタックを構築するには、エンタープライズ・システム内に人工知能を統合するためのマルチレイヤ・アプローチが必要です。

その目的は、アプリケーション開発の合理化、堅牢なデータ統合の確保、および様々なレイヤーにわたるセキュリティ対策の強化です。AIモデルの導入を促進し、顧客データを効率的に管理し、高度なロギングと監視を組み込んで、高いパフォーマンスと信頼性を維持します。このリファレンス・アーキテクチャでは、必要な様々なコンポーネント、および必要なレスポンスに基づいて連携するように様々なLLMを編成する方法についても説明します。

アーキテクチャ

このリファレンス・アーキテクチャでは、4つのレイヤーAIスタックと、エンタープライズ・グレードの生成AIソリューションをエンタープライズ設定に実装するために必要なすべての様々なコンポーネントについて説明します。

  1. アプリケーション層
  2. アクセス・レイヤー
  3. ソリューション全体のロギングと監視
  4. 次の5つのモジュールで構成されるAIレイヤー:
    • AI統合
    • LLM
    • AI開発
    • データ統合
    • コンテキストおよびデータ・カタログ

このリファレンス・アーキテクチャで考慮される仮想フローについては、次の項で説明します。

  1. リクエストは、アプリケーションからAPIおよびアクセス・レイヤーに送信されます。
  2. レイヤーはWAFによって保護され、リクエストはOCI Identity and Access Managementおよび認可ポリシーを使用した認証がチェックされます。
  3. その後、APIゲートウェイは統合レイヤーにリクエストを取得します。このレイヤーには、AIの抽象化とオーケストレーションに使用されるLangChainが含まれます。このレイヤーには、ホワイトリストに登録され、適切な認可にマップされたプロンプト・リポジトリとLLMモデル・バージョンも含まれます。
  4. リクエストは、リクエスト・クラスおよびプロンプトに一致するLLMに送信されます。
  5. コンテキストおよびコンシューマ履歴はコンテキスト・データベースからロードされます。
  6. エンリッチする必要があるデータの場所は、データ・カタログからアクセスします。
  7. 一部のデータがまだ欠落しているとします。データ統合レイヤーでは、最初にデータがキャッシュされているかどうか、およびキャッシュされていないかどうかが顧客のデータから問い合せられます。
  8. LLMは統合によって応答します。
  9. 応答はHallucinationチェッカーを通過し、Hallucinationチェッカーは敵対的なAIを実行して、応答が意味があるかどうかを検証します。
  10. 最後に、APIゲートウェイを経由してアプリケーションに戻ります。

次の図は、このリファレンス・アーキテクチャを示しています。


oci-genai-enterprise-arch.pngの説明が続きます
図oci-genai-enterprise-arch.pngの説明

oci-genai-enterprise-arch oracle.zip

各ブロック・レイヤーを作成するビルディング・ブロックについて説明します。

AIレイヤー
  1. LLMモジュール内のLLMを、最適な領域に使用される各LLMと混合して照合します。
  2. データ・カタログは、顧客ごと、およびさまざまな会話にわたってコンテキストを維持する必要があります。これにより、さまざまなLLMが必要なデータの場所を把握できます。
  3. データ統合レイヤーは、顧客データにアクセスし、AIに迅速に提供します。これには、必要なデータ・キャッシュおよび統合が含まれます。
  4. AI統合モジュールは、プロンプトRepo、抽象LLMへのLangChainおよび統合のためのOracle Integrationを保持します。
  5. AI開発レイヤーにより、モデルのバージョニングとストレージ、およびソリューションの進化に必要なDevOpsが可能になります。
ロギングおよびモニタリング・レイヤー
  1. Hallucination Checkerは、敵対的なAIを実行してLLM出力の出力を実行し、その正確性を検証します。
  2. Application Performance Monitoringは、パフォーマンスSLAを追跡します。
  3. ロギングおよび監査では、生成AIソリューションを使用してシステムを監視し、潜在的な問題を特定する方法が追跡されます。
APIおよびアクセス・レイヤー
  1. APIゲートウェイを使用すると、AIスタックへの制御されたアクセスが可能になります。
  2. ポリシーは、LLMスタックへのアクセスを管理するために一元的に維持されます。
  3. WAFは、潜在的な攻撃ベクトルから環境を保護します。
  4. アクセス・トークンおよびコントロールは、OCI Identity and Access Managementで管理されます。

このアーキテクチャには、次のコンポーネントがあります。

  • OCI生成AIエージェント

    OCI生成AIエージェントは、大規模言語モデル(LLM)のパワーとインテリジェントな取得システムを組み合わせたフルマネージド・サービスであり、ナレッジ・ベースを検索することで、状況に応じた回答を作成できます。AIアプリケーションをスマートにし、efficient.OCI生成AIエージェントは、データをオンボーディングするためのいくつかの方法をサポートし、あなたと顧客がチャット・インタフェースまたはAPIを使用してデータをやり取りできるようにします。

  • 生成AI

    Oracle Cloud Infrastructure Generative AIは、テキスト生成、要約、セマンティック検索などの幅広いユースケースをカバーする、最先端のカスタマイズ可能な大規模言語モデル(LLM)のセットを提供するフルマネージドOCIサービスです。プレイグラウンドを使用して、すぐに使用できる事前トレーニング済モデルを試すか、専用AIクラスタ上の独自のデータに基づいて独自のファインチューニング済カスタム・モデルを作成してホストします。

  • 統合

    Oracle Integrationは、クラウドとオンプレミスのアプリケーションの統合、ビジネス・プロセスの自動化およびビジュアル・アプリケーションの開発を可能にする、フルマネージドの事前構成済環境です。SFTP準拠のファイル・サーバーを使用してファイルを格納および取得し、数百のアダプタおよびレシピのポートフォリオを使用してOracleおよびサードパーティ・アプリケーションに接続することで、B2B取引パートナとドキュメントを交換できます。

  • APIゲートウェイ

    Oracle Cloud Infrastructure API Gatewayでは、ネットワーク内からアクセスでき、必要に応じてパブリック・インターネットに公開できるプライベート・エンドポイントを含むAPIを公開できます。エンドポイントは、API検証、リクエストとレスポンスの変換、CORS、認証と認可およびリクエスト制限をサポートします。

  • OCI Data Integration

    Oracle Cloud Infrastructure Data Integrationは、フルマネージドのサーバーレスなクラウドネイティブ・サービスで、様々なデータ・ソースから、Autonomous Data WarehouseやOracle Cloud Infrastructure Object StorageなどのターゲットOracle Cloud Infrastructureサービスにデータを抽出、ロード、変換、クレンジングおよび再シェイプします。ETL (抽出変換ロード)はSparkで完全管理型のスケールアウト処理を利用し、ELT (抽出ロード変換)はAutonomous Data Warehouseの完全なSQLプッシュダウン機能を利用して、データの移動を最小限に抑え、新しく取り込まれたデータの価値実現までの時間を短縮します。ユーザーは、直感的でコードレスなユーザー・インタフェースを使用してデータ統合プロセスを設計し、統合フローを最適化して最も効率的なエンジンとオーケストレーションを生成し、実行環境を自動的に割り当て、スケーリングします。Oracle Cloud Infrastructure Data Integrationは、対話型の探索およびデータ準備を提供し、データ・エンジニアがスキーマ変更を処理するルールを定義することでスキーマ・ドリフトから保護するのに役立ちます。

  • Oracle Exadata Database Service

    Oracle Exadata Database Serviceを使用すると、クラウドでExadataの機能を活用できます。Oracle Exadata Database Serviceは、パブリック・クラウドおよびon Cloud@Customerの専用で最適化されたOracle Exadataインフラストラクチャ上に、実績のあるOracle Database機能を提供します。Oracle Databaseのすべてのワークロードに組み込まれたクラウド自動化、柔軟なリソーススケーリング、セキュリティ、高速パフォーマンスにより、管理を簡素化し、コストを削減できます。

  • アイデンティティおよびアクセス管理(IAM)

    Oracle Cloud Infrastructure Identity and Access Management(IAM)は、Oracle Cloud Infrastructure(OCI)およびOracle Cloud Applicationsのアクセス・コントロール・プレーンです。IAM APIおよびユーザー・インタフェースを使用すると、アイデンティティ・ドメインおよびアイデンティティ・ドメイン内のリソースを管理できます。各OCI IAMアイデンティティ・ドメインは、スタンドアロンのアイデンティティおよびアクセス管理ソリューション、または異なるユーザー集団を表します。

レコメンデーション

次の推奨事項を開始点として使用します。お客様の要件は、ここで説明するアーキテクチャとは異なる場合があります。
  • Oracle Cloud Infrastructure +生成AI
    生成AIは、イノベーションを推進し、プロセスを改善し、企業がこれまで以上に達成できるよう支援しますが、適切なアプローチが必要です。Oracleは、高パフォーマンスのモデル、スタック全体への生成AIの組み込み、データ管理、セキュリティ、プライバシーなど、あらゆる企業でAIを最大限に活用し続けています。Oracleは、企業が稼働するインフラストラクチャから、財務からサプライチェーン、人事まで、あらゆる事業部門のアプリケーションまで、テクノロジー・スタック全体にAIを組み込むことで、組織がAIを実用的に使用してパフォーマンスを向上させながら、時間、エネルギー、リソースを節約できるよう支援しています。
    • オラクルのコア・クラウド・インフラストラクチャには、Superclusterテクノロジーに基づく独自のAIインフラストラクチャ・レイヤーが含まれるようになり、特にLarge Language Processing(LLP)などのコンピュート集約型シナリオでは、AIモデルの効率的なトレーニングとデプロイに不可欠な高性能GPUなど、最新かつ最高のハードウェアを活用しています。このインフラストラクチャは、AIとGPUの両方のテクノロジの機能を最大限に活用し、エンタープライズAIワークロードに最適なパフォーマンスとスケーラビリティを確保するように独自に設計されています。
    • このインフラストラクチャに加えて、オラクルのデータベース・レイヤーは、Oracle Autonomous DatabaseやOracle MySQL HeatWaveなどの製品にAIをAutoML (機械学習で構築)で埋め込み、開発者がMLなどのテクノロジの専門家でなくても、アプリケーションやオペレーションに事前構築済みのモデルを追加できるようにします。
    • オラクルのアプリケーション開発プラットフォームは、Oracle Digital Assistant for Natural Language Processing (NLP)などのAIサービスを提供します。
    • また、Oracleの幅広い業界アプリケーションには、ヘルスケアや金融サービスから小売、製造、公共部門に至るまで、業界固有の課題に取り組むためにトレーニングされたAIモデルが組み込まれています。これにより、お客様が最も複雑で戦略的な課題を解決するためにワークロードを最適化できるよう、オラクルは独自の立場に置かれています。
  • LangChain統合

    次の機能を使用して、OCI生成AIをLangChainベースの実装に追加できます。

    • オープン・ソース: LLMベースのアプリケーションの構築またはオーケストレーションに役立つオープン・ソース・フレームワーク。
    • LLMモデルおよびプロンプトの定義: 優先LLMモデルを操作し、コンテキスト内プロンプトを定義します。
    • 索引ライブラリ: テキスト分割、対話2 SQLなど、すぐに使用できるライブラリを使用してRAGアーキテクチャを設定します。
    • チェーン、エージェントおよびメモリー: チェーンおよびエージェントを使用してより複雑なLLMワークフローを設定し、会話履歴を使用してさらにコンテキストを設定できます。

考慮事項

このリファレンス・アーキテクチャを実装する場合は、次のオプションを考慮してください。

  • ビジネス機能全体にわたる生成AIのユース・ケース

    次の例で説明するように、様々なビジネス機能で生成AI機能を使用することを検討できます。

    顧客業務
    • 顧客の製品スイート、エクスペリエンス、言語に基づく顧客サービスの自動化。
    • 会話履歴と発信者のコンテキストに基づくリアルタイムAIコール・スクリプト。
    • コール・パフォーマンス、将来のコールを最適化する方法に関するコール・エージェントのフィードバックを投稿します。

    Marketing

    • eコマースのコンテンツ生成(製品説明)、B2B(SEO向けに最適化された記事)をブランド音声で。
    • バイヤー・プロファイルと使用履歴に基づいて、検索、アウトリーチ、顧客育成の一括パーソナライズを行います。
    • 新たなトレンドとペルソナを特定するための、構造化されていない顧客データの統合、クラスタリング。

    Sales

    • 顧客対応履歴、潜在顧客プロファイルに基づくカスタム・セールス・アウトリーチにより、営業担当者の時間を解放します。
    • オファリングから販売まで見込み客をガイドするバーチャル営業担当者。
    • 既存のコンテンツに基づく新規顧客のカスタム販売ピッチ生成。

    製品開発

    • ユーザーからのフィードバック、市場動向、ログなど、大量のデータの分析、クリーニング、ラベル付けを行います。
    • コーディングとAPIの自動補完により、開発、リファクタリング、システム統合を迅速化します。
    • 合成データの作成およびログ・データのコンパイルによる自動化のテスト。

    戦略と財務

    • 収益コール、アナリスト・レポートおよびその他のソースからの非構造化データの合成。
    • 支出などの複雑なコンテキストの重いプロセスの自動化。
    • パブリック・ソースまたはプライベート・ソース全体での競合他社と顧客の大規模な監視。
  • AI Vector Search and Store: Oracle Database 23aiおよびOracle MySQL HeatWave
    ベクトルは、イメージ、ドキュメント、ビデオなどのセマンティック・コンテンツを表すために使用されます。
    • コンバージド・データベースでは、質問に回答する際にビジネス・データとベクトルの両方を使用できます。
    • データの移動や同期、複数の製品の管理などは不要です。

詳細の参照

このリファレンス・アーキテクチャの機能についてさらに学習するには、次の追加リソースを参照してください。

確認

  • 作成者: Badr Tharwat