1. エンタープライズAI機能を備えたTENフレームワークの導入
  2. エンタープライズAI機能を使用したTENフレームワークのデプロイについて

エンタープライズAI機能を使用したTENフレームワークのデプロイについて

人工知能(AI)にはリソースを大量に消費するワークロードがあり、大量のデータを処理して複雑なアルゴリズムを実行するのに十分な計算能力が必要です。AIが人間の感情や会話の流れをエミュレートするには、超低レイテンシのリアルタイム・ネットワークが必要です。Oracle Cloud Infrastructure(OCI)は、OCIマルチクラウドのどこでも、生成AI、コンピュータ・ビジョン、予測分析など、要求の厳しいAIワークロードをより迅速に実行できるよう支援します。Oracle Autonomous Database Retrieval Augmented Generation (RAG)機能をサポートするAIを選択すると、大規模な言語モデル(LLM)を使用して、自然言語プロンプトを使用してプライベート・データに基づいてインサイトを取得したり、革新的なコンテンツを生成できます。

ヒューマン・ツー・AI音声会話の幅広い採用における最大のハードルの2つは、レイテンシ(または遅延)と、急速に変化する帯域幅や高いパケット損失などのワイヤレス・ラスト・マイルの課題です。インターネット用のリアルタイムオーバーレイネットワークであるAgoraのSoftware-Defined Real-Time Network(SD-RTN)は、インテリジェントなルーティングとラストマイルの最適化により、最高品質と最低レイテンシを実現しています。Agoraのリアルタイム・ネットワーク・インフラストラクチャを音声駆動型の会話型AIに適用することで、人間は人間と同じ方法でAIと対話できます。

TENフレームワークは、リアルタイムのネットワーク・インフラストラクチャを提供します。TEN Agentは Apache 2.0のオープンソースライセンスの下でライセンスされ、TEN Frameworkはハイブリッドオープンソースライセンスを使用します。Agoraは、TENの主要なサポーターとして、フレームワークで構築された会話型AIサービスを提供しています。OCIはコンピュート能力を提供し、Oracle Autonomous Database Select AIはRAG機能をサポートしているため、LLMを使用して自然言語プロンプトを使用して、プライベート・データに基づいてインサイトを取得したり、革新的なコンテンツを生成したりできます。

アーキテクチャ

このアーキテクチャでは、AIインフラストラクチャにOracleおよびAgoraのAIテクノロジを使用するマルチモーダル・ボイス・エージェント・モデルを作成する方法を示します。

次の図は、カスケードされたマルチモーダルAI音声エージェントモデルの例です。

multimodal-voice-agents.pngの説明が続きます
図multimodal-voice-agents.pngの説明

このモデルは、オーディオとビデオが大規模言語モデル(LLM)によってどのように処理されるかを示し、次のコンポーネントが含まれています。

  • OCI VMにデプロイされたLLM
  • 音声変換(STT)
  • 音声変換(TTS)

AIインフラストラクチャには、AIタスクの要求の厳しい計算ニーズをサポートするために特別に設計された基礎となるハードウェアおよびソフトウェア・システムが含まれています。AIインフラストラクチャを単一のOCIリージョンにデプロイしたり、処理能力が地理的に分散した複数のデータセンターに分散しているマルチクラウド・アーキテクチャを導入したりすることで、アプリケーションとデータの柔軟な導入が可能になります。

次の図は、VMにTEN (Transformative Extensions Network)エージェントがインストールされている単一のOCIリージョンです。

oci-ten-agent-deploy.pngの説明が続きます
図oci-ten-agent-deploy.pngの説明

oci-ten-agent-deploy-oracle.zip

大規模なデータセットの処理を高速化し、スケーラビリティを向上させるには、マルチクラウド・インフラストラクチャを導入して、複数のコンピューティング・ノードにわたってAIアルゴリズムを実行します。OCIリージョンまたはマルチクラウド・アーキテクチャで、分散AIアーキテクチャを使用できます。分散クラウドは、マルチクラウドの力を活用して、大規模なAIタスクを小さな部分に分割し、複数のノードに同時に実行します。また、大規模なデータセットでの複雑なAIモデルのトレーニングを迅速化することもできます。ただし、データの一貫性の管理や、異なるノード間での計算の調整には課題があります。

次のアーキテクチャでは、Google CloudとOCIを備えたマルチクラウド・ソリューションを使用しています。Google Kubernetes Engine (GKE)は、計算集約的な部分をオンデマンドでOCI AI Infrastructureにオフロードしながら、トレーニングおよび推論プロセス全体を編成します。

oci-google-multiregion.pngの説明が続きます
図oci-google-multiregion.pngの説明

oci-google-multiregion-oracle.zip

アーキテクチャでは、次のコンポーネントがサポートされます。

  • リージョン

    Oracle Cloud Infrastructureリージョンとは、可用性ドメインと呼ばれる1つ以上のデータ・センターを含む、ローカライズされた地理的領域です。リージョンは他のリージョンから独立し、長距離の場合は(複数の国または大陸にまたがって)分離できます。

  • 可用性ドメイン

    可用性ドメインは、リージョン内の独立したスタンドアロン・データ・センターです。各可用性ドメイン内の物理リソースは、他の可用性ドメイン内のリソースから分離されているため、フォルト・トレランスが提供されます。可用性ドメインどうしは、電力や冷却、内部可用性ドメイン・ネットワークなどのインフラを共有しません。そのため、ある可用性ドメインでの障害は、リージョン内の他の可用性ドメインには影響しません。

  • 仮想クラウド・ネットワーク(VCN)およびサブネット

    VCNは、Oracle Cloud Infrastructureリージョンで設定する、カスタマイズ可能なソフトウェア定義のネットワークです。従来のデータ・センター・ネットワークと同様に、VCNsではネットワーク環境を制御できます。VCNには重複しない複数のCIDRブロックを含めることができ、VCNの作成後にそれらを変更できます。VCNをサブネットにセグメント化して、そのスコープをリージョンまたは可用性ドメインに設定できます。各サブネットは、VCN内の他のサブネットと重複しない連続した範囲のアドレスで構成されます。サブネットのサイズは、作成後に変更できます。サブネットはパブリックにもプライベートにもできます。

  • フォルト・ドメイン

    フォルト・ドメインは、可用性ドメイン内のハードウェアおよびインフラストラクチャのグループです。各アベイラビリティ・ドメインに3つのフォルト・ドメインがあり、電源とハードウェアは独立しています。複数のフォルト・ドメインにリソースを分散する場合、アプリケーションは、物理サーバーの障害、システム・メンテナンスおよびフォルト・ドメイン内の電源障害を許容できます。

  • ロード・バランサ

    Oracle Cloud Infrastructure Load Balancingは、単一のエントリ・ポイントから複数のサーバーへの自動トラフィック分散を提供します。

  • Autonomous Database

    Oracle Autonomous Databaseは、トランザクション処理およびデータ・ウェアハウス・ワークロードに使用できる、完全管理型の事前構成済データベース環境です。ハードウェアの構成や管理、ソフトウェアのインストールを行う必要はありません。Oracle Cloud Infrastructureは、データベースの作成、バックアップ、パッチ適用、アップグレードおよびチューニングを処理します。

  • アイデンティティおよびアクセス管理

    Oracle Cloud Infrastructure Identity and Access Management(IAM)は、Oracle Cloud Infrastructure(OCI)およびOracle Cloud Applicationsに関するユーザー・アクセス制御を提供します。IAM APIおよびユーザー・インタフェースを使用すると、アイデンティティ・ドメインおよびその中のリソースを管理できます。各OCI IAMアイデンティティ・ドメインは、スタンドアロンのアイデンティティおよびアクセス管理ソリューション、または異なるユーザー集団を表します。

  • ポリシー

    Oracle Cloud Infrastructure Identity and Access Managementポリシーでは、誰がどのリソースにどのようにアクセスできるかを指定します。アクセス権はグループ・レベルおよびコンパートメント・レベルで付与されます。つまり、特定のコンパートメント内またはテナンシへの特定のタイプのアクセス権をグループに付与するポリシーを記述できます。

  • 監査

    Oracle Cloud Infrastructure Auditサービスでは、Oracle Cloud Infrastructureのサポートされるすべてのパブリック・アプリケーション・プログラミング・インタフェース(API)エンドポイントへのコールがログ・イベントとして自動的に記録されます。すべてのOCIサービスは、Oracle Cloud Infrastructure Auditによるロギングをサポートしています。

  • ロギング
    Oracle Cloud Infrastructure Loggingは、クラウド内のリソースから次のタイプのログへのアクセスを提供する、高度にスケーリング可能な完全管理型のサービスです:
    • 監査ログ: OCI Auditによって生成されたイベントに関連するログ。
    • サービス・ログ: OCI API Gateway、OCI Events、OCI Functions、OCI Load Balancing、OCI Object Storage、VCNフロー・ログなどの個々のサービスによって公開されるログ。
    • カスタム・ログ: カスタム・アプリケーション、他のクラウド・プロバイダまたはオンプレミス環境からの診断情報を含むログ。
  • オブジェクト・ストレージ

    Oracle Cloud Infrastructure Object Storageでは、データベースのバックアップ、分析データ、イメージやビデオなどのリッチ・コンテンツなど、あらゆるコンテンツ・タイプの構造化データおよび非構造化データにすばやくアクセスできます。インターネットから直接またはクラウド・プラットフォーム内から、安全かつセキュアにデータを格納し、取得できます。パフォーマンスやサービスの信頼性を低下させることなく、ストレージを拡張できます。迅速、即時、頻繁にアクセスする必要があるホット・ストレージには、標準ストレージを使用します。長期間保持し、ほとんどまたはほとんどアクセスしないコールド・ストレージには、アーカイブ・ストレージを使用します。

  • インターネット・ゲートウェイ

    インターネット・ゲートウェイは、VCN内のパブリック・サブネットとパブリック・インターネット間のトラフィックを許可します。

  • サービス・ゲートウェイ

    サービス・ゲートウェイは、VCNからOracle Cloud Infrastructure Object Storageなどの他のサービスへのアクセスを提供します。The traffic from the VCN to the Oracle service travels over the Oracle network fabric and does not traverse the internet.

  • Webアプリケーション・ファイアウォール(WAF)

    Oracle Cloud Infrastructure Web Application Firewall (WAF)は、ロード・バランサやWebアプリケーション・ドメイン名などの強制ポイントにアタッチされている、PCI (Payment Card Industry)準拠のリージョンベースおよびエッジ強制サービスです。WAFは、悪意のある不要なインターネット・トラフィックからアプリケーションを保護します。WAFは、インターネット接続エンドポイントを保護することで、顧客のアプリケーションに対する一貫性のあるルール適用を実現できます。

  • FastConnect

    Oracle Cloud Infrastructure FastConnectは、データ・センターとOracle Cloud Infrastructureの間に専用プライベート接続を作成します。FastConnectは、インターネットベースの接続と比較して、高帯域幅のオプションと、より信頼性の高いネットワーキング・エクスペリエンスを提供します。

次のサードパーティー製コンポーネント:

  • TENフレームワーク

    TEN(Transformative Extensions Network)は、開発者がリアルタイムのマルチモーダル・エージェント(音声、ビデオ、データ・ストリーム、イメージおよびテキスト)を迅速に構築できるようにするオープンソース・フレームワークであり、開発者が大規模言語モデルの実験、統合、再利用可能な拡張機能の作成を容易にします。

  • TENエージェント

    TENエージェントは仮想マシンにインストールされます。TENを使用して、音声チャットボット、AI生成会議分、言語講師、同時翻訳者、バーチャル・コンパニオン、カウンセリングなどのユース・ケースをサポートするエージェントを構築できます。開発者は、多様なAIサービスと拡張機能を活用し、次世代のAIエージェントを構築、テスト、展開する完全な柔軟性を備えています。AIエージェントは、人間がリアルタイムで考える、聞く、見る、対話することができます。

  • Llama 3.2

    Llama 3.2は、Meta AIのLlama大規模言語モデル(LLM)の軽量版です。Llama 3.2は、画像認識と言語処理を必要とするタスクに使用できるマルチモーダル自動回帰言語モデルです。

  • ディープグラム

    音声認識(STT)コンポーネント。

  • フィシャウディオ

    音声変換(TTS)コンポーネント。

レコメンデーション

次の推奨事項を開始点として使用します。 お客様の要件は、ここで説明するアーキテクチャとは異なる場合があります。
  • VCN

    VCNを作成するときには、必要なCIDRブロックの数を決定し、VCN内のサブネットにアタッチする予定のリソースの数に基づいて各ブロックのサイズを決定します。標準のプライベートIPアドレス領域内にあるCIDRブロックを使用します。

    プライベート接続を設定する他のネットワーク(Oracle Cloud Infrastructure、オンプレミス・データ・センターまたは別のクラウド・プロバイダ)と重複しないCIDRブロックを選択します。

    VCNを作成した後、そのCIDRブロックを変更、追加および削除できます。

    サブネットを設計するときには、トラフィック・フローおよびセキュリティ要件を考慮してください。特定の層またはロール内のすべてのリソースを、セキュリティ境界として機能できる同じサブネットにアタッチします。

  • セキュリティ・リスト

    セキュリティ・リストを使用して、サブネット全体に適用されるイングレスおよびエグレス・ルールを定義します。

  • ネットワーク・セキュリティ・グループ(NSG)

    NSGを使用して、特定のVNICに適用されるイングレスおよびエグレス・ルールのセットを定義できます。NSGでは、VCNのサブネット・アーキテクチャをアプリケーションのセキュリティ要件から分離できるため、セキュリティ・リストではなくNSGを使用することをお薦めします。

  • クラウド・ガード

    Oracleが提供するデフォルトのレシピをクローニングおよびカスタマイズして、カスタム・ディテクタおよびレスポンダ・レシピを作成します。これらのレシピを使用すると、警告を生成するセキュリティ違反のタイプ、およびそれらに対して実行を許可するアクションを指定できます。たとえば、可視性がpublicに設定されているオブジェクト・ストレージ・バケットを検出できます。

    クラウド・ガードをテナンシ・レベルで適用して、最も広い範囲をカバーし、複数の構成を維持する管理上の負担を軽減します。

    管理対象リスト機能を使用して、特定の構成をディテクタに適用することもできます。

  • セキュリティ・ゾーン

    最大限のセキュリティーを必要とするリソースの場合、Oracleではセキュリティーゾーンを使用することをお勧めします。セキュリティ・ゾーンは、ベスト・プラクティスに基づくセキュリティ・ポリシーのOracle定義レシピに関連付けられたコンパートメントです。たとえば、セキュリティ・ゾーン内のリソースにパブリック・インターネットからアクセスできず、顧客管理キーを使用して暗号化する必要があります。セキュリティ・ゾーンでリソースを作成および更新すると、Oracle Cloud Infrastructureでは、その操作がセキュリティ・ゾーン・レシピのポリシーに対して検証され、ポリシーに違反する操作が拒否されます。

  • ロード・バランサの帯域幅

    ロード・バランサの作成時に、固定帯域幅を提供する事前定義済のシェイプを選択するか、帯域幅範囲を設定するカスタム(フレキシブル)シェイプを指定して、トラフィック・パターンに基づいて帯域幅を自動的にスケーリングできます。どちらの方法でも、ロード・バランサの作成後にいつでもシェイプを変更できます。

考慮事項

マルチモーダルTENフレームワークを実装する場合は、次の点を考慮してください。

  • ネットワーク接続性

    分散コンピューティング・リソースを効果的に管理するには、堅牢なネットワーク接続が必要です。

  • GPU

    AIインフラストラクチャには、GPUなどの特殊なハードウェアを備えた高性能コンピューティング・クラスタが含まれており、AI計算を加速します。多くの場合、分散ストレージ・システムを活用して大規模なデータセットを効率的に処理し、AIモデルのトレーニングと導入に特化したAIフレームワークとライブラリが関与する可能性があります。OCI Superclusterを使用して、最大32,768個のGPUをスケール・アップします。

  • Oracle Database 23ai

    Oracle Database 23aiテクノロジを活用し、AIの支援により、次の利点が得られます。

    • 幻覚のリスクを軽減: RAGとAI Vector Searchを活用し、企業データでLLMを使用するときは、自然言語の質問に対してより正確な回答を提供します。
    • Oracle Autonomous Database NVIDIA GPUのサポート: NVIDIA GPUにアクセスして、GPUサーバーのプロビジョニングや管理を気にすることなく、特定のAIデータ操作のパフォーマンスを加速します。トランスフォーマ・モデルを使用したベクトル埋込みの生成やディープ・ラーニング・モデルの構築など、リソース集中型のワークロードにGPU対応Pythonパッケージを使用するOracle Machine Learning Notebooksを利用できます。
    • LLMの幅広いサポート: Oracle Autonomous Databaseから追加のLLM(Google Gemini、Anthropic Claude、Hugging Face)への組み込みの統合により、生成AIからより多くの価値を得ることができます。Autonomous Databaseは、7つのプロバイダにまたがる35の異なるLLMと統合され、GenDevアプリケーションの構築に幅広い選択肢を提供します。
    • Data Studio AIの拡張機能: 自然言語を使用してデータを準備およびロードし、ビジュアルなドラッグ・アンド・ドロップ・ツールを使用して、テキストおよびイメージ・ベクターの埋込みを含むAIパイプラインを作成します。
    • Graph Studioの拡張機能: 組込みセルフサービス・ツールを使用して、Oracle Database 23aiの新機能であるコードなしで運用プロパティ・グラフ・モデルを構築します。
    • 開発者向けAutonomous Database: Oracle Autonomous Databaseが提供する豊富な機能とツールに、時間単価でアクセスできます。これにより、本番デプロイメントへの単純なアップグレード・パスを使用して、開発ユース・ケースのエントリ・ポイントが低く予測可能になります。
  • マルチクラウド

    OCIのマルチクラウド・アーキテクチャでの作業には、次の利点があります。

    • オンプレミス、エッジ・デバイス、パブリック・クラウドなど、さまざまな場所にアプリケーションとデータをデプロイできます。
    • ユーザーの場所に応じて、パフォーマンス、自己回復性およびデータの近傍性が向上します。
    • OCIは、あらゆる環境、場所を問わず、150を超えるクラウド・サービスを提供できるハイパースケーラーです。または、AWS、Microsoft AzureおよびGoogle Cloudパートナ・リージョンからOracle Databaseサービスを取得します。

詳細の参照

このリファレンス・アーキテクチャの機能についてさらに学習するには、次の追加リソースを参照してください。

次のOCIリソースを確認します。

確認

  • 作成者: Hua Jiang, Mike Su, Linker Lin