OCI Generative AIマルチモーダル・モデルとエンタープライズAIエージェントを使用したビデオの分析

OCI Generative AIのマルチモーダル・モデルとエンタープライズAIエージェントを使用したビデオの分析

AIマルチモーダル・モデルを使用してビデオ・ファイルを処理し、会社のナレッジ・ベースに基づいて詳細なレポートを分析および生成します。

マルチモーダル・ラージ・ランゲージ・モデル(MLLM)は、イメージと、拡張によってビデオからのフレームを理解できます。

ビデオは一連のフレームであり、各フレームはマルチモーダルLLMが分析できるイメージです。次のリファレンス・アーキテクチャでは、この機能を利用して、Oracle Cloud Infrastructure (OCI)に汎用バッチ・ビデオ分析パイプラインを構築します。ビデオは、Oracle Cloud Infrastructure Object Storageにアップロードされ、Oracle Cloud Infrastructure Eventsによって自動的に検出され、フレームに分解するOracle Cloud Infrastructure Computeインスタンスで処理され、Oracle Cloud Infrastructure Speechを使用して音声オーディオを変換し、AIモデルを介して視覚的および音声コンテンツを分析し、その結果を一貫したレポートに合成します。

処理パイプラインを構成する4つの専用ツール:

ナレッジ取得ツール(OCI GenAI Enterprise AI Agentsダイレクト・ベクトル・ストア検索)
フレーム解析ツール(マルチモーダルLLM)
レポート生成ツール
評価ツール

ビデオに音声オーディオが含まれている場合、OCI Speechはそれをトランスクリプトし、トランスクリプトをダウンストリーム・エージェントにフィードします。OCI EventsおよびOracle Cloud Infrastructure Functionsは、イベントドリブンの取込みを提供し、新しいビデオのアップロード時に処理を自動的にトリガーし、フロントエンド(Autonomous AI Database上のOracle APEXなど)は、レビューおよび構成のためのヒューマン・イン・ザ・ループ・インタフェースを提供します。

このソリューションには次のものが含まれます。

4つの専用ツール(ナレッジ検索、フレーム分析、レポート生成、評価)を備えたエージェント・パイプラインは、それぞれそのタスクに最も適したモデルを使用します。
イベントドリブンのビデオ取込み: OCIイベントは、OCI Object Storageでの新しいアップロードを検出し、OCI Functionsをトリガーします。これにより、新しいビデオごとにOCI GenAI Enterprise AI Agentsホスト・アプリケーションが起動されます。
OCI GenAI Enterprise AI Agentsベクトル・ストア検索によるRAGベースのコンテキスト拡張。
OCI Generative AIを介して複数のマルチモーダル・モデルとLLMを使用できます。
音声コンテンツを含むビデオ用のOCI Speechによる音声トランスクリプション。要約および評価ツールにトランスクリプト・コンテキストを提供します。

アーキテクチャ

アーキテクチャは、自動取込みおよびオーケストレーション・レイヤーと、4つの専用ツールを備えたエージェント処理パイプラインの2つのレイヤーで構成されます。

各ツールは、個別の機能(ナレッジ取得、フレーム理解、レポート合成、または基準ベースの評価)をカプセル化し、その機能に最も適したAIモデルを使用します。OCI Speechを介した音声転写は、ビデオに音声コンテンツが含まれている場合のビジュアル分析を補完します。

次の図は、ソリューションの論理アーキテクチャを示しています。

図agentic-video-analysis-arch.pngの説明

エージェントビデオ分析アーカイブ-oracle.zip#GUID-82D7B400-2350-4103-8894-94E5D26AF1E5

ワークフロー

エンドツーエンドのワークフローは次のように進みます。

ビデオ取込み: ビデオ・ファイルはOCI Object Storageにアップロードされます。OCIオブジェクト・ストレージ・バケットでオブジェクト・イベントが有効になっているため、各アップロードでイベントが自動的に発行されます。
イベントドリブン・パイプライン・トリガー: OCIイベントは、com.oraclecloud.objectstorage.createobjectイベントを介して新しいビデオ・アップロードを検出します。イベント・ルールによってOCI関数がトリガーされ、ビデオのOCIオブジェクト・ストレージ参照(バケット名、オブジェクト名、ネームスペース)を渡すバック・エンドのREST APIがコールされます。
フレーム抽出: OCI GenAI Enterprise AI AgentsにデプロイされたPythonバックエンドによって、OCI SDKを使用してOCI Object Storageからビデオがダウンロードされ、OpenCVを使用して構成可能な間隔でフレームが抽出され、JPEGイメージおよびbase64エンコードのサムネイルが生成されます。
オーディオ・トランスクリプション(条件付き): ビデオにオーディオ・トラックが含まれている場合、OCI Speechは、自動言語検出でWhisperモデルを使用して、音声コンテンツをトランスクリプションします。OCI Speechは、音声を事前に抽出することなく、ビデオ・ファイル(MP4、MKV、WEBM)を直接受け入れます。トランスクリプションは、フレーム分析およびナレッジ検索と並行して実行されます。
代理店パイプライン:
1. ナレッジ取得ツール(条件付き): 取得拡張生成(RAG)が有効な場合、分析プロンプトはOCI GenAI Enterprise AI Agents Vector Store Search APIに送信されます。アプリケーションは、管理対象ベクトル・ストアに直接問い合せ、索引付き参照ドキュメントから関連するチャンクおよびメタデータを取得し、それらの結果をダウンストリーム・レポート生成用のRAGコンテキストとして書式設定します。この取得ステップは、レポート生成の前に分析リクエストごとに1回実行されます。後で個別に、またはフレーム分析およびオーディオ・トランスクリプションと並行して実行するように最適化できます。
2. フレーム分析ツール(パラレル、フレーム当たり): エージェントはイメージ・フレームと分析プロンプトを受信し、OCI生成AIで選択したマルチモーダル・ビジョン・モデルを使用して構造化観測を返します。パイプラインは、分析を加速するためにフレームを同時にディスパッチできます。
3. レポート生成ツール: すべてのフレームが分析された後、レポート生成ツールは、フレーム・レベルの監視、オーディオ・トランスクリプト(使用可能な場合)およびコンテキストの完全なセットを受け取ります。テキスト・リソニング・モデルを使用して、包括的な構造化レポートを合成します。RAGが有効な場合、ナレッジ取得ツールからの参照コンテキストがプロンプトに注入され、追加の参照セクションを含むコンテキスト対応レポートが生成されます。
4. 評価ツール: 評価ツールは、レポート、フレーム・レベルの監視、音声トランスクリプト(使用可能な場合)および参照コンテキストをナレッジ取得ツールから受信します。テキスト・リソニング・モデルを使用して、各観察を参照文書の特定の基準に明示的にマップし、結果を重大度、適合領域および優先順位付けされた推奨を引用とともにリストする構造化された評価レポートを生成します。
結果の永続性: 分析出力はAutonomous AI Databaseに保存されます。
検証: 結果は、Oracle APEXなどのフロントエンド・アプリケーションで確認および検証できます。

コンポーネント

このアーキテクチャでは、次のOCIサービス、コンポーネントおよび機能を使用します:

OCI生成AI
- エンタープライズAIモデル。
  - フレーム分析用のマルチモーダル・モデル(Cohere Command A Vision、Google Gemini、Meta Llama 4など)。
  - Cohere Command A Reasoningなどの推論モデルは、サマリー・レポートおよびコンプライアンス/評価レポートに使用されます。
- OCI GenAIエンタープライズAIエージェント
  - ベクトル・ストア:ドキュメント・ナレッジ・ベースの取込み、チャンク化、埋込みおよび取得の管理に使用します。
  - ホストされたデプロイメント:完全なPythonパイプライン(フレーム抽出、オーディオ・トランスクリプション・オーケストレーション、AIエージェント・オーケストレーション(パラレル・フレーム分析実行、ダイレクトAIベクトル・ストア検索取得およびレポート・アセンブリ)を実行します。
OCI音声
Whisperモデルを使用した自動音声認識と自動言語検出。バッチ・トランスクリプション用のビデオ・ファイル(MP4、MKV、WEBM)を直接受け入れ、タイムスタンプ付きのJSONおよびSRT出力を生成します。
Oracle Autonomous AI Database 26ai
分析レポート、レポート履歴、検証ステータス、APEXアプリケーションの状態および運用分析の永続ストレージ・レイヤーとして機能します。
OCIオブジェクト・ストレージ
ビデオファイル(カメラ、セキュアファイル転送プロトコル(SFTP)、または手動アップロード)のランディングゾーンとして機能します。オブジェクト・イベントは、OCIイベントによってアップロードが自動的に検出されるようにバケットで有効になります。オプションで、参照ドキュメントをレコード/アーカイブのソースとして格納します。承認済ドキュメントは、OCI GenAI Enterprise AI AgentsファイルAPIを介してアップロードされ、取得のためにOCI GenAI Enterprise AI Agentsベクトル・ストアにアタッチされます。
OCIイベント
OCIオブジェクト・ストレージの新しいビデオ・アップロードを検出し、イベント・ルールを介してOCI関数をトリガーします。失敗した配信の組込み再試行およびデッドレター処理を提供します。
OCI関数
OCIオブジェクト・ストレージ・イベント・ペイロードを受信し、OCI GenAI Enterprise AI Agentsでバック・エンドのREST APIを起動する軽量Python関数。アイドル・コストなしでサーバーレスを実行します。
Oracle Cloud Infrastructure Identity and Access Management
OCI GenAI Enterprise AI Agents、OCI Speech、Autonomous AI Database、OCI Object Storage、OCI Events、OCI Functions、Enterprise OCI GenAI Enterprise AI Agentsによってホストされるデプロイメント、Files API、Vector Store API、ダイレクト・ベクトル・ストア検索など、すべてのサービス・インタラクションを承認します。
OCI GenAI Enterprise AI Agentsベクトル・ストアとナレッジの取得

OCI GenAI Enterprise AI Agentsは、エージェント・アプリケーション・ランタイムとその取得レイヤーのマネージド・プラットフォームを提供します。規制およびドメイン参照ドキュメントは、Files APIを介してアップロードされ、プロジェクト・スコープのベクトル・ストアにアタッチされ、マネージド・サービスによって索引付けされ、ベクトル・ストア検索を介して直接問い合せられます。

実行時に、ナレッジ取得ツールによって分析プロンプトがベクトル・ストア検索に送信され、関連するチャンク、ソース・メタデータおよび引用が取得され、書式設定されたコンテキストが、アースされたコンプライアンス・マッピング用のレポート生成および評価ツールに渡されます。これにより、基準テキストから視力解析を分離しながら、規制対応の合成と基準マッピングが可能になります。

レコメンデーション

このアーキテクチャを実装する際には、モデルの選択、取得品質、プロンプト設計、フレーム抽出、トランスクリプション、イベントドリブンの取込みおよびパイプライン拡張を検討します。

このアーキテクチャを実装する際には、次の推奨事項を考慮してください。

ビデオ選択: 評価する実際のケースの代表的なビデオのリストを選択します。
Visionモデルの選択:複数のモデルで同じビデオを実行して、最適なビデオを見つけます。
RAGドキュメント・キュレーション:ドメイン、規制セットまたは顧客境界ごとに専用のOCI GenAI Enterprise AI Agentsベクトル・ストアを使用します。元のファイルのプレビュー/監査が必要な場合は、ソース・ドキュメントをOCIオブジェクト・ストレージまたは別の制御リポジトリでバージョニングしたままにします。承認されたファイルのみをベクトル・ストアにアタッチし、属性でタグ付けし、索引付けを待機し、直接ベクトル・ストア検索で取得品質を検証してから、本番で有効にします。
プロンプト・エンジニアリング:観察対象と抽出する定量的データについて具体的に述べます。繰返し分析タスク用の再利用可能なプロンプト・テンプレートを作成します。
フレーム抽出チューニング:徐々に変化するシーン: 3~5秒間隔。動的コンテンツ: 1秒。最大フレーム・キャップを使用してコストを制御します。
音声転写: OCI SpeechをWhisperおよび自動言語検出で使用します。Whisperプロンプトは、トランスクリプションの品質を向上させることができます。フレーム解析と並行してトランスクリプションを実行し、エンドツーエンドの処理時間を最小限に抑えます。
イベント主導の取込み:アップロード・バケットでオブジェクト・イベントを有効にし、OCIイベント・ルールを構成して、新しいアップロードでOCI関数をトリガーします。これにより、ポーリングの遅延が排除され、ほぼリアルタイムの処理が保証されます。エラー処理およびアラートには、Oracle Cloud Infrastructure LoggingおよびOracle Cloud Infrastructure Notificationsを使用します。
パイプライン拡張:シーケンシャル・エージェント設計により、OCI Compute上のPythonパイプラインにツール(トレンド分析、通知、翻訳など)を簡単に追加できます。

考慮事項

このアーキテクチャの高可用性、セキュリティ、パフォーマンスおよびエンタープライズ統合に関する考慮事項を確認します。

高可用性
Autonomous AI Database、OCI Generative AI、OCI Speech、OCI Events、OCI Functions、OCI GenAI Enterprise AI Agentsのホスト・デプロイメント、およびOCI GenAI Enterprise AI Agentsベクトル・ストアは、組み込みのフォルト・トレランスとサービス管理操作を備えたマネージド・サービスです。
セキュリティ
- すべてのAPI通信でHTTPS/TLSが使用されます。Autonomous AI Databaseでは、レポート永続性のためにウォレット接続またはTLS接続を介してmTLSをサポートしています。エンタープライズAIエージェント・ファイル、ベクトル・ストア、レスポンスおよびホストされたデプロイメント・エンドポイントは、HTTPSを介して起動され、本番ではOCI Identity and Access Managementおよびリソース・プリンシパル認可を使用する必要があります。
- エンタープライズAIアクセス、ファイルAPI、ベクトル・ストアAPI、ダイレクト・ベクトル・ストア検索、OCI Functions、OCI Object Storage、Autonomous AI DatabaseおよびOCI Speechに、最小権限のOCI Identity and Access Managementポリシーを適用します。動的グループおよび照合ルールを使用して、OCI FunctionsおよびホストされたデプロイメントがOCI GenAI Enterprise AI Agentsエンドポイントを起動し、ターゲット・プロジェクト・スコープのベクトル・ストアにアクセスすることを認可します。将来のファイル検索ベースの取得モードが有効になっている場合にのみ、レスポンスAPIファイルの検索権限を追加します。
- シークレット管理にはOCI VaultとOCI Secret Management、ビデオ/ソース・ドキュメント保存にはOCI Object Storageのライフサイクル・ポリシー、ドキュメントの取込み、削除およびコーパスのバージョニングにはベクトルストア・ガバナンス制御を使用します。
パフォーマンス
- 並列フレーム解析はバックエンドで実行されます。エンタープライズAIモデルのレート制限に基づいて同時実行性を調整します。
- イベント駆動処理では、ビデオのアップロード時に負荷が自然に分散されます。大量のアップロード中にAPI競合を制御するには、バックエンドに同時実行性の制限を実装します。
エンタープライズインテグレーション

このアーキテクチャでは、イベント主導の取込みにOCIイベントおよびOCI関数を使用します。これは、OCIオブジェクト・ストレージがトリガーする処理パイプラインの推奨パターンです。複数のエンタープライズ・システム(SaaSアプリケーション、B2Bワークフロー、オンプレミスERPなど)との統合が必要なデプロイメントの場合、Oracle Integrationは、イベントドリブン・トリガーのオーケストレーション・レイヤー・ダウンストリームとして導入でき、ビジュアルな統合設計、事前構築されたアプリケーション・アダプタおよびエンタープライズグレードの監査証跡が提供されます。

詳細の参照

このアーキテクチャで使用されるコンポーネントおよびパターンのドキュメントを確認します。

確認

作成者: Mirjana Rakuljic, Cristina Granes, Ras Alungei
コントリビュータ: Robert Lies