Analysez des vidéos à l'aide de modèles multimodaux OCI Generative AI et d'agents d'IA d'entreprise
Les grands modèles de langage multimodaux (MLLM) peuvent comprendre les images et, par extension, les images des vidéos.
Une vidéo est une séquence de trames, et chaque trame est une image qu'un LLM multimodal peut analyser. L'architecture de référence suivante tire parti de cette fonctionnalité pour créer un pipeline d'analyse vidéo par lots à usage général sur Oracle Cloud Infrastructure (OCI). Les vidéos sont téléchargées vers Oracle Cloud Infrastructure Object Storage, détectées automatiquement par Oracle Cloud Infrastructure Events et traitées sur une instance Oracle Cloud Infrastructure Compute qui les décompose en trames, transcrit tout son parlé à l'aide d'Oracle Cloud Infrastructure Speech, analyse le contenu visuel et audio via des modèles d'IA et synthétise les résultats en rapports cohérents.
- Outil d'extraction des connaissances (recherche de banque de vecteurs directe des agents OCI GenAI Enterprise AI)
- Outil d'analyse de cadre (LM multimodal)
- Outil de génération de rapports
- Outil d'évaluation
Lorsque la vidéo contient de l'audio parlé, OCI Speech le transcrit et transmet la transcription aux agents en aval. Les événements OCI et Oracle Cloud Infrastructure Functions fournissent une assimilation basée sur les événements, déclenchant automatiquement le traitement lorsque de nouvelles vidéos sont téléchargées, tandis qu'un système frontal (par exemple, Oracle APEX sur Autonomous AI Database) fournit l'interface en boucle pour la révision et la configuration.
Cette solution comprend :
- Pipeline Agentic avec quatre outils spécialisés (Knowledge Retrieval, Frame Analysis, Report Generation, Evaluation), chacun utilisant le modèle le mieux adapté à sa tâche.
- Assimilation vidéo axée sur les événements : OCI Events détecte les nouveaux téléchargements dans OCI Object Storage et déclenche une OCI Functions, qui appelle l'application hébergée OCI GenAI Enterprise AI Agents pour chaque nouvelle vidéo.
- Augmentation de contexte basée sur la RAG via la recherche de banque de vecteurs OCI GenAI Enterprise AI Agents.
- Plusieurs modèles multimodaux et LLM disponibles via OCI Generative AI.
- Transcription audio via OCI Speech pour les vidéos avec du contenu parlé, fournissant un contexte de transcription aux outils de synthèse et d'évaluation.
Architecture
Chaque outil encapsule une capacité distincte (extraction de connaissances, compréhension de cadres, synthèse de rapports ou évaluation basée sur des critères) et utilise le modèle d'IA le mieux adapté à cette capacité. La transcription audio via OCI Speech complète l'analyse visuelle lorsque les vidéos contiennent du contenu parlé.
Le schéma suivant illustre l'architecture logique de la solution :
agentic-vidéo-analyse-arch-oracle.zip#GUID-82D7B400-2350-4103-8894-94E5D26AF1E5
Workflow
Le workflow de bout en bout se déroule comme suit :
- Ingestion vidéo : les fichiers vidéo sont téléchargés vers OCI Object Storage. Les événements d'objet sont activés pour le bucket OCI Object Storage, de sorte que chaque téléchargement émet automatiquement un événement.
- Déclencheur de pipeline orienté événement : OCI Events détecte les nouveaux téléchargements vidéo via des événements
com.oraclecloud.objectstorage.createobject. Une règle Events déclenche OCI Functions, qui appelle l'API REST du back-end en transmettant la référence OCI Object Storage de la vidéo (nom de bucket, nom d'objet, espace de noms). - Extraction de cadre : le back-end Python déployé sur OCI GenAI Enterprise AI Agents télécharge la vidéo à partir d'OCI Object Storage à l'aide du kit SDK OCI, puis extrait des cadres à des intervalles configurables à l'aide d'OpenCV, produisant des images JPEG et des miniatures codées en base64.
- Transcription audio (conditionnelle) : si la vidéo contient une piste audio, OCI Speech transcrit le contenu parlé à l'aide de modèles Whisper avec détection automatique du langage. OCI Speech accepte les fichiers vidéo directement (MP4, MKV, WEBM) sans nécessiter d'extraction audio préalable. La transcription s'exécute en parallèle avec l'analyse de trames et la récupération de connaissances.
- Pipeline agénétique :
- Outil d'extraction de connaissances (conditionnel) : si la génération augmentée d'extraction (RAG) est activée, l'invite d'analyse est envoyée à l'API de recherche de banque de vecteurs OCI GenAI Enterprise AI Agents. L'application interroge directement la banque de vecteurs gérée, extrait les fragments et métadonnées pertinents des documents de référence indexés et formate ces résultats en tant que contexte RAG pour la génération de rapports en aval. Cette étape d'extraction s'exécute une fois par demande d'analyse avant la génération du rapport ; elle peut être optimisée ultérieurement pour s'exécuter indépendamment ou en parallèle avec l'analyse de trames et la transcription audio.
- Outil d'analyse de cadre (parallèle, par cadre) : l'agent reçoit une image et une invite d'analyse, puis renvoie des observations structurées à l'aide du modèle de vision multimodale sélectionné dans OCI Generative AI. Le pipeline peut répartir les trames simultanément pour accélérer l'analyse.
- Outil de génération de rapports : Une fois toutes les images analysées, l'outil de génération de rapports reçoit l'ensemble complet d'observations au niveau des cadres, la transcription audio (si disponible) et le contexte. Il utilise un modèle de raisonnement textuel pour synthétiser un rapport structuré complet. Lorsque la RAG est activée, le contexte de référence de l'outil de récupération des connaissances est injecté dans l'invite, produisant un rapport contextuel avec une section Références supplémentaire.
- Outil d'évaluation : L'outil d'évaluation reçoit le rapport, les observations au niveau du cadre, la transcription audio (si disponible) et le contexte de référence de l'outil de récupération des connaissances. À l'aide d'un modèle de raisonnement textuel, il produit un rapport d'évaluation structuré qui mappe explicitement chaque observation sur des critères spécifiques à partir des documents de référence, répertoriant les résultats avec la gravité, les zones conformes et les recommandations hiérarchisées avec des citations.
- Persistance des résultats : les sorties d'analyse sont enregistrées dans la base de données IA autonome.
- Validation : les résultats peuvent être vérifiés et validés dans l'application frontale, telle qu'Oracle APEX.
Composants
Cette architecture utilise les services, composants et fonctionnalités OCI suivants :
- OCI Generative AI
- Modèles d'IA d'entreprise.
- Modèles multimodaux (par exemple, Cohere Command A Vision, Google Gemini, Meta Llama 4) pour l'analyse de trames.
- Un modèle de raisonnement, tel que Cohere Command A Reasoning, est utilisé pour les rapports de synthèse et de conformité/évaluation.
- Agents d'IA d'entreprise OCI GenAI
- Stockage de vecteurs : pour l'inclusion, le découpage, l'intégration et l'extraction gérés de la base de connaissances de documents.
- Déploiement hébergé : exécute le pipeline Python complet : extraction de trames, orchestration de transcription audio, orchestration d'agent AI (exécution de l'analyse de trames en parallèle, extraction directe de la recherche de banque de vecteurs AI et assemblage de rapports).
- Modèles d'IA d'entreprise.
- OCI Speech
Reconnaissance automatique de la parole à l'aide de modèles Whisper avec détection automatique du langage. Accepte les fichiers vidéo directement (MP4, MKV, WEBM) pour la transcription par lots, produisant une sortie JSON et SRT horodatée.
- Oracle Autonomous AI Database 26ai
Sert de couche de stockage persistant pour les rapports d'analyse, l'historique des rapports, le statut de validation, l'état des applications APEX et les analyses opérationnelles.
- OCI Object Storage
Sert de zone de renvoi pour les fichiers vidéo (à partir des caméras, du protocole de transfert de fichiers sécurisé (SFTP) ou du téléchargement manuel). Les événements d'objet sont activés sur le bucket afin que les téléchargements soient détectés automatiquement par les événements OCI. Stocke éventuellement les documents de référence en tant que source d'enregistrement/archive. Les documents approuvés sont téléchargés via l'API de fichiers OCI GenAI Enterprise AI Agents et attachés à la banque de vecteurs OCI GenAI Enterprise AI Agents pour extraction.
- Evénements OCI
Détecte les nouveaux téléchargements vidéo dans OCI Object Storage et déclenche OCI Functions via des règles d'événement. Fournit un traitement intégré des nouvelles tentatives et des lettres mortes pour les livraisons ayant échoué.
- Fonctions OCI
Fonction Python légère qui reçoit la charge utile de l'événement OCI Object Storage et appelle l'API REST du back-end sur les agents d'IA OCI GenAI Enterprise. S'exécute sans serveur sans coût d'inactivité.
- Oracle Cloud Infrastructure Identity and Access Management
Autorise toutes les interactions de service, y compris les agents OCI GenAI Enterprise AI, OCI Speech, Autonomous AI Database, OCI Object Storage, OCI Events, OCI Functions, les déploiements hébergés par les agents OCI GenAI Enterprise AI d'entreprise, l'API Files, l'API Vector Store et la recherche directe de banque de vecteurs.
-
Magasin de vecteurs OCI GenAI Enterprise AI Agents et extraction de connaissances
OCI GenAI Enterprise AI Agents fournit la plate-forme gérée pour l'exécution d'application agentic et sa couche d'extraction. Les documents de référence de réglementation et de domaine sont téléchargés via l'API Fichiers, joints à une banque de vecteurs de portée projet, indexés par le service géré et interrogés directement via la recherche de banque de vecteurs.
Au moment de l'exécution, l'outil de récupération des connaissances envoie l'invite d'analyse à la recherche de banque de vecteurs, extrait les blocs pertinents, les métadonnées source et les citations, et transmet le contexte formaté aux outils de génération et d'évaluation de rapports pour la mise en correspondance de la conformité fondée. Cela permet d'isoler l'analyse de la vision du texte de référence tout en permettant la synthèse tenant compte de la réglementation et la cartographie des critères.
Recommandations
Tenez compte des recommandations suivantes lors de l'implémentation de cette architecture.
- Sélection de vidéos : sélectionnez une liste de vidéos représentatives de cas concrets à évaluer.
- Sélection du modèle Vision : exécutez la même vidéo sur plusieurs modèles pour trouver le meilleur ajustement.
- Curation de document RAG : utilisez une banque de vecteurs OCI GenAI Enterprise AI Agents dédiée par domaine, ensemble de réglementations ou limite client. Conservez les documents source avec numéro de version dans OCI Object Storage ou un autre référentiel contrôlé lorsque l'aperçu/l'audit des fichiers d'origine est requis. Attachez uniquement les fichiers approuvés à la banque de vecteurs, marquez-les avec des attributs, attendez l'indexation et validez la qualité d'extraction avec la recherche directe de la banque de vecteurs avant de les activer en production.
- Ingénierie d'invite : soyez précis sur les éléments à observer et sur les données quantitatives à extraire. Créez des modèles d'invite réutilisables pour les tâches d'analyse récurrentes.
- Réglage de l'extraction de cadre : scènes à évolution lente : intervalles de 3 à 5 s. Contenu dynamique : 1 s. Utilisez le plafond de trames maximum pour contrôler le coût.
- Transcription audio : utilisez OCI Speech avec Whisper et la détection automatique du langage. Le chuchotement peut améliorer la qualité de la transcription. Exécutez la transcription en parallèle avec l'analyse de trames lorsque cela est possible pour réduire le temps de traitement de bout en bout.
- Ingestion orientée événement : activez les événements d'objet sur le bucket de téléchargement et configurez une règle Evénements OCI pour déclencher des fonctions OCI sur les nouveaux téléchargements. Cela élimine les délais d'interrogation et garantit un traitement quasiment en temps réel. Utilisez Oracle Cloud Infrastructure Logging et Oracle Cloud Infrastructure Notifications pour la gestion des erreurs et les alertes.
- Extension de pipeline : la conception de l'agent séquentiel facilite l'ajout d'outils (par exemple, analyse de tendance, notification et traduction) dans le pipeline Python sur OCI Compute.
Points à prendre en compte
-
Haute disponibilité
Autonomous AI Database, OCI Generative AI, OCI Speech, OCI Events, OCI Functions, les déploiements hébergés d'OCI GenAI Enterprise AI Agents et la banque de vecteurs OCI GenAI Enterprise AI Agents sont des services gérés avec une tolérance aux pannes intégrée et des opérations gérées par le service. -
Sécurité
- Toutes les communications d'API utilisent HTTPS/TLS. Autonomous AI Database prend en charge le protocole mTLS via un portefeuille ou des connexions TLS pour la persistance des rapports. Les fichiers d'agents d'IA d'entreprise, les banques de vecteurs, les réponses et les adresses de déploiement hébergé sont appelés via HTTPS et doivent utiliser OCI Identity and Access Management et l'autorisation de principal de ressource en production.
- Appliquez des stratégies OCI Identity and Access Management de moindre privilège pour l'accès à l'IA d'entreprise, l'API des fichiers, l'API de banque de vecteurs, la recherche de banque de vecteurs directe, OCI Functions, OCI Object Storage, Autonomous AI Database et OCI Speech. Utilisez des groupes dynamiques et des règles de mise en correspondance pour autoriser OCI Functions et les déploiements hébergés à appeler des adresses OCI GenAI Enterprise AI Agents et à accéder à la banque de vecteurs cible de portée projet. Autorisations de recherche de fichier d'API d'ajout de réponses uniquement si un mode d'extraction basé sur la recherche de fichier futur est activé.
- Utilisez OCI Vault et OCI Secret Management pour la gestion des clés secrètes, les stratégies de cycle de vie OCI Object Storage pour la conservation des documents vidéo/source et les contrôles de gouvernance de banque de vecteurs pour l'inclusion, la suppression et la gestion des versions de corpus de documents.
-
Performances
- L'analyse de trame parallèle s'exécute dans le back-end. Ajustez la simultanéité en fonction des limites de taux des modèles d'IA d'entreprise.
- Le traitement axé sur les événements répartit la charge naturellement au fur et à mesure que les vidéos sont téléchargées. Pour contrôler les conflits d'API lors des téléchargements volumineux, implémentez des limites de simultanéité dans le back-end.
-
Intégration d'entreprise
Cette architecture utilise OCI Events et OCI Functions pour l'inclusion orientée événement, qui est le modèle recommandé pour les pipelines de traitement déclenchés par OCI Object Storage. Pour les déploiements qui nécessitent une intégration à plusieurs systèmes d'entreprise (par exemple, applications SaaS, workflows B2B, ERP sur site), Oracle Integration peut être introduit en tant que couche d'orchestration en aval du déclencheur orienté événement, fournissant une conception d'intégration visuelle, des adaptateurs d'application prédéfinis et des pistes d'audit de niveau entreprise.