Análisis de vídeos mediante modelos multimodales de OCI Generative AI y agentes de IA empresarial
Los Modelos Multimodales de Lenguaje Grande (MLLM) pueden entender imágenes y, por extensión, fotogramas de videos.
Un vídeo es una secuencia de fotogramas, y cada fotograma es una imagen que un LLM multimodal puede analizar. La siguiente arquitectura de referencia aprovecha esta capacidad para crear un pipeline de análisis de video por lotes de uso general en Oracle Cloud Infrastructure (OCI). Los vídeos se cargan en Oracle Cloud Infrastructure Object Storage, se detectan automáticamente en Oracle Cloud Infrastructure Events y se procesan en una instancia de Oracle Cloud Infrastructure Compute que los descompone en marcos, transcribe cualquier audio hablado mediante Oracle Cloud Infrastructure Speech, analiza el contenido visual y de audio mediante modelos de IA y sintetiza los resultados en informes coherentes.
- Herramienta de recuperación de conocimientos (búsqueda directa en almacén de vectores de agentes de IA empresarial de OCI GenAI)
- Herramienta de análisis de marco (LLM multimodal)
- Herramienta de generación de informes
- Herramienta de evaluación
Cuando el vídeo contiene audio hablado, OCI Speech lo transcribe y alimenta la transcripción a los agentes descendentes. OCI Events y Oracle Cloud Infrastructure Functions proporcionan ingestión basada en eventos, lo que activa el procesamiento automáticamente cuando se cargan nuevos videos, mientras que un front-end (por ejemplo, Oracle APEX en Autonomous AI Database) proporciona la interfaz humana en el bucle para la revisión y la configuración.
Esta solución incluye:
- Pipeline de Agentic con cuatro herramientas especializadas (recuperación de conocimiento, análisis de marco, generación de informes, evaluación), cada una utilizando el modelo más adecuado para su tarea.
- Ingestión de video basada en eventos: OCI Events detecta nuevas cargas en OCI Object Storage y dispara una OCI Functions, que llama a la aplicación alojada OCI GenAI Enterprise AI Agents para cada nuevo video.
- Aumento del contexto basado en RAG mediante la búsqueda en el almacén de vectores de agentes de IA empresarial de OCI GenAI.
- Varios modelos multimodales y LLM disponibles a través de OCI Generative AI.
- Transcripción de audio a través de OCI Speech para vídeos con contenido hablado, proporcionando contexto de transcripción a las herramientas de resumen y evaluación.
Arquitectura
Cada herramienta encapsula una capacidad distinta (recuperación de conocimientos, comprensión de marcos, síntesis de informes o evaluación basada en criterios) y utiliza el modelo de IA más adecuado para esa capacidad. La transcripción de audio a través de OCI Speech complementa el análisis visual cuando los vídeos contienen contenido hablado.
En el siguiente diagrama se muestra la arquitectura lógica de la solución:
agentic-video-análisis-arch-oracle.zip#GUID-82D7B400-2350-4103-8894-94E5D26AF1E5
Flujo de trabajo
El flujo de trabajo completo continúa de la siguiente manera:
- Ingesta de video: los archivos de video se cargan en OCI Object Storage. El cubo de OCI Object Storage tiene eventos de objeto activados, por lo que cada carga emite un evento automáticamente.
- Disparador de pipeline controlado por evento: OCI Events detecta nuevas cargas de vídeo a través de eventos
com.oraclecloud.objectstorage.createobject. Una regla de Events dispara OCI Functions, que llama a la API de REST del backend que transfiere la referencia de OCI Object Storage del vídeo (nombre de cubo, nombre de objeto, espacio de nombres). - Extracción de marcos: el backend de Python desplegado en OCI GenAI Enterprise AI Agents descarga el vídeo de OCI Object Storage mediante el SDK de OCI y, a continuación, extrae marcos a intervalos configurables mediante OpenCV, produciendo imágenes JPEG y miniaturas codificadas en base64.
- Transcripción de audio (condicional): si el vídeo contiene una pista de audio, OCI Speech transcribe el contenido hablado mediante modelos Whisper con detección automática de idioma. OCI Speech acepta archivos de vídeo directamente (MP4, MKV, WEBM) sin necesidad de extracción de audio previa. La transcripción se ejecuta en paralelo con el análisis de marco y la recuperación de conocimientos.
- Pipeline de Agentic:
- Herramienta de recuperación de conocimientos (condicional): si la generación aumentada de recuperación (RAG) está activada, la petición de datos de análisis se envía a la API de búsqueda del almacén vectorial de OCI GenAI Enterprise AI Agents. La aplicación consulta directamente el almacén de vectores gestionado, recupera fragmentos y metadatos relevantes de documentos de referencia indexados y formatea esos resultados como contexto de RAG para la generación de informes descendentes. Este paso de recuperación se ejecuta una vez por solicitud de análisis antes de la generación del informe; se puede optimizar más tarde para ejecutarse de forma independiente o en paralelo con el análisis de marco y la transcripción de audio.
- Herramienta de análisis de marco (paralelo, por marco): el agente recibe un marco de imagen y una petición de datos de análisis y, a continuación, devuelve observaciones estructuradas utilizando el modelo de visión multimodal seleccionado en OCI Generative AI. El pipeline puede distribuir marcos simultáneamente para acelerar el análisis.
- Herramienta de generación de informes: después de analizar todos los marcos, la herramienta de generación de informes recibe el conjunto completo de observaciones a nivel de marco, la transcripción de audio (si está disponible) y el contexto. Utiliza un modelo de razonamiento de texto para sintetizar un informe estructurado completo. Cuando se habilita RAG, el contexto de referencia de la Herramienta de recuperación de conocimientos se inyecta en el campo, lo que genera un informe contextual con una sección Referencias adicional.
- Herramienta de evaluación: la herramienta de evaluación recibe el informe, las observaciones a nivel de marco, la transcripción de audio (si está disponible) y el contexto de referencia de la herramienta de recuperación de conocimientos. Utilizando un modelo de razonamiento de texto, se produce un informe de evaluación estructurado que asigna explícitamente cada observación a criterios específicos de los documentos de referencia, enumerando los hallazgos con gravedad, áreas conformes y recomendaciones priorizadas con citas.
- Persistencia del resultado: las salidas de análisis se guardan en Autonomous AI Database.
- Validación: los resultados se pueden revisar y validar en la aplicación front-end, como Oracle APEX.
Componentes
Esta arquitectura utiliza los siguientes servicios, componentes y funcionalidades de OCI:
- IA generativa de OCI
- Modelos de IA empresarial.
- Modelos multimodales (por ejemplo, Cohere Command A Vision, Google Gemini, Meta Llama 4) para el análisis de marcos.
- Un modelo de razonamiento, como Cohere Command A Reasoning, se utiliza para los informes de resumen y cumplimiento/evaluación.
- Agentes de IA empresarial de GenAI de OCI
- Almacén de vectores: para la ingesta gestionada, fragmentación, incrustación y recuperación de la base de conocimientos de documentos.
- Despliegue alojado: ejecuta el pipeline de Python completo: extracción de marcos, orquestación de transcripciones de audio, orquestación de agentes de IA (ejecución de análisis de marco paralelo, recuperación de búsqueda directa de almacén de vectores de IA y ensamblaje de informes).
- Modelos de IA empresarial.
- Discurso de OCI
Reconocimiento automático de voz mediante modelos Whisper con detección automática de lenguaje. Acepta archivos de vídeo directamente (MP4, MKV, WEBM) para la transcripción por lotes, produciendo una salida JSON y SRT con registro de hora.
- Oracle Autonomous AI Database 26ai
Sirve como capa de almacenamiento persistente para informes de análisis, historial de informes, estado de validación, estado de la aplicación APEX y análisis operativos.
- OCI Object Storage
Sirve como zona de llegada para archivos de video (desde cámaras, protocolo de transferencia segura de archivos (SFTP) o carga manual). Los eventos de objeto se activan en el cubo para que OCI Events detecte automáticamente las cargas. De manera opcional, almacena documentos de referencia como origen de registro/archivo; los documentos aprobados se cargan a través de la API de archivos de OCI GenAI Enterprise AI Agents y se adjuntan al almacén de vectores de OCI GenAI Enterprise AI Agents para su recuperación.
- Eventos de OCI
Detecta nuevas cargas de vídeo en OCI Object Storage y dispara OCI Functions a través de reglas de eventos. Proporciona reintentos incorporados y manejo de letras muertas para entregas fallidas.
- Funciones de OCI
Función Python ligera que recibe la carga útil del evento de OCI Object Storage y llama a la API de REST del backend en agentes de IA empresarial de OCI GenAI. Se ejecuta sin servidor sin costo de inactividad.
- Oracle Cloud Infrastructure Identity and Access Management
Autoriza todas las interacciones de servicio, incluidos los agentes de IA empresarial de OCI GenAI, OCI Speech, Autonomous AI Database, OCI Object Storage, OCI Events, OCI Functions, despliegues alojados de Enterprise OCI GenAI Enterprise AI Agents, API de archivos, API de Vector Store y búsqueda directa en almacén de vectores.
-
Almacenamiento de vectores y recuperación de conocimientos de agentes de IA empresarial de OCI GenAI
OCI GenAI Enterprise AI Agents proporciona la plataforma gestionada para el tiempo de ejecución de aplicaciones y su capa de recuperación. Los documentos de referencia de regulación y dominio se cargan a través de la API de archivos, se adjuntan a un almacén de vectores de ámbito de proyecto, se indexan mediante el servicio gestionado y se consultan directamente mediante la búsqueda en el almacén de vectores.
En tiempo de ejecución, la Herramienta de recuperación de conocimientos envía la petición de datos de análisis a la búsqueda de almacén de vectores, recupera fragmentos relevantes, metadatos de origen y citas, y transfiere el contexto formateado a las herramientas de generación y evaluación de informes para la asignación de conformidad con conexión a tierra. Esto mantiene el análisis de la visión aislado del texto de referencia al tiempo que permite la síntesis y la asignación de criterios conscientes de la regulación.
Recomendaciones
Tenga en cuenta las siguientes recomendaciones al implementar esta arquitectura.
- Selección de vídeo: seleccione una lista de vídeos representativos de casos reales para su evaluación.
- Selección de modelos de visión: ejecuta el mismo vídeo a través de varios modelos para encontrar el mejor ajuste.
- Curación de documentos de RAG: utiliza un almacén de vectores de OCI GenAI Enterprise AI Agents dedicado por dominio, conjunto de regulaciones o límite de cliente. Mantenga los documentos de origen versionados en OCI Object Storage u otro repositorio controlado cuando se necesite la vista previa/auditoría de los archivos originales. Adjunte solo archivos aprobados al almacén de vectores, asígnelos con atributos, espere a la indexación y valide la calidad de recuperación con la búsqueda directa en almacén de vectores antes de activarlos en producción.
- Ingeniería de peticiones de datos: sé específico sobre qué observar y qué datos cuantitativos extraer. Cree plantillas de petición de datos reutilizables para tareas de análisis recurrentes.
- Ajuste de extracción de marco: escenas que cambian lentamente: intervalos de 3 a 5 s. Contenido dinámico: 1 s. Utilice el límite máximo de marcos para controlar el costo.
- Transcripción de audio: utilice OCI Speech con Whisper y detección automática de idiomas. El susurro puede mejorar la calidad de la transcripción. Ejecute la transcripción en paralelo con el análisis de marcos siempre que sea posible para minimizar el tiempo de procesamiento integral.
- Ingesta basada en eventos: active los eventos de objeto en el cubo de carga y configure una regla de OCI Events para disparar OCI Functions en nuevas cargas. Esto elimina los retrasos en el sondeo y garantiza el procesamiento casi en tiempo real. Utilice Oracle Cloud Infrastructure Logging y Oracle Cloud Infrastructure Notifications para el manejo de errores y las alertas.
- Extensión de pipeline: el diseño de agente secuencial hace que sea sencillo agregar herramientas (por ejemplo, Análisis de tendencia, Notificación, Traducción) dentro del pipeline de Python en OCI Compute.
Consideraciones
-
Alta Disponibilidad
Autonomous AI Database, OCI Generative AI, OCI Speech, OCI Events, OCI Functions, despliegues alojados de OCI GenAI Enterprise AI Agents y el almacén de vectores de OCI GenAI Enterprise AI Agents son servicios gestionados con tolerancia a fallos integrada y operaciones gestionadas por servicios. -
Seguridad
- Todas las comunicaciones de API utilizan HTTPS/TLS. La base de datos de IA autónoma soporta mTLS mediante una cartera o conexiones TLS para la persistencia de informes. Los archivos, los almacenes de vectores, las respuestas y los puntos finales de despliegue alojados de agentes de IA empresarial se llaman a través de HTTPS y deben utilizar OCI Identity and Access Management y la autorización de principal de recurso en producción.
- Aplique políticas de OCI Identity and Access Management de mínimo privilegios para el acceso a la IA empresarial, la API de archivos, la API del almacén vectorial, la búsqueda directa del almacén vectorial, OCI Functions, OCI Object Storage, Autonomous AI Database y OCI Speech. Utiliza grupos dinámicos y reglas de coincidencia para autorizar OCI Functions y despliegues alojados para llamar a los puntos finales de OCI GenAI Enterprise AI Agents y acceder al almacén de vectores de ámbito de proyecto de destino. Agregue permisos de búsqueda de archivos de API de respuestas solo si está activado un modo de recuperación basado en búsqueda de archivos futuro.
- Utilice OCI Vault y OCI Secret Management para la gestión de secretos, las políticas de ciclo de vida de OCI Object Storage para la retención de documentos de origen/video y los controles de gobernanza del almacén vectorial para la ingesta, supresión y control de versiones de corpus de documentos.
-
Rendimiento
- El análisis de marco paralelo se ejecuta en el backend. Ajuste la simultaneidad en función de los límites de tarifa de los modelos de IA empresariales.
- El procesamiento basado en eventos distribuye la carga de forma natural a medida que se cargan los vídeos. Para controlar la contención de API durante cargas de gran volumen, implante límites de simultaneidad en el backend.
-
Integración empresarial
Esta arquitectura utiliza OCI Events y OCI Functions para la ingesta controlada por eventos, que es el patrón recomendado para los pipelines de procesamiento disparados por OCI Object Storage. Para despliegues que requieren integración con varios sistemas empresariales (por ejemplo, aplicaciones SaaS, flujos de trabajo B2B, ERP locales), Oracle Integration se puede presentar como una capa de orquestación descendente del disparador basado en eventos, que proporciona diseño de integración visual, adaptadores de aplicaciones predefinidos y pistas de auditoría empresariales.