Analise Vídeos Usando os modelos multimodais da OCI Generative AI e os Enterprise AI Agents
Modelos Multimodais de Linguagem Grande (MLLMs) podem entender imagens e, por extensão, quadros de vídeos.
Um vídeo é uma sequência de quadros, e cada quadro é uma imagem que um LLM multimodal pode analisar. A arquitetura de referência a seguir aproveita esse recurso para criar um pipeline de análise de vídeo em lote de uso geral no Oracle Cloud Infrastructure (OCI). Os vídeos são carregados no Oracle Cloud Infrastructure Object Storage, detectados automaticamente pelo Oracle Cloud Infrastructure Events e processados em uma instância do Oracle Cloud Infrastructure Compute que os decompõe em quadros, transcreve qualquer áudio falado usando o Oracle Cloud Infrastructure Speech, analisa o conteúdo visual e de áudio por meio de modelos de IA e sintetiza as descobertas em relatórios coerentes.
- Ferramenta de Recuperação de Conhecimento (pesquisa direta de armazenamento de vetores do OCI GenAI Enterprise AI Agents)
- Ferramenta de análise de quadros (LM multimodal)
- Ferramenta de geração de relatórios
- Ferramenta de avaliação
Quando o vídeo contém áudio falado, o OCI Speech o transcreve e alimenta a transcrição para os agentes downstream. O OCI Events e o Oracle Cloud Infrastructure Functions fornecem ingestão orientada a eventos, acionando o processamento automaticamente quando novos vídeos são submetidos a upload, enquanto um front-end (por exemplo, o Oracle APEX no Autonomous AI Database) fornece a interface humana no loop para revisão e configuração.
Esta solução inclui:
- Pipeline ágil com quatro ferramentas especializadas (Recuperação de Conhecimento, Análise de Quadro, Geração de Relatório, Avaliação), cada uma usando o modelo mais adequado à sua tarefa.
- Ingestão de vídeo orientada por eventos: O OCI Events detecta novos uploads no OCI Object Storage e aciona um OCI Functions, que chama o aplicativo hospedado OCI GenAI Enterprise AI Agents para cada novo vídeo.
- Aumento de contexto baseado em RAG por meio da pesquisa de armazenamento de vetores OCI GenAI Enterprise AI Agents.
- Vários modelos multimodais e LLMs disponíveis por meio da OCI Generative AI.
- Transcrição de áudio por meio do OCI Speech para vídeos com conteúdo falado, fornecendo contexto de transcrição para as ferramentas de resumo e avaliação.
Arquitetura
Cada ferramenta encapsula um recurso distinto (recuperação de conhecimento, compreensão de quadros, síntese de relatórios ou avaliação baseada em critérios) e usa o modelo de IA mais adequado a esse recurso. A transcrição de áudio por meio do OCI Speech complementa a análise visual quando os vídeos contêm conteúdo falado.
O diagrama a seguir mostra a arquitetura lógica da solução:
análise de vídeo-agêntica-arch-oracle.zip#GUID-82D7B400-2350-4103-8894-94E5D26AF1E5
Fluxo de Trabalho
O workflow de ponta a ponta prossegue da seguinte forma:
- Ingestão de vídeo: Os arquivos de vídeo são submetidos a upload para o OCI Object Storage. O bucket do OCI Object Storage tem eventos de objeto ativados, de modo que cada upload emite um evento automaticamente.
- Gatilho de pipeline orientado a eventos: O OCI Events detecta novos uploads de vídeo por meio de eventos
com.oraclecloud.objectstorage.createobject. Uma regra do serviço Events aciona o serviço OCI Functions, que chama a API REST do back-end informando a referência do vídeo do serviço OCI Object Storage (nome do bucket, nome do objeto, namespace). - Extração de quadro: O back-end Python implantado no OCI GenAI Enterprise AI Agents faz download do vídeo do OCI Object Storage usando o OCI SDK e extrai quadros em intervalos configuráveis usando OpenCV, produzindo imagens JPEG e miniaturas codificadas em base64.
- Transcrição de áudio (condicional): Se o vídeo contiver uma faixa de áudio, o OCI Speech transcreverá o conteúdo falado usando modelos Whisper com detecção automática de linguagem. O OCI Speech aceita arquivos de vídeo diretamente (MP4, MKV, WEBM) sem exigir extração de áudio prévia. A transcrição é executada em paralelo com a análise de quadros e a recuperação de conhecimento.
- Pipeline Agêntico:
- Knowledge Retrieval Tool (condicional): se a geração aumentada de recuperação (RAG) estiver ativada, o prompt de análise será enviado à API de Pesquisa do Vector Store do OCI GenAI Enterprise AI Agents. O aplicativo consulta diretamente o armazenamento de vetores gerenciado, recupera chunks e metadados relevantes de documentos de referência indexados e formata esses resultados como contexto RAG para geração de relatórios downstream. Esta etapa de recuperação é executada uma vez por solicitação de análise antes da geração do relatório; ela pode ser otimizada posteriormente para ser executada de forma independente ou em paralelo com a análise de quadros e a transcrição de áudio.
- Ferramenta de Análise de Quadros (paralelo, por quadro): O agente recebe um quadro de imagem e um prompt de análise, em seguida, retorna observações estruturadas usando o modelo de visão multimodal selecionado no OCI Generative AI. O pipeline pode despachar quadros simultaneamente para acelerar a análise.
- Ferramenta de Geração de Relatórios: Depois que todos os quadros são analisados, a Ferramenta de Geração de Relatórios recebe o conjunto completo de observações no nível do quadro, a transcrição de áudio (quando disponível) e o contexto. Ele usa um modelo de raciocínio de texto para sintetizar um relatório estruturado abrangente. Quando o RAG está habilitado, o contexto de referência da Ferramenta de recuperação de conhecimento é injetado no prompt, gerando um relatório sensível ao contexto com uma seção Referências adicionais.
- Ferramenta de Avaliação: A Ferramenta de Avaliação recebe o relatório, as observações em nível de quadro, a transcrição de áudio (quando disponível) e o contexto de referência da Ferramenta de Recuperação de Conhecimento. Usando um modelo de raciocínio de texto, produz um relatório de avaliação estruturado que mapeia explicitamente cada observação para critérios específicos dos documentos de referência, listando os resultados com gravidade, áreas de conformação e recomendações priorizadas com citações.
- Persistência de resultado: As saídas de análise são salvas no Autonomous AI Database.
- Validação: Os resultados podem ser revisados e validados no aplicativo front-end, como o Oracle APEX.
Componentes
Essa arquitetura usa os seguintes serviços, componentes e funcionalidades do OCI:
- IA Generativa do OCI
- Modelos de IA empresarial.
- Modelos multimodais (por exemplo, Cohere Command A Vision, Google Gemini, Meta Llama 4) para análise de quadros.
- Um modelo de raciocínio, como Comando A do Cohere, é usado para relatórios de resumo e conformidade/avaliação.
- OCI GenAI Enterprise AI Agents
- Armazenamento de vetores: para ingestão, divisão em blocos, incorporação e recuperação gerenciadas para a base de conhecimento de documentos.
- Implantação hospedada: Executa o pipeline completo do Python: extração de quadros, orquestração de transcrição de áudio, orquestração do AI Agent (execução de análise de quadros paralela, recuperação direta de pesquisa de armazenamento de vetores de IA e montagem de relatórios).
- Modelos de IA empresarial.
- Fala do OCI
Reconhecimento automático de fala usando modelos Whisper com detecção automática de linguagem. Aceita arquivos de vídeo diretamente (MP4, MKV, WEBM) para transcrição em lote, produzindo saída JSON e SRT com timestam.
- Oracle Autonomous AI Database 26ai
Funciona como a camada de armazenamento persistente para relatórios de análise, histórico de relatórios, status de validação, estado do aplicativo APEX e análise operacional.
- OCI Object Storage
Serve como a zona de destino para arquivos de vídeo (de câmeras, protocolo seguro de transferência de arquivos (SFTP) ou upload manual). Os eventos de objeto são ativados no bucket para que os uploads sejam detectados automaticamente pelo OCI Events. Opcionalmente, armazena documentos de referência como a origem do registro/arquivo; os documentos aprovados são carregados por meio da API de Arquivos do OCI GenAI Enterprise AI Agents e anexados ao armazenamento de vetores do OCI GenAI Enterprise AI Agents para recuperação.
- Eventos do OCI
Detecta novos uploads de vídeo no OCI Object Storage e aciona o OCI Functions por meio de regras de evento. Fornece repetição incorporada e tratamento de letra morta para distribuições com falha.
- Funções do OCI
Função Python leve que recebe o payload de evento do OCI Object Storage e chama a API REST do back-end nos OCI GenAI Enterprise AI Agents. Executa sem servidor sem custo ocioso.
- Oracle Cloud Infrastructure Identity and Access Management
Autoriza todas as interações de serviço, incluindo OCI GenAI Enterprise AI Agents, OCI Speech, Autonomous AI Database, OCI Object Storage, OCI Events, OCI Functions, implantações hospedadas do Enterprise OCI GenAI Enterprise AI Agents, API de Arquivos, API de Armazenamento de Vetores e pesquisa direta de armazenamento de vetores.
-
Armazenamento de vetores e recuperação de conhecimento do OCI GenAI Enterprise AI Agents
O OCI GenAI Enterprise AI Agents fornece a plataforma gerenciada para o runtime de aplicativo agentic e sua camada de recuperação. Os documentos de referência de domínio e regulamentação são carregados por meio da API de Arquivos, anexados a um armazenamento de vetores com escopo de projeto, indexados pelo serviço gerenciado e consultados diretamente por meio de pesquisa de armazenamento de vetores.
No tempo de execução, a Ferramenta de Recuperação de Conhecimento envia o prompt de análise para pesquisa de armazenamento de vetores, recupera chunks relevantes, metadados de origem e citações e passa o contexto formatado para as ferramentas de Geração e Avaliação de Relatórios para mapeamento de conformidade fundamentado. Isso mantém a análise da visão isolada do texto de referência, permitindo a síntese e o mapeamento de critérios conscientes da regulamentação.
Recomendações
Considere as seguintes recomendações ao implementar essa arquitetura.
- Seleção de vídeos: Selecione uma lista de vídeos representativos de casos do mundo real para avaliação.
- Seleção do modelo Vision: execute o mesmo vídeo por meio de vários modelos para encontrar o melhor ajuste.
- curadoria de documentos do RAG: Use um armazenamento de vetores dedicado do OCI GenAI Enterprise AI Agents por domínio, conjunto de regulamentações ou limite do cliente. Mantenha os documentos de origem com controle de versão no OCI Object Storage ou em outro repositório controlado quando a visualização/auditoria dos arquivos originais for necessária. Anexe somente arquivos aprovados ao armazenamento de vetores, marque-os com atributos, aguarde a indexação e valide a qualidade de recuperação com pesquisa direta de armazenamento de vetores antes de ativá-los na produção.
- Engenharia de prompt: Seja específico sobre o que observar e quais dados quantitativos extrair. Crie modelos de prompt reutilizáveis para tarefas de análise recorrentes.
- Ajuste de extração de quadros: Cenas que mudam lentamente: intervalos de 3 a 5 segundos. Conteúdo dinâmico: 1 s. Use o limite máximo de quadros para controlar o custo.
- Transcrição de áudio: use o OCI Speech com detecção automática de linguagem Whisper. O sussurro pode melhorar a qualidade da transcrição. Execute a transcrição em paralelo com a análise de quadro sempre que possível para minimizar o tempo de processamento de ponta a ponta.
- Ingestão orientada a eventos: Ative eventos de objeto no bucket de upload e configure uma regra do OCI Events para acionar um OCI Functions em novos uploads. Isso elimina os atrasos de sondagem e garante o processamento quase em tempo real. Use o Oracle Cloud Infrastructure Logging e o Oracle Cloud Infrastructure Notifications para tratamento de erros e alertas.
- Extensão do pipeline: O design sequencial do agente facilita a adição de ferramentas (por exemplo, Análise de Tendência, Notificação, Tradução) no pipeline Python no OCI Compute.
Considerações
-
Alta Disponibilidade
Autonomous AI Database, OCI Generative AI, OCI Speech, OCI Events, OCI Functions, OCI GenAI Enterprise AI Agents implantações hospedadas e armazenamento de vetores OCI GenAI Enterprise AI Agents são serviços gerenciados com tolerância a falhas integrada e operações gerenciadas por serviços. -
Segurança
- Todas as comunicações de API usam HTTPS/TLS. O Autonomous AI Database suporta mTLS por meio de uma wallet ou conexões TLS para persistência de relatório. Os Arquivos, armazenamentos de vetores, Respostas e pontos finais de implantação hospedados do Enterprise AI Agents são chamados por HTTPS e devem usar o OCI Identity and Access Management e a autorização principal de recursos em produção.
- Aplique políticas do OCI Identity and Access Management de menor privilégio para acesso à IA empresarial, API de arquivos, API de armazenamento de vetores, pesquisa direta de armazenamento de vetores, OCI Functions, OCI Object Storage, Autonomous AI Database e OCI Speech. Use grupos dinâmicos e regras de correspondência para autorizar OCI Functions e implantações hospedadas a chamar pontos finais do OCI GenAI Enterprise AI Agents e acessar o armazenamento de vetores no escopo do projeto de destino. Adicionar permissões de pesquisa de arquivo da API de Respostas somente se um modo de recuperação baseado em pesquisa de arquivo futuro estiver ativado.
- Use o OCI Vault e o OCI Secret Management para gerenciamento de segredos, políticas de ciclo de vida do OCI Object Storage para retenção de documentos de vídeo/origem e controles de governança de armazenamento vetorial para ingestão de documentos, exclusão e controle de versão de corpus.
-
Desempenho
- A análise de quadros paralelos é executada no back-end. Ajuste a simultaneidade com base nos limites de taxa do Enterprise AI Models.
- O processamento orientado por eventos distribui o carregamento naturalmente à medida que os vídeos são carregados. Para controlar a contenção da API durante uploads de alto volume, implemente limites de simultaneidade no back-end.
-
Integração Empresarial
Essa arquitetura usa os serviços OCI Events e OCI Functions para ingestão orientada a eventos, que é o padrão recomendado para pipelines de processamento acionados pelo OCI Object Storage. Para implementações que exigem integração com vários sistemas empresariais (por exemplo, aplicativos SaaS, fluxos de trabalho B2B, ERPs locais), o Oracle Integration pode ser introduzido como uma camada de orquestração a jusante do acionador orientado a eventos, fornecendo design de integração visual, adaptadores de aplicativos predefinidos e trilhas de auditoria de nível empresarial.