Automatizar o Ciclo de Vida do Documento
A IA aprimora o ciclo de vida com:
- Inteligência pós-arquivamento
- Digitalização
- Análise transacional
A variedade de possíveis pipelines inclui:
- Document Understanding (DU) mais LLM de texto para OCR e raciocínio escaláveis
- LLM multimodal para layouts visuais/complexos
- Modo de comparação/consenso para maior garantia
Este design é genérico em todos os setores, com holofotes para serviços de saúde e financeiros.
Arquitetura
Esta arquitetura ilustra o fluxo lógico do processamento de documentos; da ingestão e armazenamento à extração e integração downstream. Ele mostra como vários componentes da Oracle Cloud Infrastructure (OCI), incluindo o OCI Document Understanding e os serviços de OCI Generative AI (LLMs de texto e visão), operam juntos em uma orquestração unificada.
O diagrama a seguir ilustra o fluxo lógico.
Os componentes conceituais mostrados no fluxo lógico são:
- Armazenamento de Dados Remoto
- Representa a origem original de documentos, que podem ser um repositório externo, um sistema de arquivos corporativo ou um armazenamento compartilhado, como unidades de rede, DMS ou buckets de nuvem.
- Os documentos podem ser extraídos periodicamente ou no acionador para processamento.
- IU de entrada
- Um ponto de entrada simples voltado para o usuário para carregar ou enviar documentos.
- Pode ser um formulário da Web, um portal interno ou um front-end de aplicativo criado com o Oracle Digital Assistant ou ferramentas semelhantes.
- Chatbot (opcional)
- Fornece acesso de conversação ao pipeline.
- Permite que os usuários carreguem ou consultem documentos em linguagem natural (por exemplo, "Mostre-me todas as faturas acima de US$ 50 K").
- Roteia internamente para a mesma camada de ingestão da IU de Entrada.
- Integrações
- Atua como a camada de orquestração e roteamento.
- Responsável por acionar o pipeline correto, dependendo do tipo de documento ou da lógica de negócios. Por exemplo, o OCI Document Understanding mais um LLM para documentos estruturados, o LLM de visão para entradas pesadas em imagens.
- Trata a recuperação de erros, novas tentativas, gerenciamento de metadados e chamadas de API downstream para plataformas de ERP, CRM ou dados.
- Armazenamento de Dados
- Armazena dados brutos e processados.
- Geralmente implementado usando o OCI Object Storage para binários e o Oracle Autonomous AI Database para saídas JSON estruturadas e logs de auditoria.
- Permite rastreabilidade, reprocessamento e análise em todo o ciclo de vida do documento.
- OCR (Optical Character Recognition)
- Realiza reconhecimento óptico de caracteres, detecção de layout e extração de pares de chave/valor, tabelas e texto livre.
- Produz texto limpo que serve como entrada para o raciocínio do LLM baseado em texto.
- O OCI Document Understanding é determinístico e baseado em esquema, garantindo qualidade de extração previsível.
- LLM Textual (Comando Cohere-A)
- Consome a saída do OCI Document Understanding e aplica raciocínio, normalização e formatação.
- Trata da consolidação, classificação e extração contextual que vão além do esquema fixo do OCI Document Understanding.
- Pode limpar saídas OCR ruidosas, unificar a nomeação de campos e inferir valores ausentes com base no contexto.
- LLM Multimodal (Lhama 4 Maverick)
- Processa conteúdo visual e layouts complexos que o OCI Document Understanding e os modelos somente texto não podem interpretar totalmente.
- Trata gráficos, caligrafia, selos, tabelas incorporadas como imagens e continuidade de várias páginas.
- Em fluxos combinados, sua saída é reconciliada com o OCI Document Understanding e os resultados textuais do LLM para melhorar a integridade e a precisão.
- Lógica de Incorporação e Carregamento de Dados
- Converte texto extraído e imagens em incorporações de vetores para pesquisa semântica e recuperação de documentos.
- Suporta fluxos de trabalho RAG downstream, permitindo que os LLMs fundamentem respostas em dados factuais e específicos a documentos.
- Pode ser implementado usando OCI Functions ou pipelines ETL personalizados.
- Loja de vetores
- Armazena incorporações para texto e imagens.
- Permite a recuperação rápida de conteúdo contextualmente semelhante e oferece suporte a perguntas e respostas generativas sobre conjuntos de documentos empresariais.
- As implementações comuns incluem Qdrant, AI Vector Search no Autonomous AI Database ou outras lojas compatíveis com a OCI.
Este é o fluxo de ponta a ponta representado no diagrama de fluxo lógico:
- Ingestão de Documentos
- Os documentos são carregados por meio da IU de Entrada ou recuperados do Armazenamento de Dados Remoto.
- A camada de Integração registra metadados, valida formatos de arquivo e aciona o pipeline de processamento correspondente.
- Os envios de chatbot usam as mesmas rotas de API que os uploads manuais.
- Armazenamento e Preparação
- Os arquivos são persistidos no OCI Object Storage.
- As entradas de metadados e status são gravadas no Oracle Autonomous AI Database para auditoria e controle.
- Um acionador de workflow (usando o OCI Functions ou o Oracle Integration) inicia a sequência de OCR/LLM.
- Extração e Enriquecimento de Dados
- O OCI Document Understanding executa OCR e análise de layout, retornando texto estruturado.
- O LLM Textual (por exemplo, Command-A) interpreta esse texto, o limpa e produz saídas normalizadas (JSON ou Markdown).
- Quando o documento contém elementos visuais complexos, um texto e imagem que compreendem a IA, como o Llama 4 Maverick, analisa as imagens para enriquecer ou validar os resultados de extração.
- Ambas as saídas podem ser comparadas ou mescladas por meio da lógica de orquestração (reconciliação baseada em confiança).
- Carregamento de Integração e Conhecimento
- Os dados finais estruturados e contextualizados passam por uma etapa de incorporação, transformando texto ou insights visuais em vetores.
- O componente Lógica de Incorporação e Carregamento de Dados armazena esses vetores em um armazenamento de vetores, concluindo o estágio de integração do RAG.
- Aplicativos downstream, como painéis de análise, portais de pesquisa ou chatbots GenAI, agora podem acessar os dados processados para recuperação semântica e resposta a perguntas.
Opcionalmente, você pode adicionar uma etapa de human-in-the-loop (HITL) entre as etapas 3 e 4.
- Nesta fase, um HITL pode ser integrado no fluxo com base em uma variedade de critérios, incluindo confiança em respostas, verificações adicionais para tipo de dados, formato, etc. Isso pode solicitar que um usuário aprove ou edite os resultados conforme necessário.
- Dentro de qualquer rota escolhida, um HITL pode ser adicionado para fornecer uma camada adicional de aprendizado contínuo, permitindo que a solução se adapte e cresça com o uso e melhore a eficácia
- Acione HITL em: baixa confiança, violações de esquema, reconciliações com falha, layout/fornecedor invisível ou campos críticos do regulador.
- Considere usar uma "regra de graduação": ou seja, remova o HITL após N passes de limpeza consecutivos para um determinado fornecedor/layout.
- Persistir correções; alimentar refinarias e validadores de prompt; rastrear impressões digitais de fornecedores/layout.
O seguinte diagrama mostra um exemplo de implementação:
A arquitetura tem os seguintes componentes:
- Região da OCI
Uma região do OCI é uma área geográfica localizada que contém um ou mais data centers, hospedando domínios de disponibilidade. Regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou mesmo continentes).
- Compartimento
Compartimentos são partições lógicas entre regiões em uma tenancy do OCI. Use compartimentos para organizar, controlar o acesso e definir cotas de uso para seus recursos do Oracle Cloud. Em um determinado compartimento, você define políticas que controlam o acesso e definem privilégios para recursos.
- Domínio de disponibilidade
Domínios de disponibilidade são data centers stand-alone e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que oferece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou refrigeração ou a rede interna do domínio de disponibilidade. Portanto, uma falha em um domínio de disponibilidade não deve afetar os outros domínios de disponibilidade na região.
- Domínio de falha
Um domínio de falha é um agrupamento de hardware e infraestrutura dentro de um domínio de disponibilidade. Cada domínio de disponibilidade tem três domínios de falha com energia e hardware independentes. Quando você distribui recursos entre vários domínios de falha, seus aplicativos podem tolerar falhas físicas no servidor, manutenção do sistema e falhas de energia dentro de um domínio de falha.
- Rede e sub-rede virtual na nuvem da OCI
VCN (rede virtual na nuvem) é uma rede personalizável definida por software que você configura em uma região do OCI. Assim como as redes tradicionais do data center, as VCNs dão a você controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos de CIDR (Classless Inter-domain Routing) não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Gateway de roteamento dinâmico (DRG)
O DRG é um roteador virtual que fornece um caminho para tráfego de rede privada entre VCNs na mesma região, entre uma VCN e uma rede fora da região, como uma VCN em outra região do OCI, uma rede on-premises ou uma rede em outro provedor de nuvem.
- Gateway de serviço
Um gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle atravessa a malha de rede Oracle e não atravessa a internet.
- Oracle Services Network
O Oracle Services Network (OSN) é uma rede conceitual no OCI reservada para serviços Oracle. Esses serviços têm endereços IP públicos que você pode acessar pela Internet. Os hosts fora do Oracle Cloud podem acessar o OSN de forma privada usando o Oracle Cloud Infrastructure FastConnect ou o VPN Connect. Os hosts em suas VCNs podem acessar o OSN de forma privada por meio de um gateway de serviço.
- Oracle Autonomous AI Database
O Oracle Autonomous AI Database fornece um banco de Dados fácil de usar e totalmente autônomo (autônomo) que dimensiona de forma elástica e fornece desempenho de consulta rápida. Como serviço, não requer administração de banco de dados. Não é necessário configurar ou gerenciar qualquer hardware ou instalar qualquer software. Ele gerencia automaticamente o provisionamento, o backup, a aplicação de patches e a atualização, o crescimento ou a redução do banco de dados e é um serviço elástico. Desenvolva aplicativos escaláveis com tecnologia de IA com qualquer dado usando recursos de IA integrados. Use sua escolha de modelo de linguagem grande (LLM) e implemente na nuvem ou no seu data center.
- Oracle AI Database 26ai
O Oracle AI Database 26ai com o AI Vector Search permite consultar dados por significado, em vez de palavras-chave. As representações vetoriais (embeddings) capturam a semântica de texto, imagens, áudio e muito mais para que você possa encontrar conteúdo semelhante de forma eficiente. Funções de distância SQL integradas permitem pesquisas de similaridade usando vetores. Você pode combinar similaridade semântica e outros critérios de pesquisa para fundamentar grandes modelos de linguagem (RAG) para obter respostas mais precisas e relevantes.
- OCI Document Understanding
O Oracle Cloud Infrastructure Document Understanding é um serviço de IA para executar análises de documentos de aprendizado profundo em escala. Com modelos predefinidos fornecidos, os desenvolvedores podem facilmente criar processamento inteligente de documentos em seus aplicativos sem experiência em machine learning.
- Oracle Digital Assistant
Oracle Digital Assistant é uma plataforma que permite criar e implantar assistentes digitais para seus usuários. Com o Oracle Digital Assistant, você pode criar interfaces orientadas por IA (ou chatbots) para aplicativos de negócios por meio de interfaces de texto, chat e voz. Cada assistente digital tem uma coleção de uma ou mais habilidades especializadas para ajudar os usuários a concluir uma variedade de tarefas em conversas em linguagem natural. Por exemplo, um assistente digital individual pode ter habilidades que se concentram em tipos específicos de tarefas, como rastrear estoque, enviar cartões de ponto e criar relatórios de despesas.
- Oracle AI Data Platform
A Oracle AI Data Platform é uma plataforma unificada que simplifica a catalogação, preparação e análise de dados em toda a sua propriedade de dados. Ele reúne dados, IA, análises e governança em uma experiência de usuário coesa, permitindo que você crie aplicações seguras e escaláveis com tecnologia de IA. A Oracle AI Data Platform unifica o Autonomous AI Lakehouse, o Oracle Analytics Cloud, o OCI Object Storage, a OCI Generative AI e o Fusion Data Intelligence.
Nessa plataforma, o Oracle AI Data Platform Workbench fornece um ambiente de desenvolvimento dedicado para você projetar, orquestrar e implantar pipelines e modelos de dados, definir políticas de RBAC e usar tecnologias de código-fonte aberto, como o Spark, para preparar, analisar e enriquecer seus dados.
- IA Generativa do OCI
O Oracle Cloud Infrastructure Generative AI é um serviço do OCI totalmente gerenciado que fornece um conjunto de modelos de linguagem grandes (LLMs) personalizáveis e de última geração que abrangem uma ampla variedade de casos de uso para geração, resumo, pesquisa semântica e muito mais. Use o playground para testar os modelos de pré-treinamento prontos a usar ou crie e hospede seus próprios modelos personalizados ajustados com base em seus próprios dados em clusters dedicados de IA.
- Oracle Integration
O Oracle Integration é um ambiente pré-configurado totalmente gerenciado que permite integrar aplicativos na nuvem e on-premises, automatizar processos de negócios e desenvolver aplicativos visuais. Ele usa um servidor de arquivos compatível com SFTP para armazenar e recuperar arquivos e permite que você troque documentos com parceiros comerciais business-to-business usando um portfólio de centenas de adaptadores e receitas para se conectar com aplicativos Oracle e de terceiros.
- OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.
Use armazenamento padrão para armazenamento "quente" que você precisa acessar com rapidez, rapidez e frequência. Use armazenamento de arquivo compactado para armazenamento "frio" que você retém por longos períodos de tempo e acesso raro.
Recomendações
- VCN
Ao criar uma VCN, determine o número de blocos CIDR necessários e o tamanho de cada bloco com base no número de recursos que você planeja anexar às sub-redes na VCN. Use blocos CIDR que estejam dentro do espaço de endereço IP privado padrão.
Selecione blocos CIDR que não se sobreponham a qualquer outra rede (no Oracle Cloud Infrastructure, seu data center on-premises ou outro provedor de nuvem) para a qual você pretende configurar conexões privadas.
Depois de criar uma VCN, você poderá alterar, adicionar e remover seus blocos CIDR.
Ao projetar as sub-redes, considere o fluxo de tráfego e os requisitos de segurança. Anexe todos os recursos dentro de uma camada ou atribuição específica à mesma sub-rede, que pode servir como um limite de segurança.
- Grupos de segurança de rede (NSGs)
Você pode usar NSGs para definir um conjunto de regras de entrada e saída que se aplicam a VNICs específicas. Recomendamos o uso de NSGs em vez de listas de segurança, pois os NSGs permitem separar a arquitetura de sub-rede da VCN dos requisitos de segurança do seu aplicativo.
- Cloud Guard
Clone e personalize as receitas padrão fornecidas pela Oracle para criar receitas personalizadas de detector e respondedor. Essas receitas permitem especificar quais tipos de violações de segurança geram uma advertência e quais ações podem ser executadas nelas. Por exemplo, talvez você queira detectar buckets do OCI Object Storage que tenham visibilidade definida como pública.
Aplique o Oracle Cloud Guard no nível da tenancy para cobrir o escopo mais amplo e reduzir a carga administrativa de manutenção de várias configurações.
Você também pode usar o recurso Lista gerenciada para aplicar determinadas configurações aos detectores.
- Zonas de Segurança
Para recursos que exigem segurança máxima, a Oracle recomenda o uso de zonas de segurança. Uma zona de segurança é um compartimento associado a uma receita de políticas de segurança definidas pela Oracle que se baseiam nas melhores práticas. Por exemplo, os recursos de uma zona de segurança não devem ser acessíveis pela internet pública e devem ser criptografados usando chaves gerenciadas pelo cliente. Quando você cria e atualiza recursos em uma zona de segurança, o OCI valida as operações em relação às políticas na receita e impede operações que violem qualquer uma das políticas.
Considerações
Considere as seguintes implementações da arquitetura para diferentes estágios no ciclo de vida do documento:
Inteligência pós-arquivamento:
- Faça a ingestão em lote de PDFs/imagens históricas no OCI Object Storage.
- O OCI Document Understanding foi roteado para o LLM de texto (padrão) para resumo, classificação e extração de entidade.
- Encaminhar saídas para revisão HITL quando a confiança do modelo estiver abaixo de um limite definido (por exemplo, baixa confiança de extração/classificação).
- LLM de visão opcional para gráficos ou pistas visuais.
- Armazene resultados estruturados (Autonomous AI Database/Parquet) roteados para análise e recuperação.
Aceleração da digitalização:
- Varreduras roteadas para OCR e layout do OCI Document Understanding.
- O LLM de Texto normaliza campos, aplica taxonomia e marca metadados.
- Comparação opcional com o LLM de visão para tabelas ou caligrafia.
- Encaminhar saídas para revisão HITL quando a confiança do modelo estiver abaixo de um limite definido (por exemplo, baixa confiança de extração/classificação).
- Persistir e indexar; ativar a automação de busca e downstream.
Análise Transacional (Tempo Real):
- O novo envio é feito no OCI Object Storage por meio de API ou portal.
- O OCI Document Understanding roteado para um LLM de texto em SLOs de latência; inclua verificações de fraude/anomalia e integridade.
- Verificações cruzadas usando o Oracle Integration com aprovações de gate de ERP/OTM;.
- HITL apenas em exceções; o resto flui diretamente.
Considere as seguintes bases diferentes para abordagens que podem ser tomadas ao abordar essas questões e estratégias de pipeline adicionais para empregar:
- Padrão: OCI Document Understanding para enviar texto ao LLM (como Command-A) para limpeza e extração.
- Rota da visão: Llama 4 Maverick para confiança visual pesada ou baixa no OCI Document Understanding.
- Comparação/Consenso (opcional): execute o OCI Document Understanding com um LLM e o OCI Vision; reconcilie conflitos (regras de prioridade e validadores de negócios).
- Política de várias páginas/imagens:
- Até 10 páginas/imagens por chamada Maverick para preservar a continuidade.
- Use uma janela deslizante (1–10, 6–15, …) com um prompt de resumo rolante para reduzir tokens e manter o contexto.
- Tratamento de idiomas: Rota com base na prevalência do idioma e no suporte ao OCI Document Understanding. Linguagens minoritárias pequenas roteadas para a rota do OCI Vision ou fallback somente de texto.
Explorar Mais
Saiba mais sobre a automatização do processo de documentos com GenAI, OCI e como iniciar sua jornada na nuvem com a Oracle.
Revise estes recursos adicionais:
- A Oracle oferece vários processamentos de documentos com aplicativos de amostra GenAI. Vá para GitHub.
- Developer Coaching - Descobrindo Modelos Multimodais para Documentos Complexos no canal YouTube de Desenvolvedores Oracle
- Documentação do Oracle Cloud Infrastructure
- Estrutura bem arquitetada para o Oracle Cloud Infrastructure
- Oracle Cloud - Estimador de Custos
- Estrutura de Adoção da Nuvem