Automatiser le cycle de vie des documents
L'IA améliore le cycle de vie avec :
- Intelligence post-archivage
- Numérisation
- Analyse transactionnelle
La variété des pipelines possibles comprend :
- Document Understanding (DU) et LLM texte pour OCR et raisonnement évolutifs
- LLM multimodal pour présentations visuelles/complexes
- Mode de comparaison/consensus pour une assurance supérieure
Cette conception est générique dans tous les secteurs, avec des points saillants pour les soins de santé et les services financiers.
Architecture
Cette architecture illustre le flux logique du traitement des documents, de l'ingestion et du stockage à l'extraction et à l'intégration en aval. Il montre comment plusieurs composants Oracle Cloud Infrastructure (OCI), y compris les services OCI Document Understanding et OCI Generative AI (LM de texte et de vision), fonctionnent ensemble dans une orchestration unifiée.
Le schéma suivant illustre le flux logique.
Les composants conceptuels présentés dans le flux logique sont les suivants :
- Stockage de données distant
- Représente la source d'origine des documents, qui peuvent être un référentiel externe, un système de fichiers Enterprise ou un stockage partagé tel que des disques réseau, DMS ou des buckets cloud.
- Les documents peuvent être extraits périodiquement ou lors du déclenchement du traitement.
- Interface utilisateur d'entrée
- Point d'entrée simple destiné à l'utilisateur pour le chargement ou la soumission de documents.
- Il peut s'agir d'un formulaire Web, d'un portail interne ou d'un front-end d'application créé à l'aide d'Oracle Digital Assistant ou d'outils similaires.
- Chatbot (facultatif)
- Fournit un accès conversationnel au pipeline.
- Permet aux utilisateurs de télécharger ou d'interroger des documents en langage naturel (par exemple, "Afficher toutes les factures supérieures à 50 K $").
- Achemine en interne vers la même couche d'inclusion que l'interface utilisateur d'entrée.
- Intégrations
- Agit en tant que couche d'orchestration et de routage.
- Il est chargé de déclencher le pipeline approprié en fonction du type de document ou de la logique métier. Par exemple, OCI Document Understanding plus un LLM pour les documents structurés, vision LLM pour les entrées riches en images.
- Gère la récupération des erreurs, les nouvelles tentatives, la gestion des métadonnées et les appels d'API en aval vers les plates-formes ERP, CRM ou de données.
- Stockage de données
- Stocke les données brutes et traitées.
- Généralement implémenté à l'aide d'OCI Object Storage pour les fichiers binaires et d'Oracle Autonomous AI Database pour les sorties JSON structurées et les journaux d'audit.
- Permet la traçabilité, le retraitement et l'analyse tout au long du cycle de vie des documents.
- Reconnaissance optique des caractères (OCR)
- Effectue la reconnaissance optique de caractères, la détection de disposition et l'extraction de paires clé-valeur, de tableaux et de texte libre.
- Produit un texte propre qui sert d'entrée pour le raisonnement LLM basé sur du texte.
- OCI Document Understanding est déterministe et basé sur des schémas, garantissant une qualité d'extraction prévisible.
- LLM textuel (Cohere Command-A)
- Consomme la sortie OCI Document Understanding et applique le raisonnement, la normalisation et le formatage.
- Gère la synthèse, la classification et l'extraction contextuelle qui vont au-delà du schéma fixe d'OCI Document Understanding.
- Peut nettoyer les sorties OCR bruyantes, unifier la dénomination des champs et déduire les valeurs manquantes en fonction du contexte.
- LLM multimodal (Llama 4 Maverick)
- Traite le contenu visuel et les présentations complexes que OCI Document Understanding et les modèles de texte uniquement ne peuvent pas interpréter complètement.
- Gère les graphiques, l'écriture manuscrite, les timbres, les tableaux intégrés en tant qu'images et la continuité de plusieurs pages.
- Dans les flux combinés, sa sortie est rapprochée des résultats d'OCI Document Understanding et de LLM textuels pour améliorer l'exhaustivité et la précision.
- Logique d'incorporation et de chargement de données
- Convertit le texte et les images extraits en incorporations vectorielles pour la recherche sémantique et la récupération de documents.
- Prend en charge les workflows RAG en aval, permettant aux LLM de répondre au sol dans des données factuelles spécifiques aux documents.
- Peut être implémenté à l'aide d'OCI Functions ou de pipelines ETL personnalisés.
- Magasin de vecteurs
- Stocke les incorporations de texte et d'images.
- Permet d'extraire rapidement du contenu similaire au contexte et prend en charge les questions/réponses génératives sur les jeux de documents d'entreprise.
- Les implémentations courantes incluent Qdrant, AI Vector Search dans Autonomous AI Database ou d'autres magasins compatibles OCI.
Il s'agit du flux de bout en bout représenté dans le diagramme de flux logique :
- Ingestion de document
- Les documents sont chargés via l'interface utilisateur d'entrée ou extraits du stockage de données distant.
- La couche Integration consigne les métadonnées, valide les formats de fichier et déclenche le pipeline de traitement correspondant.
- Les soumissions de chatbot utilisent les mêmes acheminements d'API que les téléchargements manuels.
- Stockage et préparation
- Les fichiers sont conservés dans OCI Object Storage.
- Les métadonnées et les entrées de statut sont écrites dans Oracle Autonomous AI Database à des fins d'audit et de contrôle.
- Un déclencheur de workflow (à l'aide d'OCI Functions ou d'Oracle Integration) lance la séquence OCR/LLM.
- Extraction et enrichissement des données
- OCI Document Understanding effectue une analyse OCR et de disposition, renvoyant du texte structuré.
- Le LLM textuel (par exemple, Commande-A) interprète ce texte, le nettoie et produit des sorties normalisées (JSON ou Markdown).
- Lorsque le document contient des éléments visuels complexes, un texte et une image comprenant l'IA tels que Llama 4 Maverick analyse les images pour enrichir ou valider les résultats d'extraction.
- Les deux sorties peuvent être comparées ou fusionnées via une logique d'orchestration (rapprochement basé sur la confiance).
- Intégration et chargement des connaissances
- Les données structurées et contextualisées finales passent par une étape d'intégration, transformant du texte ou des informations visuelles en vecteurs.
- Le composant Logique d'intégration et de chargement de données stocke ces vecteurs dans un magasin de vecteurs, ce qui termine l'étape d'intégration RAG.
- Les applications en aval telles que les tableaux de bord d'analyse, les portails de recherche ou les chatbots GenAI peuvent désormais accéder aux données traitées pour l'extraction sémantique et l'analyse des questions.
Vous pouvez éventuellement ajouter une étape HITL (Human-in-the-loop) entre les étapes 3 et 4.
- A ce stade, un HITL peut être intégré dans le flux en fonction de divers critères, y compris la confiance dans les réponses, des vérifications supplémentaires pour le type de données, le format, etc. Cela peut inviter un utilisateur à approuver ou modifier les résultats selon ses besoins.
- Dans n'importe quelle voie choisie, un HITL peut être ajouté pour fournir une couche supplémentaire d'apprentissage continu permettant à la solution de s'adapter et de croître avec l'utilisation et d'améliorer l'efficacité
- Déclenchez HITL sur : faible niveau de confiance, violations de schéma, échecs de rapprochement, fournisseur/mise en page invisible ou champs critiques du régulateur.
- Envisagez d'utiliser une "règle de graduation" : en d'autres termes, supprimez HITL après N passes de nettoyage consécutives pour un fournisseur/une configuration donné.
- Corrections persistantes ; affineurs et valideurs d'invite de flux ; suivi des empreintes fournisseur/présentation.
Le diagramme suivant présente un exemple d'implémentation :
L'architecture comporte les composants suivants :
- Région OCI
Une région OCI est une zone géographique précise qui contient des centres de données, hébergeant des domaines de disponibilité. Les régions sont indépendantes les une des autres et peuvent les séparer d'un pays ou d'un continent à l'autre par de grandes distances.
- Compartiment
Les compartiments sont des partitions logiques inter-régionales dans une location OCI. Utilisez des compartiments pour organiser, contrôler l'accès et définir des quotas d'utilisation pour vos ressources Oracle Cloud. Dans un compartiment donné, vous définissez des stratégies qui contrôlent l'accès et définissent des privilèges pour les ressources.
- Domaine de disponibilité
Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Par conséquent, une panne sur un domaine de disponibilité ne doit pas affecter les autres domaines de disponibilité de la région.
- Domaine de pannes
Un domaine de pannes est un regroupement de matériel et d'infrastructures au sein d'un domaine de disponibilité. Chaque domaine de disponibilité comporte trois domaines de pannes avec une alimentation et un matériel indépendants. Lorsque vous répartissez des ressources entre plusieurs domaines de pannes, vos applications peuvent tolérer les pannes du serveur physique, la maintenance du système et les pannes d'alimentation au sein d'un domaine de pannes.
- Réseau et sous-réseau cloud virtuel OCI
Un réseau cloud virtuel est un réseau personnalisable défini par logiciel que vous configurez dans une région OCI. Comme les Réseaux de centre de données traditionnels, les Réseaux cloud virtuels vous donnent un contrôle sur l'environnement réseau. Un VCN peut comporter plusieurs blocs de routage interdomaine sans classe (CIDR) qui ne se chevauchent pas et que vous pouvez modifier une fois le VCN créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.
- Passerelle de routage dynamique
Le DRG est un routeur virtuel qui fournit un chemin pour le trafic de réseau privé entre les réseaux cloud virtuels d'une même région, entre un VCN et un réseau en dehors de la région, tel qu'un VCN dans une autre région OCI, un réseau sur site ou un réseau dans un autre fournisseur cloud.
- Passerelle de service
Une passerelle de service fournit un accès à partir d'un VCN à d'autres services, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic entre le VCN et le service Oracle passe par la structure réseau Oracle et ne traverse pas Internet.
- Oracle Services Network
Le réseau Oracle Services Network (OSN) est un réseau conceptuel sur OCI réservé aux services Oracle. Ces services possèdent des adresses IP publiques auxquelles vous pouvez accéder via Internet. Les hôtes en dehors d'Oracle Cloud peuvent accéder à OSN en privé à l'aide d'Oracle Cloud Infrastructure FastConnect ou de VPN Connect. Les hôtes de vos réseaux cloud virtuels peuvent accéder à OSN en privé via une passerelle de service.
- Oracle Autonomous AI Database
Oracle Autonomous AI Database fournit une base de données facile à utiliser, entièrement autonome (autogouverne) qui évolue de manière élastique et offre des performances de requête rapides. En tant que service, il ne nécessite pas d'administration de base de données. Vous n'avez besoin de configurer ni de gérer un matériel, ni d'installer un logiciel. Il gère automatiquement le provisionnement, la sauvegarde, l'application de patches et la mise à niveau, ainsi que la croissance ou la réduction de la base de données. Il s'agit d'un service élastique. Développez des applications évolutives alimentées par l'IA avec toutes les données à l'aide de fonctionnalités d'IA intégrées. Utilisez le grand modèle de langage (LLM) de votre choix et déployez-le dans le cloud ou votre centre de données.
- Oracle AI Database 26ai
Oracle AI Database 26ai avec AI Vector Search vous permet d'interroger des données par signification plutôt que par mots-clés. Les représentations vectorielles (embeddings) capturent la sémantique du texte, des images, de l'audio, etc. afin que vous puissiez trouver du contenu similaire efficacement. Les fonctions SQL de distance intégrées permettent des recherches de similarité à l'aide de vecteurs. Vous pouvez combiner la similarité sémantique et d'autres critères de recherche aux grands modèles de langage (RAG) pour obtenir des réponses plus précises et pertinentes.
- OCI Document Understanding
Oracle Cloud Infrastructure Document Understanding est un service d'IA permettant d'effectuer des analyses de documents d'apprentissage en profondeur à grande échelle. Grâce aux modèles prédéfinis fournis, les développeurs peuvent facilement créer un traitement intelligent des documents dans leurs applications sans expertise en machine learning.
- Oracle Digital Assistant
Oracle Digital Assistant est une plate-forme qui vous permet de créer et déployer des assistants numériques pour vos utilisateurs. Avec Oracle Digital Assistant, vous pouvez créer des interfaces (ou chatbots) basées sur l'IA pour les applications métier via des interfaces texte, de discussion et vocales. Chaque assistant numérique dispose d'un ensemble de briques spécialisées pour aider les utilisateurs à effectuer diverses tâches dans les conversations en langage naturel. Par exemple, un assistant numérique individuel peut avoir des compétences qui se concentrent sur des types spécifiques de tâches tels que le suivi des stocks, la soumission de feuilles de temps et la création de notes de frais.
- Oracle AI Data Platform
Oracle AI Data Platform est une plate-forme unifiée qui simplifie le catalogage, la préparation et l'analyse des données dans votre parc de données. Il rassemble les données, l'IA, les analyses et la gouvernance au sein d'une expérience utilisateur cohérente vous permettant de créer des applications sécurisées et évolutives alimentées par l'IA. Oracle AI Data Platform unifie Autonomous AI Lakehouse, Oracle Analytics Cloud, OCI Object Storage, OCI Generative AI et Fusion Data Intelligence.
Dans cette plate-forme, Oracle AI Data Platform Workbench fournit un environnement de développement dédié dans lequel vous pouvez concevoir, orchestrer et déployer des pipelines et des modèles de données, définir des stratégies RBAC et utiliser des technologies open source telles que Spark pour préparer, analyser et enrichir vos données.
- OCI Generative AI
Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un ensemble de grands modèles (LLM) de langage de pointe et personnalisables couvrant une large gamme de cas d'emploi pour l'édition de texte, la synthèse, la recherche sémantique, etc. Utilisez le playground de test pour essayer les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés affinés selon vos propres données sur des clusters d'AI dédiés.
- Oracle Integration
Oracle Integration est un environnement entièrement géré et préconfiguré qui vous permet d'intégrer des applications cloud et sur site, d'automatiser les processus métier et de développer des applications visuelles. Il utilise un serveur de fichiers compatible SFTP pour stocker et extraire des fichiers et vous permet d'échanger des documents avec des partenaires commerciaux professionnels en utilisant un portefeuille de centaines d'adaptateurs et de recettes pour vous connecter à des applications Oracle et tierces.
- OCI Object Storage
OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non, de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.
Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez durant de longues périodes et auquel il est rare d'y accéder.
Recommandations
- VCN
Lorsque vous créez un VCN, déterminez le nombre de blocs CIDR requis et la taille de chaque bloc en fonction du nombre de ressources que vous prévoyez d'attacher aux sous-réseaux dans le VCN. Utilisez des blocs CIDR qui se trouvent dans l'espace d'adressage IP privé standard.
Sélectionnez des blocs CIDR qui ne chevauchent aucun autre réseau (dans Oracle Cloud Infrastructure, votre centre de données sur site ou un autre fournisseur cloud) sur lequel vous prévoyez de configurer des connexions privées.
Après avoir créé un VCN, vous pouvez modifier, ajouter et supprimer ses blocs CIDR.
Lorsque vous concevez les sous-réseaux, tenez compte de vos exigences en matière de flux de trafic et de sécurité. Associez toutes les ressources d'un niveau ou d'un rôle spécifique au même sous-réseau, ce qui peut servir de limite de sécurité.
- Groupes de sécurité réseau
Vous pouvez utiliser des groupes de sécurité réseau pour définir un ensemble de règles entrantes et sortantes qui s'appliquent à des cartes d'interface réseau virtuelles spécifiques. Nous vous recommandons d'utiliser des groupes de sécurité réseau plutôt que des listes de sécurité, car les groupes de sécurité réseau vous permettent de séparer l'architecture de sous-réseau du VCN des exigences de sécurité de votre application.
- Cloud Guard
Clonez et personnalisez les recettes par défaut fournies par Oracle pour créer des recettes personnalisées de détecteur et de répondeur. Ces recettes vous permettent d'indiquer le type de violation de sécurité qui génère un avertissement et les actions autorisées à y être effectuées. Par exemple, vous pouvez détecter les buckets OCI Object Storage dont la visibilité est définie sur Public.
Appliquez Oracle Cloud Guard au niveau de la location pour couvrir la portée la plus large et réduire la charge administrative liée à la maintenance de plusieurs configurations.
Vous pouvez également utiliser la fonctionnalité de liste gérée pour appliquer certaines configurations aux détecteurs.
- Security Zones
Pour les ressources nécessitant une sécurité maximale, Oracle recommande d'utiliser des zones de sécurité. Une zone de sécurité est un compartiment associé à une recette de stratégies de sécurité définie par Oracle basée sur les meilleures pratiques. Par exemple, les ressources d'une zone d'accès ne doivent pas être accessibles à partir du réseau Internet public et doivent être cryptées à l'aide de clés gérées par l'utilisateur. Lorsque vous créez et mettez à jour des ressources dans une zone de sécurité, OCI valide les opérations par rapport aux stratégies de la recette et empêche les opérations qui violent l'une des stratégies.
Points à prendre en compte
Tenez compte des implémentations suivantes de l'architecture pour les différentes étapes du cycle de vie des documents :
Intelligence post-archivage :
- Incluez par lots des PDF/images historiques dans OCI Object Storage.
- OCI Document Understanding acheminé vers le LLM texte (par défaut) pour l'agrégation, la classification et l'extraction d'entité.
- Acheminer les sorties vers la révision HITL lorsque la confiance du modèle est inférieure à un seuil défini (par exemple, faible confiance d'extraction/de classification).
- LLM de vision en option pour les graphiques ou les repères visuels.
- Stockez les résultats structurés (Autonomous AI Database/Parquet) acheminés vers les analyses et l'extraction.
Accélération de la numérisation :
- Les analyses sont acheminées vers le registre OCR et la présentation d'OCI Document Understanding.
- Le LLM de type texte normalise les champs, applique la taxonomie et balise les métadonnées.
- Comparaison facultative avec le LLM de vision pour les tables ou l'écriture manuscrite.
- Acheminer les sorties vers la révision HITL lorsque la confiance du modèle est inférieure à un seuil défini (par exemple, faible confiance d'extraction/de classification).
- Persister et indexer ; activer la recherche et l'automatisation en aval.
Analyse transactionnelle (en temps réel) :
- Une nouvelle soumission est ajoutée dans OCI Object Storage via l'API ou le portail.
- OCI Document Understanding acheminé vers un LLM texte au sein des SLO de latence ; incluez des vérifications de fraude/d'anomalie et d'exhaustivité.
- Contrôles croisés à l'aide d'Oracle Integration avec les approbations de portail ERP/OTM ;.
- HITL uniquement sur les exceptions ; le reste circule directement.
Considérez les différentes bases suivantes pour les approches qui peuvent être prises lors de la résolution de ces problèmes, et les stratégies de pipeline supplémentaires à employer :
- Valeur par défaut : OCI Document Understanding indique le LLM de texte (tel que Command-A) pour le nettoyage et l'extraction.
- Routage Vision : Llama 4 Maverick pour une confiance OCI Document Understanding visuelle lourde ou faible.
- Comparaison/Consensus (facultatif) : exécutez OCI Document Understanding avec un LLM et OCI Vision ; rapprochez les conflits (règles de priorité et validateurs métier).
- Stratégie multi-page / multi-image :
- Jusqu'à 10 pages/images par appel Maverick pour préserver la continuité.
- Utilisez une fenêtre glissante (1–10, 6–15, …) avec une invite récapitulative glissante pour réduire les jetons et conserver le contexte.
- Gestion des langues : acheminement basé sur la prévalence des langues et la prise en charge d'OCI Document Understanding. Les petites langues minoritaires sont acheminées vers le routage OCI Vision ou vers le texte uniquement.
En savoir plus
En savoir plus sur l'automatisation du processus de document avec GenAI, OCI et le lancement de votre transition vers le cloud avec Oracle.
Consultez les ressources supplémentaires suivantes :
- Oracle propose plusieurs traitements de documents avec des exemples d'applications GenAI. Accédez à GitHub.
- Coaching de développeurs - Découvrir des modèles multimodaux pour des documents complexes sur le canal YouTube des développeurs Oracle
- Documentation d'Oracle Cloud Infrastructure
- Structure bien conçue pour Oracle Cloud Infrastructure
- Estimateur de coût Oracle Cloud
- Structure d'adoption du cloud