Mettre en oeuvre la génération augmentée avec extraction à l'aide d'Oracle Integration

La génération augmentée d'extraction (RAG) est un puissant modèle de mise en œuvre de l'IA générative qui améliore les modèles génératifs en incorporant des informations d'entreprise au moyen de mécanismes de récupération de données sans formation de modèle supplémentaire. RAG vous permet d'optimiser la sortie d'un grand modèle de langage (LLM) avec des informations ciblées sans modifier le modèle sous-jacent lui-même; ces informations ciblées peuvent être plus à jour que le LLM et peuvent être spécifiques à une organisation et à un secteur d'activité particuliers. Cela permet au système GenAI de fournir des réponses plus contextuellement appropriées aux invites et de baser ces réponses sur des données extrêmement courantes.

RAG aide les LLM à donner de meilleures réponses car :

Il s'agit d'une technique d'intelligence artificielle relativement nouvelle qui peut améliorer la qualité de GenAI en permettant aux LLM d'exploiter des ressources de données supplémentaires sans recyclage.
Les modèles RAG créent des référentiels de connaissances basés sur les propres données de l'organisation, et ces référentiels peuvent être continuellement mis à jour pour aider GenAI à fournir des réponses contextuelles en temps opportun.
Les agents conversationnels et autres systèmes conversationnels qui utilisent le traitement du langage naturel peuvent bénéficier grandement de RAG et de GenAI.
La mise en œuvre du RAG nécessite des technologies telles que les bases de données vectorielles, qui permettent le codage rapide de nouvelles données, et des recherches sur ces données pour alimenter le LLM.

Architecture

Cette architecture de référence montre comment mettre en oeuvre un cadre RAG à l'aide de la technique de recherche sémantique pour répondre à une interrogation d'utilisateur sur des données d'entreprise à l'aide d'une plate-forme d'intégration sans code ou à faible code telle que les services Oracle Integration (OIC).

Dans cette architecture, le service Oracle Cloud Infrastructure Generative AI est utilisé pour créer des intégrations et générer des réponses optimisées ou utiles en fonction des données d'entreprise propres au contexte. Oracle Autonomous Database 23ai est utilisé pour stocker les intégrations de vecteur, créer des index et permettre une recherche sémantique basée sur la similarité ou la distance au lieu d'une recherche basée sur des mots clés. Le service Fonctions OCI est utilisé pour effectuer une fragmentation de documents ou de données d'entreprise à l'aide des ensembles python LangChain standard. Les services OIC gèrent l'ensemble du processus d'orchestration et d'automatisation, depuis la réception des données d'entreprise jusqu'au stockage ou à l'interrogation de celles-ci sous forme d'intégrations vectorielles, et génèrent les réponses optimisées et créatives propres au contexte pour les requêtes des utilisateurs, en temps réel ou imminent.

Les diagrammes suivants illustrent deux processus pris en charge par cette architecture de référence :

Processus d'extraction :

Description de l'illustration rag-oic.png

rag-oic-oracle.zip

Dans ce processus, les événements suivants se produisent :
1. Les données d'entreprise ou d'entreprise sont reçues par le service d'extraction Oracle Integration dans différents formats tels que PDF, TXT, CSV, XML, JSON, etc. au moyen de REST, File ou sFTP, ou de tout autre protocole.
2. Le service d'extraction fragmente les documents ou les données à l'aide du service des fonctions pour OCI.
3. Le service d'extraction obtient ensuite les intégrations vectorielles pour chaque tranche de données en appelant le service d'intégration de l'intelligence artificielle générative OCI à l'aide de modèles d'intégration tels que Cohere ou d'autres.
4. Enfin, le service d'extraction stocke ces intégrations dans Oracle Autonomous Database 23ai avec les données fragmentées.
Processus d'augmentation et de génération :

Description de l'illustration rag-oic-aug-gen.png

rag-oic-aug-gen-oracle.zip

Dans ce processus, les événements suivants se produisent :
1. Les utilisateurs d'entreprise ou d'entreprise qui utilisent des applications frontales posent des questions ou des questions sur les données d'entreprise, comme les politiques, les RH, les ventes, l'historique d'achat, les rapports financiers, les problèmes, etc.
2. Le service Generate d'OIC reçoit les données d'interrogation et appelle le service Augment de son intégration locale pour obtenir le contexte de cette interrogation.
3. Le service d'augmentation d'OCI, une fois appelé, appelle le service d'intégration de l'IA générative OCI pour obtenir les intégrations vectorielles des données d'interrogation.
4. Le service Augment d'OIC obtient le contexte stocké dans Oracle Autonomous Database 23ai, en fonction de la recherche sémantique des intégrations de vecteurs de données d'interrogation. Le contexte extrait est renvoyé en réponse au service de génération.
5. Le service Générer, avec le contexte et l'interrogation reçus, appelle le service de génération d'intelligence artificielle générative OCI pour générer la réponse appropriée.
6. Enfin, le service Generate répond avec la réponse générée à l'utilisateur.

OIC aide les clients à automatiser le processus RAG de bout en bout. Les clients ou les entreprises peuvent bénéficier de l'utilisation d'une plate-forme d'intégration sans code à faible code pour mettre en œuvre RAG sur leurs données d'entreprise. Construire RAG en utilisant une plate-forme sans code à faible code permet le développement et la commercialisation en quelques heures ou quelques jours plutôt qu'en quelques mois.

L'architecture comprend les composants suivants :

Autonomous Database
Oracle Autonomous Database est un environnement de base de données préconfiguré entièrement géré que vous pouvez utiliser pour le traitement des transactions et les charges de travail d'entreposage de données. Il n'est pas nécessaire de configurer ou de gérer du matériel ni d'installer des logiciels. Oracle Cloud Infrastructure gère la création de la base de données, ainsi que la sauvegarde, l'application de correctifs, la mise à niveau et le réglage de la base de données.
Autonomous Transaction Processing
Oracle Autonomous Transaction Processing est un service de base de données à gestion automatisée, à sécurité autonome et à autoréparation qui est optimisé pour les charges de travail de traitement de transactions. Il n'est pas nécessaire de configurer ou de gérer du matériel ni d'installer des logiciels. Oracle Cloud Infrastructure gère la création de la base de données, ainsi que la sauvegarde, l'application de correctifs, la mise à niveau et le réglage de la base de données.
Oracle Functions
Oracle Cloud Infrastructure Functions est une plate-forme de fonctions-service (FaaS) sur demande, entièrement gérée, multilocataire et hautement évolutive. Il est alimenté par le moteur open source Fn Project. Les fonctions vous permettent de déployer votre code et de l'appeler directement ou de le déclencher en réponse à des événements. Oracle Functions utilise des conteneurs Docker hébergés dans Oracle Cloud Infrastructure Registry.
Intégration
Oracle Integration est un service entièrement géré qui vous permet d'intégrer vos applications, d'automatiser les processus, d'obtenir des données clés sur vos processus d'affaires et de créer des applications visuelles.
Intelligence artificielle générative
Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un jeu de grands modèles de langage (LLM) de pointe et personnalisables, qui couvrent un large éventail de cas d'utilisation pour la génération de texte, la récapitulation, la recherche sémantique, et plus encore. Utilisez le terrain de jeu pour tester les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés réglés avec précision à l'aide de vos données dans des grappes dédiées à l'IA.
Oracle Database 23ai
Oracle Database 23ai est la prochaine version d'Oracle Database avec soutien à long terme. Il comprend plus de 300 nouvelles fonctions axées sur l'intelligence artificielle (IA) et la productivité des développeurs. Les fonctions telles que la recherche vectorielle IA vous permettent de tirer parti d'une nouvelle génération de modèles IA pour générer et stocker des vecteurs de documents, d'images, de sons, etc.; les indexer et rechercher rapidement la similarité tout en tirant parti des capacités analytiques existantes d'Oracle Database. Cela, combiné à un ensemble déjà étendu d'algorithmes d'apprentissage automatique, vous permet de créer rapidement des applications sophistiquées prêtes pour l'IA. Oracle Database 23ai utilise également l'IA pour optimiser de nombreuses fonctions clés de base de données afin d'obtenir des estimations plus précises sur les délais et les coûts des ressources.

Informations complémentaires

Cliquez sur le lien pour en savoir plus sur la mise en oeuvre de RAG à l'aide d'Oracle Integration.

Vérifiez les ressources supplémentaires suivantes :

Vérifiez ces ressources d'intelligence artificielle générative OCI :

Confirmation

Auteur : Pavan Rajalbandi