Implémenter la génération augmentée d'extraction à l'aide d'Oracle Integration

La génération augmentée de récupération (RAG) est un puissant modèle d'implémentation d'IA générative qui améliore les modèles génératifs en intégrant des informations d'entreprise via des mécanismes de récupération de données sans formation supplémentaire de modèle. La RAG vous permet d'optimiser la sortie d'un grand modèle de langage (LLM) avec des informations ciblées sans modifier le modèle sous-jacent lui-même. Ces informations ciblées peuvent être plus à jour que le LLM et spécifiques à une organisation et à un secteur particuliers. Cela permet au système GenAI de fournir des réponses plus contextuellement appropriées aux invites et de baser ces réponses sur des données extrêmement actuelles.

La RAG aide les LLM à donner de meilleures réponses car :

Il s'agit d'une technique d'intelligence artificielle relativement nouvelle qui peut améliorer la qualité de GenAI en permettant aux LLM d'exploiter des ressources de données supplémentaires sans recyclage.
Les modèles RAG créent des référentiels de connaissances basés sur les propres données de l'entreprise. Ces référentiels peuvent être mis à jour en continu pour aider GenAI à fournir des réponses contextuelles opportunes.
Les chatbots et autres systèmes conversationnels qui utilisent le traitement du langage naturel peuvent grandement bénéficier de RAG et de GenAI.
La mise en œuvre de RAG nécessite des technologies telles que les bases de données vectorielles, qui permettent le codage rapide de nouvelles données, et des recherches sur ces données pour alimenter le LLM.

Architecture

Cette architecture de référence montre comment implémenter une structure RAG à l'aide d'une technique de recherche sémantique pour répondre à une requête utilisateur sur des données d'entreprise à l'aide d'une plate-forme d'intégration low-code ou no-code, telle que les services Oracle Integration (OIC).

Dans cette architecture, Oracle Cloud Infrastructure Generative AI est utilisé pour créer des incorporations et générer des réponses/réponses optimisées ou utiles en fonction des données d'entreprise spécifiques au contexte. Oracle Autonomous Database 23ai est utilisé pour stocker les incorporations vectorielles, créer des index et effectuer une recherche sémantique basée sur la similarité ou la distance au lieu d'une recherche par mot-clé. OCI Functions est utilisé pour effectuer un découpage de documents ou de données d'entreprise à l'aide des packages python LangChain standard. Les services OIC gèrent l'ensemble du processus d'orchestration et d'automatisation, de la réception des données d'entreprise au stockage/à la requête de celles-ci en tant qu'intégrations vectorielles, et génèrent les réponses contextuelles optimisées et créatives pour les requêtes des utilisateurs en temps réel ou en temps quasi réel.

Les diagrammes suivants illustrent deux processus pris en charge par cette architecture de référence :

Processus d'extraction :

Description de l'illustration rag-oic.png

rag-oic-oracle.zip

Dans ce processus, les événements suivants se produisent :
1. Les données d'entreprise ou d'entreprise sont reçues au service Retriever d'Oracle Integration dans différents formats tels que PDF, TXT, CSV, XML, JSON, etc. via REST, File ou sFTP, ou tout autre protocole.
2. Le service Retriever découpe les documents ou les données à l'aide d'OCI Functions.
3. Le service Retriever obtient ensuite les incorporations vectorielles pour chaque tranche de données en appelant le service d'intégration OCI Generative AI à l'aide de modèles d'intégration tels que Cohere ou d'autres.
4. Enfin, le service Retriever stocke ces incorporations dans Oracle Autonomous Database 23ai avec les données découpées en blocs.
Processus d'augmentation et de génération :

Description de l'illustration rag-oic-aug-gen.png

rag-oic-aug-gen-oracle.zip

Dans ce processus, les événements suivants se produisent :
1. Les utilisateurs d'entreprise ou d'entreprise via des applications front-end posent des questions ou des questions sur les données de l'entreprise, telles que les politiques, les RH, les ventes, l'historique des achats, les rapports financiers, les problèmes, etc.
2. Le service Générer d'OCI reçoit les données de requête et appelle le service Augment de son intégration locale pour obtenir le contexte de cette requête.
3. Une fois appelé, le service Augment d'OCI appelle le service d'intégration d'OCI Generative AI pour obtenir les incorporations vectorielles des données de requête.
4. Le service Augment d'OCI obtient le contexte stocké dans Oracle Autonomous Database 23ai, en fonction de la recherche sémantique des incorporations de vecteur de données de requête. Le contexte extrait est renvoyé en réponse au service de génération.
5. Le service Générer, avec le contexte et la requête reçus, appelle le service de génération OCI Generative AI pour générer la réponse appropriée.
6. Enfin, le service Générer répond avec la réponse générée à l'utilisateur.

OIC aide les clients à automatiser le processus de RAG de bout en bout. Les clients ou les entreprises peuvent bénéficier d'une plate-forme d'intégration sans code et sans code pour implémenter la RAG sur leurs données d'entreprise. La création de RAG à l'aide d'une plate-forme sans code et sans code permet le développement et la mise sur le marché en quelques heures ou jours plutôt qu'en plusieurs mois.

L'architecture comprend les composants suivants :

Autonomous Database
Oracle Autonomous Database est un environnement de base de données entièrement géré et préconfiguré que vous pouvez utiliser pour le traitement des transactions et les charges de travail d'entreposage de données. Vous n'avez pas à configurer ni à gérer le matériel, ni à installer de logiciel. Oracle Cloud Infrastructure gère la création, la sauvegarde, la mise à niveau et le réglage de la base de données, ainsi que l'application de patches à la base de données.
Autonomous Transaction Processing
Oracle Autonomous Transaction Processing est un service de base de données à pilotage, sécurité et réparation automatiques optimisé pour les charges de travail de traitement des transactions. Vous n'avez pas à configurer ni à gérer le matériel, ni à installer de logiciel. Oracle Cloud Infrastructure gère la création, la sauvegarde, la mise à niveau et le réglage de la base de données, ainsi que l'application de patches à la base de données.
Functions
Oracle Cloud Infrastructure Functions est une plate-forme Functions-as-a-Service (FaaS) entièrement gérée, colocative, hautement évolutive, à la demande. Il est optimisé par le moteur open source du projet Fn. Les fonctions vous permettent de déployer votre code et de l'appeler directement ou de le déclencher en réponse à des événements. Oracle Functions utilise des conteneurs Docker hébergés dans Oracle Cloud Infrastructure Registry.
Intégration
Oracle Integration est un service entièrement géré qui permet d'intégrer vos applications, d'automatiser les processus, de bénéficier d'informations sur vos processus métier et de créer des applications visuelles.
Intelligence artificielle générative
Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un ensemble de grands modèles de langage de pointe et personnalisables couvrant un large éventail de cas d'emploi pour la génération de texte, la synthèse, la recherche sémantique, etc. Utilisez le playground de test pour essayer les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés affinés en fonction de vos propres données sur des clusters d'AI dédiés.
Oracle Database 23ai
Oracle Database 23ai est la prochaine version de support à long terme d'Oracle Database. Il comprend plus de 300 nouvelles fonctionnalités axées sur l'intelligence artificielle (IA) et la productivité des développeurs. Des fonctionnalités telles que la recherche vectorielle d'IA vous permettent de tirer parti d'une nouvelle génération de modèles d'IA pour générer et stocker des vecteurs de documents, d'images, de sons, etc. ; indexez-les et recherchez rapidement des similitudes tout en tirant parti des fonctionnalités analytiques existantes d'Oracle Database. Cette combinaison avec l'ensemble déjà étendu d'algorithmes d'apprentissage automatique vous permet de créer rapidement des applications sophistiquées basées sur l'IA. Oracle Database 23ai utilise également l'IA pour optimiser de nombreuses fonctions de base de données clés afin de réaliser des estimations plus précises sur les délais et les coûts des ressources.

En savoir plus

En savoir plus sur l'implémentation de RAG à l'aide d'Oracle Integration.

Consultez les ressources supplémentaires suivantes :

Consultez les ressources OCI Generative AI suivantes :

Accusés de réception

Auteur : Pavan Rajalbandi