Créez une pile d'IA générative au niveau de l'entreprise sur Oracle Cloud Infrastructure
La création d'une pile d'IA générative de bout en bout sur Oracle Cloud Infrastructure (OCI) nécessite une approche multicouche pour l'intégration de l'intelligence artificielle dans les systèmes d'entreprise.
L'objectif est de rationaliser le développement d'applications, de garantir une intégration robuste des données et d'améliorer les mesures de sécurité sur différentes couches. Il facilite le déploiement de modèles d'IA, gère efficacement les données client et intègre une journalisation et une surveillance avancées pour maintenir des performances et une fiabilité élevées. Cette architecture de référence abordera également les différents composants nécessaires et la façon dont différents LLM peuvent être orchestrés pour fonctionner ensemble en fonction de la réponse requise.
Architecture
Cette architecture de référence décrit une pile d'IA à quatre couches et tous les différents composants nécessaires à l'implémentation d'une solution d'IA générative de niveau entreprise dans un environnement d'entreprise.
- Niveau Application
- Couche d'accès
- Journalisation et surveillance dans l'ensemble de la solution
- Couche AI composée des cinq modules suivants :
- Intégration de l'IA
- LLM
- Développement d'IA
- Intégration de données
- Contexte et catalogue de données
Le flux hypothétique considéré pour cette architecture de référence est décrit dans la section suivante :
- Une demande sera transmise de l'application à l'API et à la couche Access.
- La couche est protégée par WAF et l'authentification de la demande est vérifiée à l'aide d'OCI Identity and Access Management et de stratégies d'autorisation.
- La passerelle d'API transmet ensuite la demande à la couche d'intégration. Cette couche inclut LangChain, qui est utilisé pour l'abstraction et l'orchestration d'IA. Cette couche inclut également le référentiel d'invites qui ont été mis sur liste blanche et mis en correspondance avec l'autorisation appropriée et la version du modèle LLM.
- La demande est envoyée au LLM qui correspond à la classe de demande et à l'invite.
- Le contexte et l'historique du consommateur sont chargés à partir de la base de données de contexte.
- L'emplacement des données à enrichir est accessible à partir du catalogue de données.
- Disons que certaines données sont toujours manquantes. La couche d'intégration des données vérifiera d'abord si les données ont été mises en cache et, si ce n'est pas le cas, elle sera interrogée à partir des données du client.
- Le LLM répondra par l'intégration.
- La réponse passera par le vérificateur d'hallucination, le vérificateur d'hallucination exécutera ensuite une IA contradictoire pour valider si la réponse est significative.
- Enfin, il passe par la passerelle d'API pour revenir à l'application.
Le schéma suivant illustre cette architecture de référence.
oci-genai-enterprise-arch-oracle.zip
Passons en revue les blocs de construction qui constituent chaque couche de bloc :
- Mélangez et associez les LLM du module LLM à chaque LLM utilisé pour la zone pour laquelle il convient le mieux.
- Le contexte doit être tenu à jour par client et dans différentes conversations. Data Catalog aide les différents LLM à savoir où trouver les données requises.
- La couche Data Integration accède aux données client et les fournit rapidement à l'IA, ce qui inclut la mise en cache des données et l'intégration requises.
- Le module d'intégration AI gère les invites Repo, LangChain pour les LLM abstraits et Oracle Integration pour l'intégration.
- La couche de développement d'IA permet la gestion des versions et le stockage des modèles, ainsi que le DevOps nécessaire pour faire évoluer la solution.
- Le vérificateur d'hallucination exécute l'IA contradictoire pour exécuter la sortie du LLM afin de valider sa véracité.
- Application Performance Monitoring suit le contrat de niveau de service sur les performances.
- La journalisation et l'audit permettent de suivre la façon dont la solution Generative AI est utilisée pour observer le système et identifier les problèmes potentiels.
- La passerelle d'API permet un accès contrôlé à la pile AI.
- Les stratégies sont gérées de manière centralisée pour gérer l'accès à la pile de LLM.
- WAF protège l'environnement contre les vecteurs d'attaque potentiels.
- Les jetons d'accès et le contrôle sont gérés avec OCI Identity and Access Management.
L'architecture comprend les composants suivants :
- Agents OCI Generative AI
Les agents OCI Generative AI sont un service entièrement géré qui combine la puissance des grands modèles de langage (LLM) avec un système d'extraction intelligent pour créer des réponses contextuellement pertinentes en effectuant une recherche dans votre base de connaissances. rendre vos applications d'IA intelligentes et efficaces. Les agents OCI Generative AI prennent en charge plusieurs façons d'intégrer vos données, puis vous permettent, à vous et à vos clients, d'interagir avec vos données à l'aide d'une interface de discussion ou d'une API.
- Intelligence artificielle générative
Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un ensemble de grands modèles de langage de pointe et personnalisables couvrant un large éventail de cas d'emploi pour la génération de texte, la synthèse, la recherche sémantique, etc. Utilisez le playground de test pour essayer les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés affinés en fonction de vos propres données sur des clusters d'AI dédiés.
- Intégration
Oracle Integration est un environnement entièrement géré et préconfiguré qui permet d'intégrer des applications cloud et sur site, d'automatiser les processus métier et de développer des applications visuelles. Il utilise un serveur de fichiers compatible SFTP pour stocker et extraire des fichiers et vous permet d'échanger des documents avec des partenaires commerciaux interentreprises en utilisant un portefeuille de centaines d'adaptateurs et de recettes pour vous connecter à Oracle et à des applications tierces.
- API Gateway
Oracle Cloud Infrastructure API Gateway vous permet de publier des API avec des adresses privées accessibles à partir de votre réseau. Vous pouvez les rendre visibles sur le réseau Internet public si nécessaire. Les adresses prennent en charge la validation d'API, la transformation des demandes et des réponses, CORS, l'authentification et l'autorisation, ainsi que la limitation des demandes.
- OCI Data Integration
Oracle Cloud Infrastructure Data Integration est un service cloud natif, sans serveur et entièrement géré qui extrait, charge, transforme, nettoie et remodèle des données de diverses sources de données vers des services Oracle Cloud Infrastructure cible, tels qu'Autonomous Data Warehouse et Oracle Cloud Infrastructure Object Storage. L'ETL (extract transform load) tire parti du traitement évolutif entièrement géré sur Spark, et l'ELT (extract load transform) tire parti des fonctionnalités complètes de propagation SQL d'Autonomous Data Warehouse afin de minimiser le déplacement de données et d'améliorer le délai de rentabilisation des données nouvellement ingérées. Les utilisateurs conçoivent les processus d'intégration des données à l'aide d'une interface utilisateur intuitive et sans code qui optimise les flux d'intégration pour générer le moteur et l'orchestration les plus efficaces, en allouant et en redimensionnant automatiquement l'environnement d'exécution. Oracle Cloud Infrastructure Data Integration fournit une exploration interactive et une préparation des données, et aide les ingénieurs de données à se protéger contre les dérives de schéma en définissant des règles pour gérer les modifications de schéma.
- Oracle Exadata Database Service
Oracle Exadata Database Service vous permet de tirer parti de la puissance d'Exadata dans le cloud. Oracle Exadata Database Service offre des fonctionnalités Oracle Database éprouvées sur une infrastructure Oracle Exadata optimisée et spécialement conçue dans le cloud public et sur Cloud@Customer. L'automatisation cloud intégrée, l'évolutivité élastique des ressources, la sécurité et les performances rapides de toutes les charges de travail Oracle Database vous aident à simplifier la gestion et à réduire les coûts.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) est le plan de contrôle d'accès pour Oracle Cloud Infrastructure (OCI) et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources au sein du domaine d'identité. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.
Recommandations
- Oracle Cloud Infrastructure + IA générativeL'IA générative peut stimuler l'innovation, améliorer les processus et aider les entreprises à accomplir plus que jamais, mais elle nécessite la bonne approche. Oracle continue de mettre le meilleur de l'IA à la disposition des entreprises du monde entier, avec un accent unique sur les modèles à hautes performances, l'intégration de l'IA générative dans toute la pile, ainsi que la gestion des données, la sécurité et la confidentialité. En intégrant l'IA dans l'ensemble de la pile technologique - de l'infrastructure sur laquelle les entreprises s'exécutent aux applications pour chaque secteur d'activité, de la finance à la supply chain et aux RH - Oracle aide les entreprises à utiliser l'IA de manière pragmatique pour améliorer les performances tout en économisant du temps, de l'énergie et des ressources :
- Notre infrastructure cloud centrale comprend désormais une couche d'infrastructure d'IA unique basée sur notre technologie Supercluster, tirant parti du matériel le plus récent et le plus performant, y compris les GPU haute performance, qui sont essentiels pour entraîner et déployer efficacement des modèles d'IA, en particulier pour les scénarios exigeants en calcul tels que le traitement du langage volumineux (LLP). Cette infrastructure est conçue de manière unique pour optimiser les capacités des technologies d'IA et de GPU, garantissant des performances et une évolutivité optimales pour les charges de travail d'IA d'entreprise.
- En plus de cette infrastructure, notre couche de base de données intègre l'IA dans nos produits tels qu'Oracle Autonomous Database et Oracle MySQL HeatWave avec AutoML (construit dans le machine learning), afin de permettre aux développeurs d'ajouter des modèles prédéfinis aux applications et aux opérations sans être experts en technologies telles que le machine learning.
- Notre plate-forme de développement d'applications fournit des services d'IA tels qu'Oracle Digital Assistant pour le traitement du langage naturel (NLP).
- En outre, la large gamme d'applications sectorielles d'Oracle intègre des modèles d'IA formés pour relever les défis spécifiques des secteurs allant des soins de santé et des services financiers à la vente au détail, à la fabrication et au secteur public. Cela nous place dans une position unique pour aider nos clients à optimiser leurs workloads afin de résoudre les défis les plus complexes et stratégiques.
- Intégration LangChain
Vous pouvez ajouter OCI Generative AI à une implémentation basée sur LangChain avec les fonctionnalités suivantes :
- Open source : structure open source permettant de créer ou d'orchestrer des applications basées sur un LLM.
- Définir des modèles et des invites de LLM : utilisez les modèles de LLM préférés et définissez des invites contextuelles.
- Bibliothèques d'index : configurez une architecture RAG avec des bibliothèques prêtes à l'emploi pour le fractionnement de texte, la conversation 2 SQL, etc.
- Chaînes, agents et mémoire : configurez des workflows de LLM plus complexes avec des chaînes et des agents et utilisez l'historique des conversations pour définir plus de contexte.
Points à prendre en compte
Lorsque vous implémentez cette architecture de référence, tenez compte de ces options.
- Cas d'utilisation de l'IA générative dans les fonctions métier
Vous pouvez envisager l'utilisation des fonctionnalités d'IA générative dans différentes fonctions métier, comme décrit dans certains des exemples suivants :
Opérations client- Service client automatisé basé sur la suite de produits, l'expérience et le langage du client.
- Scripts d'appel IA en temps réel basés sur l'historique des conversations et le contexte de l'appelant.
- Commentaires de l'agent de post-appel sur les performances des appels, moyens d'optimiser les appels futurs.
Marketing
- Génération de contenu pour le commerce électronique (descriptions de produits), B2B (articles optimisés pour le référencement) dans la voix de la marque.
- Personnalisation en masse de la recherche, de la sensibilisation et de l'accompagnement des clients en fonction du profil de l'acheteur et de l'historique d'utilisation.
- Synthèse, regroupement de données client non structurées pour identifier les nouvelles tendances et les nouveaux personas.
Ventes
- Portée commerciale personnalisée basée sur l'historique des interactions et le profil du prospect pour libérer du temps pour les commerciaux.
- Représentants commerciaux virtuels qui guident les prospects, des offres à la vente.
- Génération personnalisée de pitch de vente pour les nouveaux clients en fonction du contenu existant.
Product Development
- Analyse, nettoyage et étiquetage d'importants volumes de données, tels que les commentaires des utilisateurs, les tendances du marché et les journaux.
- Codage et remplissage automatique des API pour accélérer le développement, la refactorisation et l'intégration des systèmes.
- Tester l'automatisation via la création de données synthétiques et la compilation de données de journal.
Stratégie et finance
- Synthèse de données non structurées provenant d'appels de gains, de rapports d'analystes et d'autres sources.
- Automatisation de processus complexes et complexes tels que les dépenses.
- Surveillance à grande échelle des concurrents et des clients, à travers des sources publiques ou privées.
- Recherche et stockage de vecteurs d'IA : Oracle Database 23ai et Oracle MySQL HeatWaveLes vecteurs sont utilisés pour représenter le contenu sémantique d'images, de documents, de vidéos, etc.
- La base de données convergée vous permet d'utiliser à la fois des données métier et des vecteurs pour répondre à une question.
- Il n'est pas nécessaire de déplacer et de synchroniser les données, de gérer plusieurs produits, etc.