Créez une pile générative d'IA au niveau de l'entreprise sur Oracle Cloud Infrastructure

La création d'une pile d'IA générative de bout en bout sur Oracle Cloud Infrastructure (OCI) nécessite une approche multicouche pour l'intégration de l'intelligence artificielle dans les systèmes d'entreprise.

L'objectif est de simplifier le développement d'applications, d'assurer une intégration robuste des données et d'améliorer les mesures de sécurité à différents niveaux. Il facilite le déploiement de modèles d'IA, gère efficacement les données des clients et intègre une journalisation et une surveillance avancées pour maintenir un rendement et une fiabilité élevés. Cette architecture de référence traite également des différents composants nécessaires et de la manière dont les différents LLM peuvent être orchestrés pour fonctionner ensemble en fonction de la réponse requise.

Architecture

Cette architecture de référence décrit une pile d'IA à quatre couches et tous les différents composants nécessaires pour mettre en œuvre une solution d'IA générative de qualité entreprise dans un contexte d'entreprise.

1. Couche d'application
2. Couche d'accès
3. Journalisation et surveillance dans l'ensemble de la solution
4. Couche d'intelligence artificielle composée des cinq modules suivants :
   • Intégration d'intelligence artificielle
   • LLM
   • Développement de l'IA
   • Service d'intégration de données
   • Contexte et catalogue de données

Le flux hypothétique considéré pour cette architecture de référence est décrit dans la section suivante :

1. Une demande sera envoyée de l'application à l'API et à la couche d'accès.
2. La couche est protégée par le service WAF et l'authentification de la demande est vérifiée à l'aide du service de gestion des identités et des accès pour OCI et des politiques d'autorisation.
3. La passerelle d'API transmet ensuite la demande à la couche d'intégration, cette couche comprend LangChain, qui est utilisé pour l'abstraction et l'orchestration de l'IA. Cette couche inclut également le référentiel d'invites qui ont été mis sur liste blanche et mappés avec l'autorisation appropriée et la version du modèle LLM.
4. La demande est envoyée au LLM correspondant à la classe de demande et à l'invite.
5. L'historique du contexte et du consommateur est chargé à partir de la base de données contextuelle.
6. L'emplacement de toutes les données à enrichir est accessible à partir du catalogue de données.
7. Supposons que certaines données sont encore manquantes. La couche d'intégration des données vérifiera d'abord si les données ont été mises en mémoire cache et, dans le cas contraire, si elles sont interrogées à partir des données du client.
8. LLM répondra par l'intégration.
9. La réponse passera par le vérificateur d'hallucination, le vérificateur d'hallucination exécutera ensuite l'IA contradictoire pour valider si la réponse est significative.
10. Enfin, il retourne à l'application par la passerelle d'API.

Le diagramme suivant illustre cette architecture de référence.

Description de l'illustration oci-genai-enterprise-arch.png

oci-genai-enterprise-arch-oracle.zip

Passons en revue les blocs de construction qui composent chaque couche de blocs :

Couche d'intelligence artificielle

1. Mélangez et associez les LLM dans le module LLM avec chaque LLM utilisé pour la zone pour laquelle il convient le mieux.
2. Le contexte doit être tenu à jour par client et dans différentes conversations. Le catalogue de données aide les différents LLM à savoir où trouver les données requises.
3. La couche d'intégration de données accède aux données des clients et les fournit rapidement à l'IA, ce qui comprend la mise en mémoire cache des données requise ainsi que l'intégration.
4. Le module d'intégration de l'IA tient à jour les invites Repo, LangChain pour les LLM abstraits et Oracle Integration pour l'intégration.
5. La couche de développement de l'IA permet le contrôle des versions et le stockage des modèles, ainsi que le DevOps nécessaire pour faire évoluer la solution.

Couche de journalisation et de surveillance

1. Le vérificateur d'hallucination exécute l'IA contradictoire pour exécuter la sortie de la LLM pour valider sa véracité.
2. Application Performance Monitoring assure le suivi du CNS de performance.
3. La journalisation et l'audit suivent la façon dont la solution d'IA générative est utilisée pour observer le système et identifier les problèmes potentiels.

Couche d'API et d'accès

1. La passerelle d'API permet un accès contrôlé à la pile d'IA.
2. Les stratégies sont gérées de manière centralisée pour gérer l'accès à la pile LLM.
3. Le service WAF protège l'environnement des vecteurs d'attaque potentiels.
4. Les jetons d'accès et le contrôle sont gérés avec le service de gestion des identités et des accès pour OCI.

L'architecture comprend les composants suivants :

• Agents d'intelligence artificielle générative OCI

  OCI Generative AI Agents est un service entièrement géré qui combine la puissance des modèles linguistiques volumineux (LLM) à un système d'extraction intelligent pour créer des réponses pertinentes au contexte en recherchant dans votre base de connaissances. rendre vos applications d'IA intelligentes et efficient.OCI Les agents d'IA génératifs prennent en charge plusieurs façons d'intégrer vos données, puis vous permettent, à vous et à vos clients, d'interagir avec vos données à l'aide d'une interface de clavardage ou d'une API.

• Intelligence artificielle générative

  Oracle Cloud Infrastructure Generative AI est un service OCI entièrement géré qui fournit un jeu de grands modèles de langage (LLM) de pointe et personnalisables, qui couvrent un large éventail de cas d'utilisation pour la génération de texte, la récapitulation, la recherche sémantique, et plus encore. Utilisez le terrain de jeu pour tester les modèles préentraînés prêts à l'emploi, ou créez et hébergez vos propres modèles personnalisés réglés avec précision à l'aide de vos données dans des grappes dédiées à l'IA.

• Intégration

  Oracle Integration est un environnement préconfiguré entièrement géré qui permet d'intégrer des applications en nuage et sur place, d'automatiser des processus d'affaires et de développer des applications visuelles. Il utilise un serveur de fichiers conforme à SFTP pour stocker et extraire des fichiers et vous permet d'échanger des documents avec des partenaires commerciaux interentreprises en utilisant un portefeuille de centaines d'adaptateurs et de recettes pour vous connecter à des applications Oracle et tierces.

• Passerelle d'API

  Oracle Cloud Infrastructure API Gateway vous permet de publier des API avec des points d'extrémité privés qui sont accessibles à partir de votre réseau, et que vous pouvez exposer à l'Internet public si nécessaire. Les points d'extrémité prennent en charge la validation, la transformation des demandes et des réponses, la spécification CORS, l'authentification et l'autorisation, ainsi que la limitation des demandes pour les API.

• Intégration de données OCI

  Oracle Cloud Infrastructure Data Integration est un service en nuage natif entièrement géré, sans serveur qui extrait, charge, transforme, nettoie et remodèle des données provenant de diverses sources de données en services Oracle Cloud Infrastructure cibles, tels que Autonomous Data Warehouse et Oracle Cloud Infrastructure Object Storage. L'outil d'extraction, de transformation et de chargement (ETL) tire parti du traitement évolutif entièrement géré sur Spark, et l'outil ELT (extract load transform) tire parti des capacités de poussée vers le bas SQL complètes d'Autonomous Data Warehouse afin de minimiser le déplacement des données et d'améliorer le délai de rentabilité des données nouvellement ingérées. Les utilisateurs conçoivent des processus d'intégration de données à l'aide d'une interface utilisateur intuitive et sans code qui optimise les flux d'intégration pour générer le moteur et l'orchestration les plus efficaces, en allouant et en adaptant automatiquement l'environnement d'exécution. Oracle Cloud Infrastructure Data Integration procure une exploration interactive et une préparation des données, et aide les ingénieurs de données à se protéger contre la dérive de schéma en définissant des règles pour gérer les modifications de schéma.

• Service Oracle Exadata Database

  Oracle Exadata Database Service vous permet de tirer parti de la puissance d'Exadata dans le nuage. Oracle Exadata Database Service offre des capacités éprouvées d'Oracle Database sur une infrastructure Oracle Exadata optimisée et spécialement conçue dans le nuage public et sur Cloud@Customer. Automatisation en nuage intégrée, évolutivité souple des ressources, sécurité et performance rapide pour toutes les charges de travail Oracle Database vous aident à simplifier la gestion et à réduire les coûts.

• Service de gestion des identités et des accès (GIA)

  Oracle Cloud Infrastructure Identity and Access Management (IAM) est le plan de contrôle d'accès pour Oracle Cloud Infrastructure (OCI) et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources du domaine d'identité. Chaque domaine d'identité IAM OCI représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.

Recommandations

Utilisez les recommandations suivantes comme point de départ. Vos exigences peuvent différer de l'architecture décrite ici.

• Oracle Cloud Infrastructure + IA générative
  L'IA générative peut stimuler l'innovation, améliorer les processus et aider les entreprises à accomplir plus que jamais, mais elle nécessite la bonne approche. Oracle continue de mettre à la disposition des entreprises du monde entier le meilleur de l'IA, en mettant l'accent sur des modèles à haut rendement, en intégrant l'IA générative dans toute la pile, ainsi que sur la gestion, la sécurité et la confidentialité des données. En intégrant l'IA dans l'ensemble de la pile technologique, de l'infrastructure sur laquelle les entreprises s'exécutent jusqu'aux applications pour chaque secteur d'activité, des finances à la chaîne d'approvisionnement en passant par les RH, Oracle aide les entreprises à utiliser l'IA de manière pragmatique pour améliorer le rendement tout en économisant du temps, de l'énergie et des ressources :

  • Notre infrastructure infonuagique de base comprend maintenant une couche d'infrastructure d'IA unique basée sur notre technologie Supercluster, tirant parti du matériel le plus récent et le plus performant, y compris les processeurs graphiques haute performance, qui sont essentiels pour former et déployer efficacement des modèles d'IA, en particulier pour les scénarios intensifs en calcul tels que le traitement du langage volumineux (LLP). Cette infrastructure est conçue de manière unique pour maximiser les capacités des technologies d'IA et de GPU, assurant une performance et une extensibilité optimales pour les charges de travail d'IA d'entreprise.
  • En plus de cette infrastructure, notre couche de base de données intègre l'IA dans nos produits, comme Oracle Autonomous Database et Oracle MySQL HeatWave avec AutoML (intégrée dans l'apprentissage automatique), pour permettre aux développeurs d'ajouter des modèles prédéfinis aux applications et aux opérations sans être experts en technologies, comme l'apprentissage automatique.
  • Notre plateforme de développement d'applications offre des services d'IA, comme Oracle Digital Assistant pour le traitement du langage naturel (TLN).
  • De plus, la vaste gamme d'applications sectorielles d'Oracle intègre des modèles d'intelligence artificielle qui sont formés pour relever les défis spécifiques de secteurs allant des soins de santé et des services financiers au commerce de détail, à la fabrication et au secteur public. Cela nous place dans une position unique pour aider nos clients à optimiser les charges de travail afin de résoudre les défis les plus complexes et stratégiques.
• Intégration à LangChain

  Vous pouvez ajouter l'IA générative OCI à une mise en oeuvre basée sur LangChain avec les fonctions suivantes :

  • Source ouverte : Cadre à code source libre pour vous aider à créer ou à orchestrer des applications basées sur un LLM.
  • Définir des modèles et des invites LLM : Utilisez les modèles LLM préférés et définissez des invites en contexte.
  • Bibliothèques d'index : Configurez une architecture RAG avec des bibliothèques prêtes à l'emploi pour le fractionnement de texte, le SQL de conversation 2, etc.
  • Chaînes, agents et mémoire : Configurez des flux de travail LLM plus complexes avec des chaînes et des agents et utilisez l'historique de conversation pour définir plus de contexte.

Points à considérer

Lorsque vous implémentez cette architecture de référence, tenez compte de ces options.

• Cas d'utilisation génératifs de l'IA dans l'ensemble des fonctions d'affaires

  Vous pouvez envisager l'utilisation de fonctionnalités d'IA générative dans différentes fonctions métier, comme décrit dans certains des exemples suivants :

  Opérations du client

  • Service à la clientèle automatisé basé sur la suite de produits, l'expérience et la langue du client.
  • Scripts d'appel IA en temps réel basés sur l'historique de conversation et le contexte de l'appelant.
  • Publier la rétroaction de l'agent d'appel sur le rendement des appels, des façons d'optimiser les appels futurs.

  Marketing

  • Génération de contenu pour le commerce électronique (descriptions de produits), B2B (articles optimisés pour le référencement) en voix de marque.
  • Personnalisation en masse de la recherche, du rayonnement, de l'accompagnement des clients en fonction du profil de l'acheteur et de l'historique d'utilisation.
  • Synthèse, regroupement de données clients non structurées pour identifier de nouvelles tendances et de nouvelles personnalités.

  Sales

  • Communication personnalisée basée sur l'historique des interactions et le profil du prospect afin de libérer du temps aux représentants.
  • Représentants des ventes virtuels qui guident les prospects d'une offre à une vente.
  • Génération de pitch de vente personnalisé pour les nouveaux clients en fonction du contenu existant.

  Product Development

  • Analyse, nettoyage et étiquetage de grands volumes de données, tels que les commentaires des utilisateurs, les tendances du marché, les journaux.
  • Codage et exécution automatique d'API pour accélérer le développement, la refactorisation et l'intégration de systèmes.
  • Tester l'automatisation grâce à la création de données synthétiques et à la compilation de données de journal.

  Stratégie et finances

  • Synthèse de données non structurées provenant d'appels de gains, de rapports d'analystes et d'autres sources.
  • Automatisation de processus complexes et contextuels lourds tels que les dépenses.
  • Surveillance à grande échelle des concurrents et des clients, de sources publiques ou privées.
• Recherche et magasin de vecteurs d'intelligence artificielle : Oracle Database 23ai et Oracle MySQL HeatWave
  Les vecteurs sont utilisés pour représenter le contenu sémantique des images, des documents, des vidéos, etc.

  • La base de données convergée vous permet d'utiliser à la fois des données d'affaires et des vecteurs lorsque vous répondez à une question.
  • Il n'est pas nécessaire de déplacer et de synchroniser des données, de gérer plusieurs produits, etc.

Informations complémentaires

Consultez ces ressources supplémentaires pour en savoir plus sur les fonctions de cette architecture de référence.

• Agents d'intelligence artificielle générative OCI
• Documentation sur les agents d'intelligence artificielle générative OCI
• Blogue : Annonce du service RAG des agents d'IA génératifs OCI
• Centre de solutions d'IA
• Documentation sur Oracle Cloud Infrastructure
• Cadre bien conçu pour Oracle Cloud Infrastructure
• Estimateur de coûts d'Oracle Cloud

Confirmation

• Auteur : Badr Tharwat