Déployer un modèle OwnGPT évolutif sur Oracle Cloud Infrastructure pour les charges de travail ERP

Le déploiement de OwnGPT sur Oracle Cloud Infrastructure (OCI) a permis d'accélérer le développement de modèles, d'améliorer la productivité et de générer un rendement du capital investi (RCI) élevé.

L'objectif de cette architecture de référence était de permettre aux utilisateurs et aux conseillers fonctionnels d'interagir avec les données de planification des ressources d'entreprise (ERP) en utilisant le langage naturel au moyen de OwnGPT, un modèle d'IA formé par domaine déployé sur OCI, initialement axé sur Oracle E-Business Suite R12 (modules Comptes fournisseurs et Comptes clients), avec une extensibilité à d'autres modules et plateformes ERP.

Notre déploiement initial a utilisé des processeurs graphiques Tensor Core A10, ce qui nous a permis d'accélérer l'entraînement et l'inférence des modèles. L'intégration d'Oracle HeatWave MySQL a encore amélioré la performance de la base de données, tandis que le service Stockage d'objets pour OCI a assuré une gestion des données sécurisée et efficace. L'utilisation d'Oracle E-Business Suite Vision en tant que source de données principale a permis à OwnGPT de traiter efficacement les données d'entreprise structurées.

Le déploiement de OwnGPT sur les instances de processeur graphique d'OCI a mis en évidence le rôle essentiel de l'infrastructure pour favoriser l'innovation en matière d'IA. La flexibilité d'OCI dans le déploiement de processeurs graphiques dans les environnements sans système d'exploitation et de machine virtuelle a permis d'effectuer des configurations personnalisées pour répondre aux besoins d'affaires en constante évolution. De plus, le réseau RDMA d'Oracle a accéléré l'entraînement des modèles distribués, tandis que le bloc OCI et le stockage d'objets OCI fournissaient une gestion des données évolutive pour les jeux de données volumineux.

Architecture

Il s'agit d'un déploiement OCI de production d'une solution ERP alimentée par intelligence artificielle (OwnGPT), conçue pour une résolution des interrogations sécurisée, évolutive et modulaire basée sur l'intelligence artificielle. Il intègre Oracle E-Business Suite (ERP) à des composants tels que Airflow, Oracle Base Database Service, GPU Compute pour GPT et Stockage tout en se connectant en toute sécurité aux utilisateurs sur place et aux services OCI.

Principaux avantages de cette architecture :
  • Prêt pour l'IA (propulsé par GPU) pour les charges de travail LLM
  • La conception modulaire et en couches sépare l'équilibrage de charge, l'application et la logique d'IA
  • Intégré à ERP et étroitement lié à Oracle Oracle E-Business Suite et prêt pour les analyses des comptes fournisseurs et des comptes clients
  • Sécurisé et évolutif avec les caractéristiques de sécurité WAF, IAM, NAT Gateway et OCI-native
  • Haute disponibilité et utilise des domaines d'erreur pour vous protéger contre les pannes matérielles

Le diagramme suivant illustre cette architecture de référence.


Description d'oci-owngpt-erp.png
Description de l'illustration oci-owngpt-erp.png

oci-owngpt-erp-oracle.zip

Les groupes d'utilisateurs sont des utilisateurs internes ou des analystes d'affaires qui accèdent à l'application via le Web ou VPN. La passerelle Internet fournit un accès à l'environnement OCI à partir de réseaux externes (par exemple, un accès au navigateur Web pour les employés). Toutes les ressources existent dans un compartiment appelé OWNTESTHUB et sont réparties sur trois domaines d'erreur pour assurer la haute disponibilité. L'ensemble de l'architecture est construit à l'intérieur d'un réseau virtuel sécurisé. Le service Oracle Cloud Infrastructure Web Application Firewall (WAF) protège des menaces telles que l'injection SQL, DDoS, etc.

L'équilibreur de charge répartit le trafic entrant entre le Web dorsal et les serveurs d'API pour offrir évolutivité et disponibilité. API WEB (VM.Standard.E5). Flex) héberge l'élément frontal et les API REST pour l'application OwnGPT. AÉROFLÉ (VM.Standard.E5). Flex) gère l'orchestration des tâches, la planification des tâches (par exemple, l'entraînement de modèle ou l'ETC). OWNGPT (VM.GPU.A10.2) dispose d'une machine virtuelle accélérée par GPU qui exécute le modèle OwnGPT, ce qui est idéal pour l'inférence d'IA en temps réel.

Oracle Autonomous Data Warehouse stocke les données structurées liées à ERP (modules AP, AR) pour une interrogation rapide. APP Oracle E-Business Suite (VM.Standard.E5). Flex) utilise des services dorsaux pour Oracle E-Business Suite (exécutant probablement des connecteurs ou un intergiciel). Le service Stockage de fichiers OCI fournit un stockage partagé, utile pour les DAG Airflow, les artefacts d'application ou les journaux.

Le service de gestion des identités et des accès pour OCI contrôle les rôles d'utilisateur, les politiques et l'authentification sécurisée. Service Gateway se connecte aux services OCI tels que OCI Object Storage sans passer par Internet. Le service Stockage d'objets pour OCI est utilisé pour stocker des points de vérification de modèle, des jeux de données d'entraînement, des journaux ou des archives. La passerelle NAT permet aux machines virtuelles de sous-réseau privées de lancer le trafic Internet sortant en toute sécurité. Le modèle de génération de réponse extrait les données pertinentes, interprète context et génère une réponse lisible par l'homme sans nécessiter la génération manuelle de rapports.

Cette architecture comprend les composants suivants :
  • Oracle E-Business Suite

    Oracle E-Business Suite comprend un ensemble de produits (gestion du capital humain, order management, approvisionnement et logistique) qui prend en charge l'évolution des modèles d'affaires, améliore la productivité et répond aux demandes de l'utilisateur mobile moderne.

    Vous pouvez provisionner Oracle E-Business Suite sur Oracle Cloud Infrastructure ou migrer les environnements Oracle E-Business Suite de leur centre de données vers Oracle Cloud Infrastructure, créant ainsi une topologie à hôtes multiples, sécurisée et à haute disponibilité.

  • Base de données Oracle Autonomous Data Warehouse

    Oracle Autonomous Data Warehouse est un service de base de données entièrement géré, autosécurisé et autoréparable qui est optimisé pour les charges de travail d'entreposage de données. Il n'est pas nécessaire de configurer ou de gérer du matériel ni d'installer des logiciels. Oracle Cloud Infrastructure gère la création, la sauvegarde, l'application de correctifs, la mise à niveau et le réglage de la base de données.

  • Service de stockage d'objets pour OCI

    Le service de stockage d'objets pour OCI donne accès à de grandes quantités de données structurées et non structurées de tous types, notamment des sauvegardes de base de données, des données analytiques et du contenu enrichi, comme des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir d'applications ou de la plate-forme en nuage. Vous pouvez adapter le stockage sans que la performance ou la fiabilité des services soit affectée.

    Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archives pour le stockage "à froid" que vous conservez pendant de longues périodes et auquel vous accédez rarement.

  • Stockage de fichiers

    Le service de stockage de fichiers pour Oracle Cloud Infrastructure fournit un système de fichiers de réseau durable, évolutif, sécurisé et adapté à l'entreprise. Vous pouvez vous connecter au stockage de fichiers OCI à partir de n'importe quelle instance sans système d'exploitation, de machine virtuelle ou de conteneur dans un VCN. Vous pouvez également accéder au service Stockage de fichiers OCI à partir de l'extérieur du VCN à l'aide d'Oracle Cloud Infrastructure FastConnect et du RPV IPSec.

  • Gestion des identités et des accès

    Le service Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit un contrôle d'accès utilisateur pour OCI et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.

Recommandations

Utilisez les recommandations suivantes comme point de départ. Vos exigences peuvent différer de l'architecture décrite ici.
  • VCN

    Lorsque vous créez un VCN, déterminez le nombre de blocs CIDR requis et la taille de chaque bloc en fonction du nombre de ressources que vous prévoyez d'attacher aux sous-réseaux du VCN. Utilisez des blocs CIDR qui se trouvent dans l'espace d'adresses IP privées standard.

    Sélectionnez les blocs CIDR qui ne chevauchent aucun autre réseau (dans Oracle Cloud Infrastructure, votre centre de données sur place ou un autre fournisseur de services infonuagiques) auquel vous avez l'intention de configurer des connexions privées.

    Après avoir créé un VCN, vous pouvez modifier, ajouter et supprimer ses blocs CIDR.

    Lorsque vous concevez les sous-réseaux, tenez compte du flux de trafic et des exigences de sécurité. Attachez toutes les ressources d'un niveau ou d'un rôle spécifique au même sous-réseau, ce qui peut servir de limite de sécurité.

Points à considérer

Lorsque vous implémentez cette architecture de référence, examinez ces options.

  • Traitement de l'IA

    OwnGPT traite l'interrogation à l'aide d'un context entraîné à partir de modules AP et AR.

  • Transmission de sortie

    La réponse est retournée en temps réel ou en temps quasi réel via l'interface utilisateur ou l'interface de clavardage.

  • Mesures techniques
    • Temps de réponse : Moyenne 1,2 secondes, 95e centile 2,5 secondes, requêtes complexes 3,7 secondes max.
    • Débit : Pic de 120 utilisateurs concurrents, 500 interrogations par minute, taux de réussite d'API de 99,97 %.
    • Utilisation des ressources : UC moyenne de 42 % (78 % de pointe), mémoire 4.2GB (7.1GB max), efficacité de stockage de 12 Mo par société pour les données vectorielles.
    • Évolutivité : Mise à l'échelle linéaire jusqu'à 50 entreprises, performance stable avec plus de 100 000 morceaux de documents, plus de 25 connexions simultanées.
  • Incidence sur les affaires
    • Productivité : réduction de 68 % du temps de recherche, réduction de 42 % des requêtes techniques répétées, économie de 3,5 heures par employé chaque semaine.
    • Précision : 92% sur des questions spécifiques à l'entreprise, 87% sur des questions techniques, 95% sur l'identification de la source.
    • Satisfaction de l'utilisateur : note 4.7/5, adoption de 94% chez les employés admissibles, réduction de 76% des billets de soutien.
    • RCI : Même en 4,2 mois, RCI de 327 % sur 12 mois, des économies annuelles estimées à 142 000 $ pour les déploiements de taille moyenne.

Informations complémentaires

Consultez ces ressources supplémentaires pour en savoir plus sur les fonctions de cette architecture de référence.

Remerciements

  • Auteur : Deepak Soni