Déployer un modèle OwnGPT évolutif sur Oracle Cloud Infrastructure pour les charges de travail ERP

Le déploiement de OwnGPT sur Oracle Cloud Infrastructure (OCI) a permis d'accélérer le développement des modèles, d'améliorer la productivité et de générer un retour sur investissement (ROI).

L'objectif de cette architecture de référence était de permettre aux utilisateurs et aux consultants fonctionnels d'interagir avec les données Enterprise Resource Planning (ERP) en langage naturel via OwnGPT, un modèle d'IA entraîné par domaine déployé sur OCI, initialement axé sur Oracle E-Business Suite R12 (modules Comptabilité fournisseurs et Comptabilité clients), avec une extensibilité vers d'autres modules et plates-formes ERP.

Notre déploiement initial a utilisé les GPU Tensor Core A10, ce qui a permis d'accélérer l'entraînement et l'inférence des modèles. L'intégration d'Oracle HeatWave MySQL a amélioré les performances de la base de données, tandis qu'OCI Object Storage a assuré une gestion des données sécurisée et efficace. L'utilisation d'Oracle E-Business Suite Vision en tant que source de données principale a permis à OwnGPT de traiter efficacement les données d'entreprise structurées.

Le déploiement de OwnGPT sur les instances de GPU d'OCI a mis en évidence le rôle essentiel de l'infrastructure dans la promotion de l'innovation en matière d'IA. La flexibilité d'OCI dans le déploiement de GPU dans les environnements Bare Metal et de machine virtuelle a permis de créer des configurations sur mesure pour répondre à l'évolution des besoins de l'entreprise. En outre, la mise en réseau RDMA (Remote Direct Memory Access) à faible latence d'Oracle a accéléré l'entraînement des modèles distribués, tandis qu'OCI Block et OCI Object Storage ont fourni une gestion des données évolutive pour les ensembles de données volumineux.

Architecture

Il s'agit d'un déploiement OCI prêt pour la production d'une solution ERP basée sur l'IA (OwnGPT), conçue pour une résolution de requêtes sécurisée, évolutive et modulaire basée sur l'IA. Il intègre Oracle E-Business Suite (ERP) à des composants tels que Airflow, Oracle Base Database Service, le calcul GPU pour GPT et le stockage tout en se connectant en toute sécurité aux utilisateurs sur site et aux services OCI.

Principaux avantages de cette architecture :
  • Compatible avec l'IA (GPU) pour les charges de travail LLM
  • La conception modulaire et en couches sépare l'équilibrage de charge, les applications et la logique d'IA
  • Intégré à l'ERP et étroitement lié à Oracle Oracle E-Business Suite et prêt à fournir des informations sur les comptes fournisseurs et les comptes clients
  • Sécurisé et évolutif avec les fonctionnalités de sécurité natives WAF, IAM, NAT Gateway et OCI
  • Haute disponibilité et utilisation de domaines de pannes pour la protection contre les pannes matérielles

Le schéma suivant illustre cette architecture de référence.


Description de l'image oci-owngpt-erp.png
description de l'illustration oci-owngpt-erp.png,

oci-owngpt-erp-oracle.zip

Les groupes d'utilisateurs sont des utilisateurs internes ou des analystes commerciaux qui accèdent à l'application via le Web ou le VPN. La passerelle Internet permet d'accéder à l'environnement OCI à partir de réseaux externes (par exemple, l'accès au navigateur Web des employés). Toutes les ressources existent dans un compartiment appelé OWNTESTHUB et sont réparties sur trois domaines de pannes à des fins de haute disponibilité. L'architecture entière est construite dans un réseau virtuel sécurisé. Oracle Cloud Infrastructure Web Application Firewall (WAF) protège contre les menaces telles que l'injection SQL, DDoS, etc.

L'équilibreur de charge distribue le trafic entrant sur le Web back-end et les serveurs d'API à des fins d'évolutivité et de disponibilité. API WEB (VM.Standard.E5. Flex) héberge les API front-end et REST pour l'application OwnGPT. AIRFLOW (VM.Standard.E5). Flex) gère l'orchestration des tâches, la planification des travaux (par exemple, entraînement de modèle ou ETL). OWNGPT (VM.GPU.A10.2) dispose d'une machine virtuelle accélérée par GPU qui exécute le modèle OwnGPT, idéal pour l'inférence d'IA en temps réel.

Oracle Autonomous Data Warehouse stocke les données structurées liées à l'ERP (modules AP, AR) pour une interrogation rapide. Application Oracle E-Business Suite (VM.Standard.E5). Flex) utilise les services back-end pour Oracle E-Business Suite (qui exécute probablement des connecteurs ou un middleware). OCI File Storage fournit un stockage partagé, utile pour les DAG Airflow, les artefacts d'application ou les journaux.

OCI Identity and Access Management contrôle les rôles utilisateur, les stratégies et l'authentification sécurisée. Service Gateway se connecte aux services OCI tels qu'OCI Object Storage sans passer par Internet. OCI Object Storage est utilisé pour stocker les points de reprise de modèle, les ensembles de données d'entraînement, les journaux ou les archives. La passerelle NAT permet aux machines virtuelles de sous-réseau privé d'initier le trafic Internet sortant en toute sécurité. Le modèle de génération de réponse extrait les données pertinentes, interprète le context et génère une réponse lisible par l'utilisateur sans générer de rapport manuel.

Cette architecture comporte les composants suivants :
  • Oracle E-Business Suite

    Oracle E-Business Suite comprises a set of products (human capital management, order management, procurement, and logistics) that supports evolving business models, drives productivity, and meets the demands of the modern mobile user.

    Vous pouvez provisionner Oracle E-Business Suite sur Oracle Cloud Infrastructure ou migrer les environnements Oracle E-Business Suite de leur centre de données vers Oracle Cloud Infrastructure, en créant une topologie multihôte, sécurisée et haute disponibilité.

  • Oracle Autonomous Data Warehouse

    Oracle Autonomous Data Warehouse est un service de base de données doté de fonctions d'autopilotage, d'autosécurisation et d'autoréparation, optimisé pour les charges de travail d'entreposage de données. Vous n'avez pas besoin de configurer ni de gérer un matériel, ni d'installer un logiciel. Oracle Cloud Infrastructure gère la création, la sauvegarde, l'application de patches, la mise à niveau et le réglage de la base de données.

  • OCI Object Storage

    OCI Object Storage fournit un accès à des quantités importantes de informations structurées et non, de tout type de contenu, y compris les sauvegardes de base de donnée, les données analytiques et le contenu enrichi tel que des images et des vidéos. Vous pouvez stocker des données en toute sécurité directement à partir des applications ou de la plate-forme cloud. Vous pouvez redimensionner le stockage sans dégradation des performances ni de la fiabilité de services.

    Utilisez le stockage standard pour le stockage "à chaud" auquel vous devez accéder rapidement, immédiatement et fréquemment. Utilisez le stockage d'archive pour le stockage "à froid" que vous conservez durant de longues périodes et auquel il est rare d'y accéder.

  • Stockage de fichier

    Oracle Cloud Infrastructure File Storage offre un système d'exploitation réseau durable, évolutif, sécurisé et approprié à l'entreprise. Vous pouvez vous connecter à OCI File Storage à partir de n'importe quelle instance Bare Metal, de machine virtuelle ou de conteneur dans un VCN. Vous pouvez également accéder à OCI File Storage en dehors du VCN à l'aide d'Oracle Cloud Infrastructure FastConnect et du VPN IPSec.

  • Gestion des identités et des informations

    Oracle Cloud Infrastructure Identity and Access Management (IAM) fournit un contrôle d'accès utilisateur pour OCI et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources qu'ils contiennent. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.

Recommandations

Utilisez les recommandations suivantes comme point de départ. Vos exigences peuvent différer de l'architecture décrite ici.
  • VCN

    Lorsque vous créez un VCN, déterminez le nombre de blocs CIDR requis et la taille de chaque bloc en fonction du nombre de ressources que vous prévoyez d'attacher aux sous-réseaux dans le VCN. Utilisez des blocs CIDR qui se trouvent dans l'espace d'adressage IP privé standard.

    Sélectionnez des blocs CIDR qui ne chevauchent aucun autre réseau (dans Oracle Cloud Infrastructure, votre centre de données sur site ou un autre fournisseur cloud) sur lequel vous prévoyez de configurer des connexions privées.

    Après avoir créé un VCN, vous pouvez modifier, ajouter et supprimer ses blocs CIDR.

    Lorsque vous concevez les sous-réseaux, tenez compte de vos exigences en matière de flux de trafic et de sécurité. Associez toutes les ressources d'un niveau ou d'un rôle spécifique au même sous-réseau, ce qui peut servir de limite de sécurité.

Points à prendre en compte

Lors de l'implémentation de cette architecture de référence, tenez compte de ces options.

  • Traitement IA

    OwnGPT traite la requête à l'aide d'un context entraîné à partir de modules AP et AR.

  • Livraison de sortie

    La réponse est renvoyée en temps réel ou quasiment en temps réel via l'interface utilisateur ou l'interface de discussion.

  • Métriques techniques
    • Temps de réponse : moyenne 1,2 secondes, 95e centile 2,5 secondes, requêtes complexes 3,7 secondes maximum.
    • Débit : pic de 120 utilisateurs simultanés, 500 requêtes par minute, taux de réussite de l'API de 99,97 %.
    • Utilisation des ressources : moyenne de 42 % de l'UC (78 % de pic), mémoire 4.2GB (7.1GB max), efficacité du stockage 12 Mo par entreprise pour les données vectorielles.
    • Evolutivité : mise à l'échelle linéaire jusqu'à 50 entreprises, performances stables avec plus de 100 000 blocs de documents, plus de 25 connexions simultanées.
  • Impact sur l'entreprise
    • Productivité : 68 % de réduction du temps de recherche, 42 % de demandes techniques répétées en moins, ce qui permet d'économiser 3,5 heures par employé chaque semaine.
    • Précision : 92 % pour les questions spécifiques à l'entreprise, 87 % pour les questions techniques, 95 % pour l'identification des sources.
    • Satisfaction des utilisateurs : note de 4,7/5, adoption de 94 % parmi les employés admissibles, réduction de 76 % des tickets d'assistance.
    • Retour sur investissement : Répartissez-vous en 4,2 mois, 327 % de retour sur investissement sur 12 mois, selon les estimations, 142 000 $ d'économies annuelles pour les déploiements de taille moyenne.

En savoir plus

Consultez ces ressources supplémentaires pour en savoir plus sur les fonctionnalités de cette architecture de référence.

Accusés de réception

  • Auteur : Deepak Soni