Skalierbares OwnGPT-Modell auf Oracle Cloud Infrastructure für ERP-Workloads bereitstellen

Das Deployment von OwnGPT auf Oracle Cloud Infrastructure (OCI) hat eine beschleunigte Modellentwicklung, eine verbesserte Produktivität und eine starke Kapitalrendite (ROI) gezeigt.

Ziel dieser Referenzarchitektur war es, Benutzern und funktionalen Beratern die Interaktion mit Enterprise Resource Planning-(ERP-)Daten in natürlicher Sprache über OwnGPT zu ermöglichen, ein auf OCI bereitgestelltes, domaintrainiertes KI-Modell, das sich zunächst auf Oracle E-Business Suite R12 (Module für Kreditoren- und Debitorenbuchhaltung) konzentrierte, mit Erweiterbarkeit für andere Module und ERP-Plattformen.

Unsere anfängliche Bereitstellung nutzte A10 Tensor Core-GPUs, die ein beschleunigtes Modelltraining und Inferenz bereitstellten. Durch die Integration von Oracle HeatWave MySQL wurde die Datenbankperformance weiter verbessert, während OCI Object Storage für ein sicheres und effizientes Datenmanagement sorgte. Durch die Nutzung von Oracle E-Business Suite Vision als primäre Datenquelle konnte OwnGPT strukturierte Unternehmensdaten effektiv verarbeiten.

Durch das Deployment von OwnGPT auf den GPU-Instanzen von OCI wurde die entscheidende Rolle der Infrastruktur bei der Förderung von KI-Innovationen hervorgehoben. Die Flexibilität von OCI bei der Bereitstellung von GPUs in Bare-Metal- und Virtual-Machine-Umgebungen ermöglichte maßgeschneiderte Konfigurationen, um die sich entwickelnden Geschäftsanforderungen zu erfüllen. Darüber hinaus beschleunigte das RDMA-(Remote Direct Memory Access-)Netzwerk (Remote Direct Memory Access) von Oracle das Training verteilter Modelle, während OCI Block und OCI Object Storage eine skalierbare Datenverwaltung für große Datasets bereitstellten.

Architektur

Dies ist eine produktionsfähige OCI-Bereitstellung einer KI-gestützten ERP-Lösung (OwnGPT), die für eine sichere, skalierbare und modulare KI-basierte Abfrageauflösung entwickelt wurde. Es integriert Oracle E-Business Suite (ERP) mit Komponenten wie Airflow, Oracle Base Database Service, GPU-Compute für GPT und Storage und stellt gleichzeitig eine sichere Verbindung zu On-Premises-Benutzern und OCI-Services her.

Hauptvorteile dieser Architektur:
  • KI-fähig (GPU-gestützt) für LLM-Workloads
  • Modulares und geschichtetes Design trennt Load Balancing, App und KI-Logik
  • ERP-integriert und eng mit Oracle Oracle E-Business Suite verknüpft und bereit für KR- und AR-Daten
  • Sicher und skalierbar mit WAF-, IAM-, NAT Gateway- und OCI-nativen Sicherheitsfunktionen
  • Hochverfügbar und verwendet Faultdomains zum Schutz vor Hardwarefehlern

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.


Beschreibung von oci-owngpt-erp.png folgt
Beschreibung der Abbildung oci-owngpt-erp.png

oci-owngpt-erp-oracle.zip

Benutzergruppen sind interne Benutzer oder Geschäftsanalysten, die über Web oder VPN auf die Anwendung zugreifen. Das Internetgateway ermöglicht den Zugriff auf die OCI-Umgebung über externe Netzwerke (z. B. den Webbrowserzugriff der Mitarbeiter). Alle Ressourcen sind in einem Compartment namens OWNTESTHUB vorhanden und für High Availability auf drei Faultdomains verteilt. Die gesamte Architektur ist in einem sicheren virtuellen Netzwerk aufgebaut. Oracle Cloud Infrastructure Web Application Firewall (WAF) schützt vor Bedrohungen wie SQL-Injection, DDoS usw.

Der Load Balancer verteilt eingehenden Traffic auf Backend-Web und API-Server, um Skalierbarkeit und Verfügbarkeit zu gewährleisten. WEB API (VM.Standard.E5. Flex) hostet das Frontend und die REST-APIs für die Anwendung OwnGPT. AIRFLOW (VM.Standard.E5) Flex) verwaltet Aufgabenorchestrierung, Planungsjobs (z.B. Modelltraining oder ETL). OWNGPT (VM.GPU.A10.2) verfügt über eine GPU-beschleunigte VM, die das OwnGPT-Modell ausführt, ideal für Echtzeit-KI-Inferenz.

Oracle Autonomous Data Warehouse speichert ERP-bezogene strukturierte Daten (AP-, AR-Module) für schnelle Abfragen. Oracle E-Business Suite-APP (VM.Standard.E5). Flex) verwendet Backend-Services für Oracle E-Business Suite (wahrscheinlich ausgeführte Connectors oder Middleware). OCI File Storage bietet Shared Storage, das für Airflow-DAGs, App-Artefakte oder Logs nützlich ist.

OCI Identity and Access Management kontrolliert Benutzerrollen, Policys und sichere Authentifizierung. Service Gateway stellt eine Verbindung zu OCI-Services wie OCI Object Storage her, ohne über das Internet zu wechseln. OCI Object Storage wird zum Speichern von Modellcheckpoints, Trainings-Datasets, Logs oder Archiven verwendet. Mit dem NAT-Gateway können private Subnetz-VMs ausgehenden Internetverkehr sicher initiieren. Das Response Generation Model extrahiert relevante Daten, interpretiert context und generiert eine menschenlesbare Antwort, ohne dass eine manuelle Berichtsgenerierung erforderlich ist.

Diese Architektur umfasst die folgenden Komponenten:
  • Oracle E-Business Suite

    Oracle E-Business Suite umfasst eine Reihe von Produkten (Human Capital Management, order management, Beschaffung und Logistik), die sich entwickelnde Geschäftsmodelle unterstützen, die Produktivität steigern und die Anforderungen moderner mobiler Benutzer erfüllen.

    Sie können Oracle E-Business Suite auf Oracle Cloud Infrastructure bereitstellen oder Oracle E-Business Suite-Umgebungen von ihrem Data Center zu Oracle Cloud Infrastructure migrieren und so eine Multihost-, sichere und High-Availability-Topologie erstellen.

  • Oracle Autonomous Data Warehouse

    Oracle Autonomous Data Warehouse ist ein selbstverwaltender, selbstsichernder, selbstreparierender Datenbankservice, der für Data Warehousing-Workloads optimiert ist. Sie müssen weder Hardware konfigurieren oder verwalten noch Software installieren. Oracle Cloud Infrastructure übernimmt das Erstellen, Sichern, Patchen, Upgraden und Optimieren der Datenbank.

  • OCI Object Storage

    OCI Object Storage bietet Zugriff auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus Anwendungen oder aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.

    Verwenden Sie den Standardspeicher für "Hot Storage", auf die Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicherung für "Cold Storage", die Sie über lange Zeiträume beibehalten und nur selten darauf zugreifen.

  • File Storage

    Oracle Cloud Infrastructure File Storage stellt ein dauerhaftes, skalierbares und sicheres Netzwerkdateisystem der Unternehmensklasse dar. Sie können von jeder Bare-Metal-, Virtual-Machine- oder Containerinstanz in einem VCN eine Verbindung zu OCI File Storage herstellen. Sie können auch von außerhalb des VCN auf OCI File Storage zugreifen, indem Sie Oracle Cloud Infrastructure FastConnect und IPSec VPN verwenden.

  • Identity and Access-Management

    Oracle Cloud Infrastructure Identity and Access Management (IAM) bietet Benutzerzugriffskontrolle für OCI und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die darin enthaltenen Ressourcen verwalten. Jede OCI IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.

Empfehlungen

Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt. Ihre Anforderungen können von der hier beschriebenen Architektur abweichen.
  • VCN

    Wenn Sie ein VCN erstellen, bestimmen Sie die Anzahl der erforderlichen CIDR-Blöcke und die Größe jedes Blocks basierend auf der Anzahl der Ressourcen, die Sie an Subnetze im VCN anhängen möchten. Verwenden Sie CIDR-Blöcke, die sich innerhalb des standardmäßigen privaten IP-Adressraums befinden.

    Wählen Sie CIDR-Blöcke aus, die sich mit keinem anderen Netzwerk (in Oracle Cloud Infrastructure, Ihrem On-Premise-Data Center oder einem anderen Cloud-Provider) überschneiden, zu dem Sie private Verbindungen einrichten möchten.

    Nachdem Sie ein VCN erstellt haben, können Sie die zugehörigen CIDR-Blöcke ändern, hinzufügen und entfernen.

    Berücksichtigen Sie beim Entwerfen der Subnetze den Verkehrsfluss und die Sicherheitsanforderungen. Hängen Sie alle Ressourcen innerhalb einer bestimmten Tier oder Rolle an dasselbe Subnetz an, das als Sicherheitsgrenze dienen kann.

Hinweise

Berücksichtigen Sie diese Optionen bei der Implementierung dieser Referenzarchitektur.

  • KI-Verarbeitung

    OwnGPT verarbeitet die Abfrage mit trainiertem context aus AP-, AR-Modulen.

  • Ausgabebereitstellung

    Die Antwort wird in Echtzeit oder nahezu in Echtzeit über die Benutzeroberfläche oder Chatschnittstelle zurückgegeben.

  • Technische Metriken
    • Antwortzeit: Durchschnittlich 1,2 Sekunden, 95. Perzentil 2,5 Sekunden, komplexe Abfragen max. 3,7 Sekunden.
    • Durchsatz: Bis zu 120 gleichzeitige Benutzer, 500 Abfragen pro Minute, 99,97% API-Erfolgsrate.
    • Ressourcenauslastung: Durchschnittliche CPU 42% (78% Spitzenlast), Arbeitsspeicher 4.2GB (max. 7.1GB), Speichereffizienz 12 MB pro Unternehmen für Vektordaten.
    • Skalierbarkeit: Lineare Skalierung bis zu 50 Unternehmen, stabile Leistung mit mehr als 100.000 Dokument-Chunks, 25+ gleichzeitige Verbindungen.
  • Geschäftsauswirkung
    • Produktivität: 68% weniger Suchzeit, 42% weniger wiederholte technische Anfragen, wodurch 3,5 Stunden pro Mitarbeiter wöchentlich eingespart werden.
    • Genauigkeit: 92% auf unternehmensspezifische Fragen, 87% auf technische Fragen, 95% Genauigkeit bei der Quellenidentifizierung.
    • Benutzerzufriedenheit: 4,7/5 Bewertung, 94% Adoption bei berechtigten Mitarbeitern, 76% Ermäßigung bei Support-Tickets.
    • ROI: Break-Even in 4,2 Monaten, 327% ROI in 12 Monaten, geschätzte Einsparungen von 142.000 US-Dollar pro Jahr für mittlere Bereitstellungen.

Mehr erfahren

In diesen zusätzlichen Ressourcen erhalten Sie weitere Informationen zu den Features dieser Referenzarchitektur.

Bestätigungen

  • Autor: Deepak Soni