Implementa un modello OwnGPT scalabile su Oracle Cloud Infrastructure per i carichi di lavoro ERP

L'implementazione di OwnGPT su Oracle Cloud Infrastructure (OCI) ha dimostrato uno sviluppo accelerato dei modelli, una maggiore produttività e un forte ritorno sugli investimenti (ROI).

L'obiettivo di questa architettura di riferimento era quello di consentire a utenti e consulenti funzionali di interagire con i dati di Enterprise Resource Planning (ERP) utilizzando il linguaggio naturale tramite OwnGPT, un modello AI addestrato al dominio distribuito su OCI, inizialmente focalizzato su Oracle E-Business Suite R12 (moduli Contabilità fornitori e contabilità clienti), con estensibilità ad altri moduli e piattaforme ERP.

La nostra implementazione iniziale utilizzava le GPU Tensor Core A10, fornendo addestramento e inferenza dei modelli accelerati. L'integrazione di Oracle HeatWave MySQL ha migliorato ulteriormente le prestazioni del database, mentre lo storage degli oggetti OCI ha garantito una gestione dei dati sicura ed efficiente. Sfruttando Oracle E-Business Suite, Vision come origine dati principale ha consentito a OwnGPT di elaborare in modo efficace i dati aziendali strutturati.

L'implementazione di OwnGPT sulle istanze GPU di OCI ha evidenziato il ruolo fondamentale dell'infrastruttura nella promozione dell'innovazione AI. La flessibilità di OCI nell'implementazione delle GPU in ambienti Bare Metal e Virtual Machine ha consentito configurazioni personalizzate per soddisfare le esigenze aziendali in continua evoluzione. Inoltre, la rete RDMA (Remote Direct Memory Access) di Oracle a bassa latenza ha accelerato l'addestramento dei modelli distribuiti, mentre OCI Block e OCI Object Storage hanno fornito una gestione dei dati scalabile per set di dati di grandi dimensioni.

Architettura

Si tratta di una distribuzione OCI pronta per la produzione di una soluzione ERP basata sull'intelligenza artificiale (OwnGPT), progettata per una risoluzione delle query basata sull'intelligenza artificiale sicura, scalabile e modulare. Integra Oracle E-Business Suite (ERP) con componenti come Airflow, Oracle Base Database Service, computazione GPU per GPT e storage, connettendosi in modo sicuro sia agli utenti on-premise che ai servizi OCI.

I principali vantaggi di questa architettura:
  • Predisposto per l'intelligenza artificiale (GPU) per carichi di lavoro LLM
  • Il design modulare e a più livelli separa la logica di bilanciamento del carico, applicazione e intelligenza artificiale
  • ERP integrato e strettamente collegato con Oracle Oracle E-Business Suite e pronto per AP, approfondimenti AR
  • Sicuro e scalabile con le funzioni di sicurezza WAF, IAM, NAT Gateway e OCI native
  • High Availability e utilizza domini di errore per la protezione da guasti hardware

Il diagramma seguente illustra questa architettura di riferimento.


Segue la descrizione dell'immagine oci-owngpt-erp.png
Descrizione dell'illustrazione oci-owngpt-erp.png

oci-proprietario-erp-oracle.zip

I gruppi di utenti sono utenti interni o analisti aziendali che accederanno all'applicazione tramite Web o VPN. Il Gateway Internet fornisce l'accesso all'ambiente OCI tramite reti esterne (ad esempio, l'accesso al browser Web dei dipendenti). Tutte le risorse esistono in un compartimento denominato OWNTESTHUB e sono distribuite in tre domini di errore per l'alta disponibilità. L'intera architettura è costruita all'interno di una rete virtuale sicura. Oracle Cloud Infrastructure Web Application Firewall (WAF) protegge da minacce come SQL injection, DDoS e così via.

Il load balancer distribuisce il traffico in entrata attraverso i server Web e API backend per garantire scalabilità e disponibilità. API WEB (VM.Standard.E5). Flex) ospita le API front-end e REST per l'applicazione OwnGPT. AIRFLOW (VM.Standard.E5). Flex gestisce l'orchestrazione dei task e i job di pianificazione (ad esempio, addestramento dei modelli o ETL). OWNGPT (VM.GPU.A10.2) dispone di una VM con accelerazione GPU che esegue il modello OwnGPT, ideale per l'inferenza AI in tempo reale.

Oracle Autonomous Data Warehouse memorizza i dati strutturati correlati all'ERP (moduli AP e AR) per eseguire query rapide. APP Oracle E-Business Suite (VM.Standard.E5). Flex) utilizza i servizi backend per Oracle E-Business Suite (è probabile che eseguano connettori o middleware). OCI File Storage fornisce storage condiviso, utile per le DAG Airflow, gli artifact delle applicazioni o i log.

OCI Identity and Access Management controlla i ruoli utente, i criteri e l'autenticazione sicura. Service Gateway si connette a servizi OCI come OCI Object Storage senza passare da Internet. Lo storage degli oggetti OCI viene utilizzato per memorizzare i checkpoint dei modelli, i data set di addestramento, i log o gli archivi. Il gateway NAT consente alle VM di subnet private di avviare in modo sicuro il traffico Internet in uscita. Il modello di generazione delle risposte estrae i dati rilevanti, interpreta context e genera una risposta leggibile dall'utente senza richiedere la generazione manuale dei report.

Questa architettura include i seguenti componenti:
  • Oracle E-Business Suite

    Oracle E-Business Suite comprende un set di prodotti (human capital management, order management, procurement e logistica) che supporta modelli di business in continua evoluzione, aumenta la produttività e soddisfa le esigenze dell'utente mobile moderno.

    Puoi eseguire il provisioning di Oracle E-Business Suite su Oracle Cloud Infrastructure o eseguire la migrazione degli ambienti Oracle E-Business Suite dal data center a Oracle Cloud Infrastructure, creando una topologia multihost, sicura e ad alta disponibilità.

  • Oracle Autonomous Data Warehouse

    Oracle Autonomous Data Warehouse è un servizio di database self-driving, self-securing e self-repairing ottimizzato per i carichi di lavoro di data warehousing. Non è necessario configurare o gestire alcun hardware né installare alcun software. Oracle Cloud Infrastructure gestisce la creazione, il backup, l'applicazione di patch, l'upgrade e il tuning del database.

  • Memorizzazione degli oggetti OCI

    Lo storage degli oggetti OCI fornisce l'accesso a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi memorizzare in tutta sicurezza i dati direttamente dalle applicazioni o dall'interno della piattaforma cloud. È possibile ridimensionare lo storage senza subire alcun deterioramento a livello di prestazioni o affidabilità del servizio.

    Utilizza lo storage standard per lo storage "caldo" a cui devi accedere in modo rapido, immediato e frequente. Utilizzare lo storage di archivio per lo storage "a freddo" che si conserva per lunghi periodi di tempo e a cui si accede raramente o raramente.

  • Storage di file

    Oracle Cloud Infrastructure File Storage offre un file system di rete duraturo, scalabile, sicuro e di livello aziendale. Puoi connetterti allo storage di file OCI da qualsiasi istanza Bare Metal, virtual machine o container in una VCN. Puoi anche accedere allo storage di file OCI dall'esterno della VCN utilizzando Oracle Cloud Infrastructure FastConnect e IPSec VPN.

  • Identity and Access Management

    Oracle Cloud Infrastructure Identity and Access Management (IAM) fornisce il controllo dell'accesso degli utenti per OCI e Oracle Cloud Applications. L'interfaccia API IAM e l'interfaccia utente consentono di gestire i domini di Identity e le risorse al loro interno. Ogni dominio di Identity OCI IAM rappresenta una soluzione standalone di gestione accessi e identità oppure una popolazione di utenti diversa.

Suggerimenti

Utilizzare i suggerimenti riportati di seguito come punto di partenza. I requisiti potrebbero essere diversi dall'architettura descritta qui.
  • VCN

    Quando crei una VCN, determina il numero di blocchi CIDR necessari e la dimensione di ciascun blocco in base al numero di risorse che prevedi di collegare alle subnet nella VCN. Utilizzare blocchi CIDR che si trovano all'interno dello spazio degli indirizzi IP privati standard.

    Seleziona blocchi CIDR che non si sovrappongono a nessun'altra rete (in Oracle Cloud Infrastructure, nel tuo data center on-premise o in un altro provider cloud) a cui intendi impostare connessioni private.

    Dopo aver creato una VCN, è possibile modificare, aggiungere e rimuovere i relativi blocchi CIDR.

    Quando si progettano le subnet, considerare il flusso di traffico e i requisiti di sicurezza. Collegare tutte le risorse all'interno di un livello o ruolo specifico alla stessa subnet, che può fungere da limite di sicurezza.

Considerazioni

Quando si implementa questa architettura di riferimento, considerare queste opzioni.

  • Elaborazione AI

    OwnGPT elabora la query utilizzando context addestrato da moduli AP e AR.

  • Consegna output

    La risposta viene restituita in tempo reale o quasi in tempo reale tramite interfaccia utente o chat.

  • Metriche tecniche
    • Tempo di risposta: media 1,2 secondi, 95° percentile 2,5 secondi, query complesse max 3,7 secondi.
    • Throughput: picco di 120 utenti simultanei, 500 query al minuto, tasso di successo API del 99,97%.
    • Utilizzo delle risorse: media CPU 42% (picco 78%), memoria 4.2GB (massimo 7.1GB), efficienza di storage 12 MB per azienda per dati vettoriali.
    • Scalabilità: scalabilità lineare fino a 50 aziende, prestazioni stabili con oltre 100.000 pezzi di documento, oltre 25 connessioni simultanee.
  • Impatto business
    • Produttività: riduzione del 68% dei tempi di ricerca, 42% in meno di query tecniche ripetute, risparmiando 3,5 ore settimanali per dipendente.
    • Precisione: 92% su domande specifiche dell'azienda, 87% su domande tecniche, 95% di precisione nell'identificazione della fonte.
    • Soddisfazione degli utenti: 4,7/5, adozione del 94% tra i dipendenti idonei, riduzione del 76% dei ticket di supporto.
    • ROI: pareggio in 4,2 mesi, ROI del 327% in 12 mesi, risparmi annui stimati di $ 142.000 per implementazioni di medie dimensioni.

Scopri di più

Esaminare queste risorse aggiuntive per ulteriori informazioni sulle funzioni di questa architettura di riferimento.

Conferme

  • Autore: Deepak Soni