Crea uno stack di intelligenza artificiale generativa di livello aziendale su Oracle Cloud Infrastructure

La creazione di uno stack di intelligenza artificiale generativa end-to-end su Oracle Cloud Infrastructure (OCI) richiede un approccio a più livelli per l'integrazione dell'intelligenza artificiale nei sistemi aziendali.

Lo scopo è quello di semplificare lo sviluppo delle applicazioni, garantire una solida integrazione dei dati e migliorare le misure di sicurezza su vari livelli. Facilita l'implementazione di modelli AI, gestisce i dati dei clienti in modo efficiente e incorpora funzionalità avanzate di registrazione e monitoraggio per mantenere alte prestazioni e affidabilità. Questa architettura di riferimento affronterà anche i diversi componenti necessari e il modo in cui diversi LLM possono essere orchestrati per lavorare insieme in base alla risposta richiesta.

Architettura

Questa architettura di riferimento descrive uno stack AI a quattro livelli e tutti i diversi componenti necessari per implementare una soluzione AI generativa di livello Enterprise all'interno di un'impostazione aziendale.

1. Layer applicazione
2. Livello di accesso
3. Registrazione e monitoraggio in tutta la soluzione
4. Livello AI costituito dai cinque moduli seguenti:
   • Integrazione dell'AI
   • LLM
   • Sviluppo dell'IA
   • Integrazione dei dati
   • Contesto e Data Catalog

Il flusso ipotetico considerato per questa architettura di riferimento è descritto nella seguente sezione:

1. Una richiesta verrà inviata dall'applicazione al livello API e Access.
2. Il layer è protetto da WAF e la richiesta viene controllata per l'autenticazione utilizzando OCI Identity and Access Management e i criteri di autorizzazione.
3. Il gateway API porta quindi la richiesta al livello di integrazione. Questo livello include LangChain, utilizzato per l'astrazione e l'orchestrazione AI. Questo layer include anche il repository dei prompt che sono stati inseriti nella lista di inclusione e mappati all'autorizzazione appropriata e alla versione del modello LLM.
4. La richiesta viene inviata all'LLM che corrisponde alla classe e al prompt della richiesta.
5. La cronologia contesto e consumer viene caricata dal database contesto.
6. È possibile accedere alla posizione di qualsiasi dato da integrare dal Data Catalog.
7. Supponiamo che alcuni dati siano ancora mancanti. Il livello di integrazione dei dati verificherà innanzitutto se i dati sono stati inseriti nella cache e se non verranno sottoposti a query dai dati del cliente.
8. LLM risponderà attraverso l'integrazione.
9. La risposta passerà attraverso il controllore dell'allucinazione, il controllore dell'allucinazione eseguirà quindi l'IA avversaria per convalidare se la risposta è significativa.
10. Infine, passa attraverso il gateway API di nuovo all'applicazione.

Il seguente diagramma illustra questa architettura di riferimento.

Descrizione dell'immagine oci-genai-enterprise-arch.png

oci-genai-enterprise-arch-oracle.zip

Passiamo attraverso i mattoni che compongono ogni strato di blocco:

Livello AI

1. Mescolare e abbinare LLM all'interno del modulo LLM con ogni LLM utilizzato per l'area è la soluzione migliore.
2. Il contesto deve essere gestito da un cliente all'altro e attraverso conversazioni diverse, Data Catalog aiuta i diversi LLM a sapere dove trovare i dati richiesti.
3. Il livello Integrazione dei dati accede AI dati dei clienti e li fornisce rapidamente all'intelligenza artificiale, inclusi l'inserimento dei dati nella cache e l'integrazione richiesti.
4. Il modulo di integrazione AI gestisce i prompt Repo, LangChain per astrarre LLM e Oracle Integration per l'integrazione.
5. Il livello di sviluppo AI consente il controllo delle versioni e dello storage dei modelli, nonché il DevOps necessario per evolvere la soluzione.

Livello di registrazione e monitoraggio

1. Il controllore dell'allucinazione esegue l'intelligenza artificiale avversaria per eseguire l'output dell'output LLM per convalidare la sua veridicità.
2. Application Performance Monitoring tiene traccia dell'accordo sul livello di servizio relativo alle prestazioni.
3. La registrazione e l'audit tengono traccia di come viene utilizzata la soluzione di intelligenza artificiale generativa per osservare il sistema e identificare potenziali problemi.

API e Access Layer

1. Il gateway API consente l'accesso controllato allo stack AI.
2. I criteri vengono gestiti centralmente per gestire l'accesso allo stack LLM.
3. Il WAF protegge l'ambiente da potenziali vettori di attacco.
4. I token di accesso e il controllo vengono gestiti con OCI Identity and Access Management.

L'architettura presenta i seguenti componenti:

• Agenti AI generativa OCI

  OCI Generative AI Agents è un servizio completamente gestito che combina la potenza dei modelli di linguaggio di grandi dimensioni (LLM) con un sistema di recupero intelligente per creare risposte pertinenti al contesto cercando nella tua knowledge base, rendere intelligenti le tue applicazioni AI e efficient.OCI Generative AI Agents supporta diversi modi per inserire i tuoi dati e quindi consente a te e AI tuoi clienti di interagire con i tuoi dati utilizzando un'interfaccia di chat o un'API.

• AI generativo

  Oracle Cloud Infrastructure Generative AI è un servizio OCI completamente gestito che fornisce un set di modelli di linguaggio di grandi dimensioni (LLM) personalizzabili e all'avanguardia che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, la ricerca semantica e altro ancora. Utilizza il parco giochi per provare i modelli pre-addestrati pronti all'uso o creare e ospitare i tuoi modelli personalizzati ottimizzati basati sui tuoi dati su cluster AI dedicati.

• Integrazione

  Oracle Integration è un ambiente completamente gestito e preconfigurato che ti consente di integrare applicazioni cloud e on-premise, automatizzare i processi aziendali e sviluppare applicazioni visive. Utilizza un file server conforme a SFTP per archiviare e recuperare i file e consente di scambiare documenti con i partner commerciali business-to-business utilizzando un portfolio di centinaia di adattatori e ricette per connettersi con le applicazioni Oracle e di terze parti.

• Gateway API

  Oracle Cloud Infrastructure API Gateway ti consente di pubblicare le API con endpoint privati accessibili dall'interno della tua rete e che, se necessario, puoi esporre alla rete Internet pubblica. Gli endpoint supportano la convalida delle API, la trasformazione delle richieste e delle risposte, il CORS, l'autenticazione e l'autorizzazione e la limitazione delle richieste.

• OCI Data Integration

  Oracle Cloud Infrastructure Data Integration è un servizio cloud nativo completamente gestito e serverless che estrae, carica, trasforma, pulisce e rimodella i dati da una vasta gamma di origini dati nei servizi Oracle Cloud Infrastructure di destinazione, come Autonomous Data Warehouse e Oracle Cloud Infrastructure Object Storage. ETL (extract transform load) sfrutta l'elaborazione di scale-out completamente gestita su Spark e ELT (extract load transform) sfrutta le funzionalità di push-down SQL complete di Autonomous Data Warehouse per ridurre al minimo lo spostamento dei dati e migliorare il time-to-value per i dati appena inclusi. Gli utenti progettano i processi di integrazione dei dati utilizzando un'interfaccia utente intuitiva e senza codice che ottimizza i flussi di integrazione per generare il motore e l'orchestrazione più efficienti, allocando e ridimensionando automaticamente l'ambiente di esecuzione. Oracle Cloud Infrastructure Data Integration fornisce esplorazione interattiva e preparazione dei dati e aiuta i data engineer a proteggersi dalla deriva dello schema definendo le regole per gestire le modifiche allo schema.

• Oracle Exadata Database Service

  Oracle Exadata Database Service ti consente di sfruttare tutta la potenza di Exadata nel cloud. Oracle Exadata Database Service offre comprovate funzionalità di Oracle Database su un'infrastruttura Oracle Exadata appositamente progettata e ottimizzata nel cloud pubblico e in Cloud@Customer. L'automazione cloud integrata, la scalabilità elastica delle risorse, la sicurezza e le prestazioni rapide per tutti i carichi di lavoro di Oracle Database ti aiutano a semplificare la gestione e a ridurre i costi.

• Identity and Access Management (IAM)

  Oracle Cloud Infrastructure Identity and Access Management (IAM) è il piano di controllo dell'accesso per Oracle Cloud Infrastructure (OCI) e Oracle Cloud Applications. L'API IAM e l'interfaccia utente consentono di gestire i domini di Identity e le risorse all'interno del dominio di Identity. Ogni dominio di Identity IAM OCI rappresenta una soluzione standalone per la gestione delle identità e degli accessi o una popolazione di utenti diversa.

Suggerimenti

Utilizzare i seguenti suggerimenti come punto di partenza. I requisiti dell'utente potrebbero essere diversi dall'architettura descritta qui.

• Oracle Cloud Infrastructure + AI generativa
  L'intelligenza artificiale generativa può promuovere l'innovazione, migliorare i processi e aiutare le aziende a realizzare risultati più che mai, ma richiede l'approccio giusto. Oracle continua a rendere disponibile il meglio dell'intelligenza artificiale alle aziende di tutto il mondo, con una particolare attenzione AI modelli ad alte prestazioni, all'integrazione dell'intelligenza artificiale generativa nello stack e alla gestione dei dati, alla sicurezza e alla privacy. Integrando l'intelligenza artificiale nell'intero stack tecnologico, dall'infrastruttura su cui le aziende eseguono fino alle applicazioni per ogni linea di business, dal finance alla supply chain e alle HR, Oracle sta aiutando le organizzazioni a utilizzare pragmaticamente l'intelligenza artificiale per migliorare le prestazioni, risparmiando tempo, energia e risorse:

  • La nostra infrastruttura cloud di base ora include un livello di infrastruttura AI unico basato sulla nostra tecnologia Supercluster, che sfrutta l'hardware più recente e più grande, comprese le GPU ad alte prestazioni, essenziali per la formazione e la distribuzione efficienti di modelli AI, in particolare per scenari ad alta intensità di calcolo come LLP (Large Language Processing). Questa infrastruttura è progettata in modo esclusivo per massimizzare le funzionalità delle tecnologie AI e GPU, garantendo prestazioni e scalabilità ottimali per i carichi di lavoro AI aziendali.
  • Oltre a questa infrastruttura, il nostro livello di database incorpora l'intelligenza artificiale nei nostri prodotti come Oracle Autonomous Database e Oracle MySQL HeatWave con AutoML (integrato nel Machine Learning), per consentire agli sviluppatori di aggiungere modelli predefiniti alle applicazioni e alle operations senza essere esperti di tecnologie come il ML.
  • La nostra piattaforma di sviluppo delle applicazioni offre servizi AI come Oracle Digital Assistant for Natural Language Processing (NLP).
  • Inoltre, l'ampia gamma di applicazioni di settore di Oracle incorpora modelli di intelligenza artificiale formati per affrontare le sfide specifiche di settori che vanno dalla sanità e dai servizi finanziari al retail, alla produzione e al settore pubblico. Questo ci mette in una posizione unica per aiutare i nostri clienti a ottimizzare i carichi di lavoro per risolvere le sfide più complesse e strategiche.
• Integrazione LangChain

  È possibile aggiungere l'AI generativa OCI a un'implementazione basata su LangChain con le funzioni riportate di seguito.

  • Open source: framework open source che consente di creare o orchestrare applicazioni basate su LLM.
  • Definisci modelli e prompt LLM: utilizzare i modelli LLM preferiti e definire prompt contestuali.
  • Librerie di indici: impostare un'architettura RAG con librerie predefinite per la suddivisione del testo, l'istruzione SQL della conversazione 2 e così via.
  • Chain, agenti e memoria: impostare flussi di lavoro LLM più complessi con catene e agenti ed essere in grado di utilizzare la cronologia delle conversazioni per impostare più contesto.

Considerazioni

Quando si implementa questa architettura di riferimento, considerare queste opzioni.

• Casi d'uso dell'AI generativa tra le funzioni aziendali

  È possibile prendere in considerazione l'uso delle funzioni di intelligenza artificiale generativa in diverse funzioni aziendali, come descritto in alcuni degli esempi riportati di seguito.

  Customer operations

  • Servizio clienti automatizzato in base alla suite di prodotti, all'esperienza e al linguaggio del cliente.
  • Script di chiamata AI in tempo reale basati sulla cronologia delle conversazioni e sul contesto del chiamante.
  • Feedback post-chiamata dell'agente sulle prestazioni delle chiamate, modi per ottimizzare le chiamate future.

  Marketing

  • Generazione di contenuti per l'e-commerce (descrizioni dei prodotti), B2B (articoli ottimizzati per la SEO) nella voce del marchio.
  • Personalizzazione di massa di ricerca, sensibilizzazione, assistenza clienti in base al profilo dell'acquirente e alla cronologia di utilizzo.
  • Sintesi, raggruppamento di dati dei clienti non strutturati per identificare nuove tendenze e figure.

  Vendite

  • Outreach delle vendite personalizzato in base alla cronologia delle interazioni e al profilo del cliente potenziale per liberare tempo per i funzionari commerciali.
  • Funzionari commerciali virtuali che guidano i clienti potenziali dalle offerte fino alla vendita.
  • Generazione di pitch di vendita personalizzata per i nuovi clienti in base ai contenuti esistenti.

  Product Development

  • Analisi, pulizia ed etichettatura di grandi volumi di dati, come il feedback degli utenti, le tendenze del mercato, i log.
  • Codifica e completamento automatico delle API per accelerare lo sviluppo, il refactoring e l'integrazione dei sistemi.
  • Test dell'automazione attraverso la creazione di dati sintetici e la compilazione di dati di log.

  Strategia e finanza

  • Sintesi di dati non strutturati da chiamate degli utili, report degli analisti e altre fonti.
  • Automazione di processi complessi e complessi come la spesa.
  • Monitoraggio su larga scala di concorrenti e clienti, attraverso fonti pubbliche o private.
• Ricerca e memorizzazione basate su vettori AI: Oracle Database 23ai e Oracle MySQL HeatWave
  I vettori vengono utilizzati per rappresentare il contenuto semantico di immagini, documenti, video e così via.

  • Il database convergente consente di utilizzare sia i dati aziendali che i vettori quando si risponde a una domanda.
  • Non è necessario spostare e sincronizzare i dati, gestire più prodotti e così via.

Visualizza altro

Esaminare queste risorse aggiuntive per ulteriori informazioni sulle funzioni di questa architettura di riferimento.

• Agenti AI generativa OCI
• Documentazione su OCI Generative AI Agents
• Blog: Annuncio del servizio RAG OCI Generative AI Agents
• Hub di soluzioni AI
• Documentazione su Oracle Cloud Infrastructure
• Framework ben progettato per Oracle Cloud Infrastructure
• Valutatore costi Oracle Cloud

Conferme

• Autore: Badr Tharwat