Implementa la generazione aumentata (RAG) di recupero dell'intelligenza artificiale generativa multicloud
Utilizza OCI Generative AI e Oracle Integration in una soluzione multicloud come Oracle Cloud Infrastructure e Microsoft Azure per eseguire query sui dati organizzativi pertinenti e usarli per fornire risposte altamente contestualizzate.
In un'architettura RAG, Oracle Integration può svolgere il ruolo di orchestratore dei dati, garantendo che tutte le origini dati pertinenti siano disponibili per il recupero. Quindi, gli agenti di Oracle Cloud Infrastructure Generative AI prendono il sopravvento per sfruttare tali dati per fornire risposte ricche di contesto.
Gli agenti OCI GenAI elaborano tali dati per fornire una risposta contestuale incorporando i documenti recuperati e migliorando le risposte generate eseguendo una query sul modello LLM (Large Language Model).
Pertanto, sebbene entrambi siano coinvolti nel ciclo di vita dei dati, i loro ruoli sono distinti ma complementari nella creazione di un'architettura RAG multicloud.
Questo approccio RAG multicloud offre:
- Flessibilità multicloud: l'architettura integra più piattaforme cloud (OCI e Azure), rendendola adattabile allo scenario dei dati all'interno delle aziende.
- Connettività altamente performante: Oracle Interconnect for Microsoft Azure garantisce un trasferimento dei dati rapido, sicuro e affidabile tra ambienti cloud.
- Generazione di contenuti dinamici: l'agente estrae le informazioni più aggiornate da fonti diverse, garantendo che le risposte LLM siano accurate e pertinenti.
- Ricerca di documenti incorporati: utilizzando gli incorporati e la ricerca semantica, gli agenti OCI GenAI possono fornire approfondimenti in base al contesto anziché alle sole corrispondenze di parole chiave.
Architettura
Questa soluzione multicloud trae i dati sia da Microsoft Azure che da Oracle Cloud Infrastructure (OCI), consentendo agli agenti di Oracle Cloud Infrastructure Generative AI di accedere a una gamma più ampia di informazioni aggiornate.
Gli agenti OCI GenAI e Oracle Integration insieme supportano i servizi di recupero, aumento e generazione (RAG) per fornire risultati altamente contestualizzati.
Gli agenti OCI GenAI si concentrano in modo specifico sull'uso dell'intelligenza artificiale generativa per rispondere alle query degli utenti recuperando informazioni pertinenti dalle knowledge base o dai documenti per generare risposte. L'agente fornisce risposte arricchite e consapevoli del contesto sfruttando tecniche di intelligenza artificiale avanzate, incorporamenti e creazione di chunk di documenti per comprendere e generare contenuti pertinenti:
- Recupera: estrae i dati rilevanti dalle fonti di conoscenza, di solito attraverso la ricerca ibrida avanzata, combinando la ricerca lessicale e semantica.
- Aumento: utilizza i dati recuperati per fornire il contesto di una query, assicurando che il modello di intelligenza artificiale generativa disponga delle informazioni necessarie.
- Genera: utilizzare modelli LLM (Large Language Model) per generare risposte contestuali alle domande degli utenti, spesso migliorate dai dati recuperati nei passi precedenti.
Oracle Integration, d'altra parte, fornisce servizi di integrazione che connettono varie applicazioni e sistemi, consentendo l'orchestrazione dei flussi di dati in più ambienti:
- Recupera: facilita il recupero dei dati da origini diverse utilizzando gli agenti di connettività per connettersi in privato a varie origini dati o servizi (database, API REST, storage cloud e così via) su Azure o altri hyperscaler.
- Orchestrate/Augment: orchestra i flussi di lavoro e integra i dati provenienti da più origini, aumentando i processi arricchendo i dati attraverso trasformazioni preconfigurate o dinamiche.
- Gestisci flusso di dati: a differenza dell'agente RAG, Oracle Integration non si concentra sulla generazione di risposte dai dati, ma piuttosto su come consentire lo spostamento e la trasformazione dei dati tra sistemi e applicazioni, garantendo che tutti i dati pertinenti siano disponibili per diversi servizi.
| Area funzionale | Agenti GenAI OCI | Oracle Integration |
|---|---|---|
| Scopo | Progettato per fornire risposte basate sull'intelligenza artificiale recuperando i dati, aumentandoli e utilizzando un LLM per generare risposte. | Progettato per integrare e orchestrare i dati in più applicazioni, fornendo connettività dei dati senza interruzioni ma senza le funzionalità di generazione basate su LLM. |
| Gestione dati | Utilizza i dati per generare risposte in linguaggio naturale in modo consapevole del contesto. | Gestisce il flusso di dati tra le applicazioni, fungendo da ponte tra i sistemi senza generare contenuto nello stesso modo in cui lo fa un LLM. |
| Funzionalità generative | Dispone di funzionalità di intelligenza artificiale generativa e utilizza LLM per generare risposte conversazionali o altri output. | Non dispone di funzionalità di intelligenza artificiale generativa ed è utilizzato per connettere, recuperare e trasformare i dati tra i servizi. |
Il diagramma riportato di seguito illustra il flusso di dati attraverso l'architettura.
multicloud-genai-rag-process-oracle.zip
- L'utente interagisce con gli agenti di Oracle Digital Assistant o OCI GenAI, a seconda dell'implementazione, per fornire query e prompt utente.
- Oracle Integration orchestra le chiamate tra diversi componenti: estrazione dalle origini dati, gestione dell'inclusione dei documenti e passaggio dei prompt utente a valle.
- Le origini dati includono:
- Oracle Interconnect for Microsoft Azure fornisce un collegamento a larghezza di banda elevata tra OCI e Azure per i repository di documenti, Oracle Database@Azure e così via.
- I repository di file locali forniscono file in locale o locali per l'inclusione.
- Servizi OCI, come Oracle Fusion Cloud Enterprise Resource Planning.
- Oracle Database@Azure in una subnet delegata per la condivisione dei dati tra i servizi gestiti da Oracle su Azure.
- Il processo di ingestione, chunking e incorporamento dei documenti può essere implementato in diversi modi:
- Oracle Integration (utilizzando JavaScript incorporato o librerie personalizzate) esegue la creazione di chunk e chiama l'AI generativa OCI da incorporare.
- OCI Functions riceve i documenti, li chunk, quindi chiama OCI Generative AI per l'incorporamento.
- Oracle Autonomous Database 23ai esegue il chunking e l'incorporamento utilizzando la funzionalità vettoriale.
Il risultato standard è un set di incorporamenti chunk-text più vettoriali completamente gestiti nel contesto multicloud.
- I vettori e i chunk vengono memorizzati in Oracle Autonomous Database 23ai:
- L'approccio tipico è quello di memorizzare le incorporazioni nell'indice vettoriale di Oracle Autonomous Database 23ai.
- Il testo chunk può anche essere memorizzato direttamente in un database CLOB (per il recupero rapido) o come riferimenti che puntano al testo chunk in OCI Object Storage o in Azure Data Lake.
- Lo storage degli oggetti OCI può memorizzare i documenti originali, se necessario, ma non è necessario conservare le incorporazioni se si esegue una query sull'area di memorizzazione vettoriale nel database.
- Quando l'utente richiede una domanda, OCI GenAI Agents (o Digital Assistant) chiama Oracle Autonomous Database 23ai per eseguire una ricerca di somiglianza vettoriale utilizzando l'incorporamento del prompt utente per identificare i chunk corrispondenti migliori in base ai punteggi di somiglianza vettoriale.
- L'AI generativa OCI genera incorporamenti per domande e blocchi di documenti e genera risposte utilizzando modelli LLM, fornendo risposte arricchite contestualmente. Il recupero del chunk e la risposta LLM dipendono anche dall'implementazione:
- Se il testo del chunk è memorizzato nel database, può essere recuperato direttamente.
- Se vengono memorizzati solo i riferimenti, il sistema recupera rapidamente il contenuto di chunk effettivo da OCI Object Storage, Azure Data Lake o altro repository.
- I chunk pertinenti vengono quindi trasmessi all'LLM in AI generativa OCI insieme al prompt originale dell'utente per produrre una risposta arricchita contestualmente.
- La risposta finale viene restituita da Oracle Digital Assistant o dall'interfaccia Agenti GenAI OCI, a seconda del frontend a cui l'utente è connesso.
Il seguente diagramma descrive l'architettura.
multicloud-genai-rag-architecture-oracle.zip
- Area Microsoft Azure
Un'area geografica di Azure è un'area geografica in cui risiedono uno o più data center fisici di Azure, denominati zone di disponibilità. Le regioni sono indipendenti da altre regioni e grandi distanze possono separarle (tra paesi o addirittura continenti).
Le region di Azure e OCI sono aree geografiche localizzate. Per Oracle Database@Azure, un'area Azure è connessa a un'area OCI, con le zone di disponibilità (AZ) in Azure connesse ai domini di disponibilità (AD) in OCI. Le coppie di aree Azure e OCI vengono selezionate per ridurre al minimo distanza e latenza.
- Area di disponibilità di Microsoft Azure
Una zona di disponibilità è un centro dati separato fisicamente all'interno di un'area progettata per essere ad alta disponibilità e con tolleranza degli errori. Le zone di disponibilità sono abbastanza vicine da avere connessioni a bassa latenza con altre zone di disponibilità.
- Rete virtuale Microsoft Azure
Microsoft Azure Virtual Network (VNet) è la base fondamentale per una rete privata in Azure. VNet consente a molti tipi di risorse di Azure, come le macchine virtuali (VM) di Azure, di comunicare in modo sicuro tra loro, Internet e con le reti on-premise.
- Subnet delegata Microsoft Azure
La delega della subnet consente di inserire un servizio gestito, in particolare un servizio Platform as a Service (PaaS), direttamente nella rete virtuale. Una subnet delegata può essere una home per un servizio gestito esternamente all'interno della rete virtuale in modo che il servizio esterno funga da risorsa di rete virtuale, anche se si tratta di un servizio PaaS esterno.
- Storage Microsoft Azure Data Lake
Data Lake Storage è una soluzione di data lake aziendale basata su cloud. È progettato per memorizzare enormi quantità di dati in qualsiasi formato e per facilitare i carichi di lavoro analitici dei Big Data. Puoi utilizzarlo per acquisire dati di qualsiasi tipo e velocità di inserimento in un'unica posizione per facilitare l'accesso e l'analisi utilizzando vari framework.
- Microsoft Azure Synapse Analytics
Azure Synapse Analytics combina un servizio centralizzato per l'archiviazione e l'elaborazione dei dati con un'architettura estendibile e collegata che consente di integrare data store, piattaforme di elaborazione e strumenti di visualizzazione di uso comune.
Oracle Cloud Infrastructure fornisce i seguenti componenti:
- Area
Un'area geografica Oracle Cloud Infrastructure è un'area geografica localizzata che contiene uno o più data center, denominati domini di disponibilità. Le regioni sono indipendenti da altre regioni e grandi distanze possono separarle (tra paesi o addirittura continenti).
- Dominio di disponibilità
I domini di disponibilità sono data center standalone e indipendenti all'interno di un'area geografica. Le risorse fisiche in ciascun dominio di disponibilità sono isolate dalle risorse negli altri domini di disponibilità, il che fornisce tolleranza agli errori. I domini di disponibilità non condividono l'infrastruttura, ad esempio alimentazione o raffreddamento, o la rete interna del dominio di disponibilità. Pertanto, un errore in un dominio di disponibilità non dovrebbe influire sugli altri domini di disponibilità nell'area.
- Rete cloud virtuale (VCN) e subnet
Una VCN è una rete personalizzabile e definita dal software configurata in un'area Oracle Cloud Infrastructure. Come le tradizionali reti di data center, le reti VCN consentono di controllare l'ambiente di rete. Una VCN può avere più blocchi CIDR non sovrapposti che è possibile modificare dopo aver creato la VCN. Puoi segmentare una VCN in subnet, che possono essere definite in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. È possibile modificare le dimensioni di una subnet dopo la creazione. Una subnet può essere pubblica o privata.
- Tabella di instradamento
Le tabelle di instradamento virtuali contengono regole per instradare il traffico dalle subnet alle destinazioni esterne a una VCN, in genere attraverso i gateway.
- Lista di sicurezza
Per ogni subnet, puoi creare regole di sicurezza che specificano l'origine, la destinazione e il tipo di traffico che devono essere consentiti all'interno e all'esterno della subnet.
- IA generativa
Oracle Cloud Infrastructure Generative AI è un servizio OCI completamente gestito che fornisce un set di modelli di linguaggio di grandi dimensioni (LLM) personalizzabili e all'avanguardia che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, la ricerca semantica e altro ancora. Utilizza il parco giochi per provare i modelli pre-addestrati pronti all'uso o creare e ospitare i tuoi modelli personalizzati ottimizzati in base AI tuoi dati su cluster AI dedicati.
- Integrazione
Oracle Integration è un ambiente completamente gestito e preconfigurato che ti consente di integrare applicazioni cloud e on-premise, automatizzare i processi aziendali e sviluppare applicazioni visive. Utilizza un file server conforme a SFTP per archiviare e recuperare i file e consente di scambiare documenti con i partner commerciali business-to-business utilizzando un portfolio di centinaia di adattatori e ricette per connettersi con le applicazioni Oracle e di terze parti.
- Storage degli oggetti
Lo storage degli oggetti OCI fornisce un accesso rapido a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi archiviare i dati direttamente da Internet o dalla piattaforma cloud in tutta sicurezza. Puoi ridimensionare lo storage senza alcun deterioramento delle prestazioni o dell'affidabilità del servizio.
Utilizza lo storage standard per lo storage "caldo" a cui è necessario accedere rapidamente, immediatamente e frequentemente. Utilizza lo storage di archivio per lo storage "freddo" che conservi per lunghi periodi di tempo e a cui accedi raramente o raramente.
- Funzioni
Oracle Cloud Infrastructure Functions è una piattaforma completamente gestita, multi-tenant, altamente scalabile, on-demand e Functions-as-a-Service (FaaS). È alimentato dal motore open source Fn Project. Funzioni OCI consente di distribuire il codice e chiamarlo direttamente o attivarlo in risposta agli eventi. OCI Functions utilizza i container Docker ospitati in Oracle Cloud Infrastructure Registry.
- Analitica
Oracle Analytics Cloud è un servizio di cloud pubblico scalabile e sicuro che offre agli analisti aziendali moderne funzionalità di analitica self-service basate sull'intelligenza artificiale per la preparazione, la visualizzazione dei dati, il reporting aziendale, l'analisi migliorata e l'elaborazione e la generazione del linguaggio naturale. Oracle Analytics Cloud ti offre anche funzionalità di gestione dei servizi flessibili, tra cui configurazione rapida, facile scalabilità e applicazione di patch e gestione automatizzata del ciclo di vita.
- Digital Assistant
Oracle Digital Assistant è una piattaforma che consente di creare e distribuire assistenti digitali per gli utenti. Con Oracle Digital Assistant, puoi creare interfacce basate sull'intelligenza artificiale (o chatbot) per le applicazioni aziendali tramite interfacce di testo, chat e voce. Ogni assistente digitale ha una raccolta di una o più competenze specializzate per aiutare gli utenti a completare una varietà di attività nelle conversazioni in linguaggio naturale. Ad esempio, un singolo assistente digitale potrebbe avere competenze che si concentrano su tipi specifici di task come il tracciamento del magazzino, la sottomissione di fogli ore e la creazione di note spese.
- Autonomous Database
Oracle Autonomous Database è un ambiente di database completamente gestito e preconfigurato che puoi utilizzare per l'elaborazione delle transazioni e i carichi di lavoro di data warehousing. Non è necessario configurare o gestire alcun componente hardware né installare software. Oracle Cloud Infrastructure gestisce la creazione, il backup, l'applicazione di patch, l'upgrade e il tuning del database.
Visualizza altro
Scopri di più sulle caratteristiche di questa architettura e sulle architetture correlate.
-
Creare uno stack di AI generativa di livello enterprise nell'infrastruttura Oracle Cloud
-
Implementa la generazione aumentata di recupero utilizzando Oracle Integration
-
Abilita integrazioni multicloud da Oracle Cloud ERP al database SQL di Microsoft Azure
-
Scopri di più su Oracle Maximum Availability Architecture per Oracle Database@Azure
-
Scopri come selezionare le topologie di rete per Oracle Database@Azure