Implementa la generazione aumentata di recupero utilizzando Oracle Integration

Retrieval-augmented generation (RAG) è un potente modello di implementazione dell'AI generativa che migliora i modelli generativi incorporando le informazioni aziendali attraverso meccanismi di recupero dei dati senza ulteriore addestramento del modello. RAG consente di ottimizzare l'output di un modello di linguaggio di grandi dimensioni (LLM) con informazioni mirate senza modificare il modello sottostante stesso; che le informazioni mirate possono essere più aggiornate rispetto all'LLM e possono essere specifiche per una particolare organizzazione e settore. Ciò consente al sistema GenAI di fornire risposte più contestualmente appropriate ai prompt e di basare tali risposte su dati estremamente aggiornati.
RAG aiuta i LLM a dare risposte migliori perché:
  • Si tratta di una tecnica di intelligenza artificiale relativamente nuova che può migliorare la qualità di GenAI consentendo ai LLM di attingere a risorse di dati aggiuntive senza riqualificarsi.
  • I modelli RAG creano repository di conoscenze in base ai dati dell'organizzazione e questi repository possono essere continuamente aggiornati per aiutare GenAI a fornire risposte tempestive e contestuali.
  • I chatbot e altri sistemi di conversazione che utilizzano l'elaborazione del linguaggio naturale possono trarre grandi benefici da RAG e GenAI.
  • L'implementazione di RAG richiede tecnologie come le banche dati vettoriali, che consentono la rapida codifica di nuovi dati, e ricerche contro tali dati per alimentare l'LLM.

Architettura

Questa architettura di riferimento mostra come implementare un framework RAG utilizzando una tecnica di ricerca semantica per rispondere a una query utente su dati aziendali utilizzando una piattaforma di integrazione low-code o no-code come i servizi Oracle Integration (OIC).

In questa architettura, Oracle Cloud Infrastructure Generative AI viene utilizzato per creare incorporation e generare risposte/risposte ottimizzate o utili in base ai dati aziendali specifici del contesto. Oracle Autonomous Database 23ai viene utilizzato per memorizzare le integrazioni vettoriali, creare indici e consente di eseguire una ricerca semantica basata sulla somiglianza o sulla distanza anziché sulla ricerca basata su parole chiave. OCI Functions viene utilizzato per eseguire un chunk di documenti o dati aziendali utilizzando i pacchetti python standard LangChain. I servizi OIC gestiscono l'intero processo di orchestrazione e automazione, dalla ricezione dei dati aziendali all'archiviazione/interrogazione di quelli come incorporamenti vettoriali e generano risposte specifiche del contesto ottimizzate e creative per le query degli utenti in tempo reale o vicino.

I seguenti diagrammi illustrano due processi supportati da questa architettura di riferimento:
  • Processo di recupero:


    Descrizione di rag-oic.png
    Descrizione dell'immagine rag-oic.png

    rag-oic-oracle.zip

    In questo processo si verifica quanto riportato di seguito.

    1. I dati aziendali o aziendali vengono ricevuti dal servizio di ripristino di Oracle Integration in vari formati, ad esempio PDF, TXT, CSV, XML, JSON e così via mediante REST, File o sFTP o altri protocolli.
    2. Il servizio di recupero esegue il chunk dei documenti o dei dati utilizzando le funzioni OCI.
    3. Il servizio Retriever ottiene quindi le incorporazioni vettoriali per ogni chunk di dati chiamando il servizio di incorporamento dell'AI generativa OCI utilizzando modelli di incorporamento come Cohere o altri.
    4. Infine, il servizio Retriever memorizza queste integrazioni in Oracle Autonomous Database 23ai insieme ai dati in chunk.
  • Processo di Augmentation e Generation:


    Descrizione di rag-oic-aug-gen.png
    Descrizione dell'immagine rag-oic-aug-gen.png

    rag-oic-aug-gen-oracle.zip

    In questo processo si verifica quanto riportato di seguito.

    1. Gli utenti aziendali o aziendali tramite applicazioni front-end fanno domande o domande sui dati aziendali, ad esempio politiche, HR, vendite, cronologia degli acquisti, report finanziari, problemi e così via.
    2. Il servizio Genera di OIC riceve i dati della query e richiama il servizio Aumento dell'integrazione locale per ottenere il contesto per tale query.
    3. Una volta richiamato, il servizio Augment di OIC chiama il servizio di incorporamento di OCI Generative AI per ottenere le integrazioni vettoriali dei dati delle query.
    4. Il servizio Augment di OIC ottiene il contesto memorizzato in Oracle Autonomous Database 23ai, in base alla ricerca semantica delle integrazioni dei vettori di dati delle query. Il contesto recuperato viene inviato di nuovo come risposta al servizio Genera.
    5. Il servizio Generate, con il contesto e la query ricevuti, richiama il servizio di generazione OCI Generative AI per generare la risposta appropriata.
    6. Infine, il servizio Genera risponde con la risposta generata all'utente.

OIC aiuta i clienti ad automatizzare il processo RAG end-to-end. I clienti o le aziende possono trarre vantaggio dall'utilizzo di una piattaforma di integrazione low-code e senza codice per implementare RAG sui propri dati aziendali. L'utilizzo di una piattaforma low-code e senza codice consente lo sviluppo e il go-to-market in poche ore o giorni anziché in mesi.

L'architettura presenta i seguenti componenti:

  • Autonomous Database

    Oracle Autonomous Database è un ambiente di database completamente gestito e preconfigurato che puoi utilizzare per l'elaborazione delle transazioni e i carichi di lavoro di data warehousing. Non è necessario configurare o gestire alcun componente hardware né installare software. Oracle Cloud Infrastructure gestisce la creazione del database, nonché il backup, l'applicazione di patch, l'upgrade e il tuning del database.

  • Autonomous Transaction Processing

    Oracle Autonomous Transaction Processing è un servizio di database self-driving, self-securing, self-repairing ottimizzato per i carichi di lavoro di elaborazione delle transazioni. Non è necessario configurare o gestire alcun componente hardware né installare software. Oracle Cloud Infrastructure gestisce la creazione del database, nonché il backup, l'applicazione di patch, l'upgrade e il tuning del database.

  • Funzioni

    Oracle Cloud Infrastructure Functions è una piattaforma completamente gestita, multi-tenant, altamente scalabile, on-demand e Functions-as-a-Service (FaaS). È alimentato dal motore open source Fn Project. Le funzioni consentono di distribuire il codice e di chiamarlo direttamente o di attivarlo in risposta agli eventi. Oracle Functions utilizza i container Docker ospitati in Oracle Cloud Infrastructure Registry.

  • Integrazione

    Oracle Integration è un servizio completamente gestito che consente di integrare le applicazioni, automatizzare i processi, ottenere insight sui processi aziendali e creare applicazioni visive.

  • AI generativa

    Oracle Cloud Infrastructure Generative AI è un servizio OCI completamente gestito che fornisce un set di modelli di linguaggio di grandi dimensioni (LLM) personalizzabili e all'avanguardia che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, la ricerca semantica e altro ancora. Utilizza il parco giochi per provare i modelli pre-addestrati pronti all'uso o creare e ospitare i tuoi modelli personalizzati ottimizzati basati sui tuoi dati su cluster AI dedicati.

  • Oracle Database 23ai

    Oracle Database 23ai è la prossima release di supporto a lungo termine di Oracle Database. Include oltre 300 nuove funzionalità con un focus sull'intelligenza artificiale (AI) e sulla produttività degli sviluppatori. Funzioni come AI Vector Search ti consentono di sfruttare una nuova generazione di modelli AI per generare e memorizzare vettori di documenti, immagini, suoni e così via; indicizzarli e cercare rapidamente somiglianze sfruttando le funzionalità analitiche esistenti di Oracle Database. Questo insieme al già ampio set di algoritmi di Machine Learning consente di creare rapidamente applicazioni avanzate abilitate all'intelligenza artificiale. Oracle Database 23ai utilizza anche l'intelligenza artificiale per ottimizzare molte delle funzioni chiave del database e fare stime più accurate su tempistiche e costi delle risorse.

conferme

Autore: Pavan Rajalbandi