Implementa un'interfaccia utente basata sul Web per interagire con gli agenti di Oracle Cloud Infrastructure Generative AI
Utilizza gli agenti di Oracle Cloud Infrastructure Generative AI (OCI Generative AI) per implementare un'interfaccia Web interattiva che consente agli utenti di partecipare a conversazioni in tempo reale.
L'AI generativa OCI non fornisce un'interfaccia utente esterna alla console OCI e gli utenti desiderano utilizzare l'API per integrarla nei propri progetti Web. Questa architettura di riferimento presenta un'applicazione Web che utilizza agenti di AI generativa OCI, integrati anche con Speech to Text e Text to Speech in tempo reale, al fine di fornire un'esperienza completa senza lasciare i dati dei tenant del client. Questa soluzione prevede la connessione di una macchina virtuale all'applicazione Web e al servizio OCI Speech tramite socket Web.
Utilizzando la trascrizione in tempo reale di OCI Speech, tutto ciò che l'utente dice viene immediatamente convertito in testo ed elaborato dall'agente AI. L'agente AI genera quindi una risposta, che non viene visualizzata solo sullo schermo, ma anche richiamata all'utente mediante la funzionalità di sintesi vocale di OCI Speech. Ciò crea un'interazione completamente immersiva, naturale e dinamica, ideale per il servizio clienti, gli assistenti virtuali e le soluzioni di intelligenza artificiale conversazionale.
Architettura
Questa architettura di riferimento si basa su Oracle Visual Builder come interfaccia front-end, che si integra perfettamente con gli agenti OCI Generative AI e OCI Speech.
- Oracle Visual Builder invia gli input utente a OCI Speech tramite il bridge VM con SDK Python.
- La funzione text-to-speech di OCI Speech consente di sintetizzare la sintesi vocale simile a quella di un essere umano da testo in tutte le applicazioni. Questa funzione consente conversazioni con i clienti, traduzioni vocali in più lingue e maggiore accessibilità. Scegli tra una varietà di voci per migliorare le interazioni.
- Oracle Visual Builder gestisce le interazioni utente, inviando input utente agli agenti dell'AI generativa OCI tramite le API REST e visualizzando le risposte dell'agente in tempo reale.
Gli agenti dell'AI generativa OCI utilizzano l'AI generativa OCI dietro le quinte per consentire l'accesso a modelli di base pre-addestrati da Cohere e Meta. Supporta cluster AI dedicati con GPU private per carichi di lavoro di produzione stabili e ad alte prestazioni, tra cui hosting e ottimizzazione.
Chat API e Playground offrono un'esperienza di chat interattiva con i modelli Cohere e Meta tramite la console o l'API OCI. L'integrazione LangChain consente lo sviluppo flessibile delle applicazioni di AI generativa OCI, mentre l'integrazione LlamaIndex consente di creare soluzioni RAG con origini dati personalizzate. Per le operazioni, OCI Generative AI include i controlli di moderazione dei contenuti e presto supporterà lo scambio di endpoint dei modelli senza tempi di inattività, nonché le funzioni di attivazione e disattivazione. Fornisce inoltre l'analitica sull'uso del modello, incluse le statistiche delle chiamate, i token elaborati e i conteggi degli errori.
- Per l'output vocale, il servizio OCI Speech (TTS, Text-to-Speech) converte le risposte dell'agente in audio parlato, migliorando l'esperienza utente.
Il seguente diagramma illustra questa architettura di riferimento.
oci-genai-speech-arch-oracle.zip
L'architettura presenta i seguenti componenti:
- Calcolo
Con Oracle Cloud Infrastructure Compute, puoi eseguire il provisioning e gestire gli host di computazione nel cloud. Puoi avviare istanze di computazione con forme che soddisfano i requisiti delle risorse per CPU, memoria, larghezza di banda di rete e storage. Dopo aver creato un'istanza di computazione, puoi accedervi in tutta sicurezza, riavviarla, collegare e scollegare i volumi e arrestarla quando non ne hai più bisogno.
- OCI Speech
OCI Speech è uno dei numerosi servizi AI cloud nativi. È possibile utilizzare il servizio OCI Speech per convertire i file audio in testo leggibile memorizzato in formato JSON.
OCI Speech sfrutta la potenza del linguaggio parlato consentendoti di convertire facilmente file audio contenenti parole umane in trascrizioni di testo altamente accurate. Il servizio è un'applicazione nativa OCI a cui è possibile accedere utilizzando un'applicazione Web, un'API REST, un SDK, un'interfaccia CLI o una console.
OCI Speech utilizza la tecnologia ASR (Automatic Speech Recognition) per fornire una trascrizione grammaticalmente corretta dei file video e audio. OCI Speech gestisce registrazioni audio a bassa fedeltà e trascrive registrazioni impegnative come riunioni o chiamate al call center. Con Speech, puoi trasformare i file memorizzati nello storage degli oggetti OCI o in un asset di dati in testo accurato, normalizzato, con indicatore orario e filtrato in termini di volgarità. Questa funzionalità è disponibile con i servizi a valle. Ad esempio, puoi utilizzare servizi aggiuntivi come la lingua e le previsioni per analizzare il sentiment delle chiamate, indirizzare i contenuti per la pubblicità, indicizzare le tue cartelle multimediali e creare un motore di ricerca multimediale utilizzando Oracle Cloud Infrastructure Lakehouse.
- Agenti di OCI Generative AI
Gli agenti dell'AI generativa OCI sono un servizio completamente gestito che combina la potenza dei modelli di linguaggio di grandi dimensioni (LLM) con un sistema di recupero intelligente volto a creare risposte pertinenti al contesto cercando nella knowledge base.
Gli agenti dell'AI generativa OCI supportano diversi modi per inserire i dati in cui tu e i tuoi clienti potete interagire con i dati utilizzando un'interfaccia di chat o un'API.
- Supporta diversi metodi di data on-boarding e canali di interazione (interfaccia di chat o API).
- Crea risposte pertinenti al contesto cercando nella knowledge base.
- Fornisce l'attribuzione origine per ogni risposta.
- Offre funzionalità di ricerca ibride (lessiche e semantiche). Include le opzioni di moderazione del contenuto per l'input e l'output.
- Supporta conversazioni a più turni, in cui gli utenti possono porre domande di follow-up e ricevere risposte che considerano il contesto di domande e risposte precedenti.
- Può interpretare i dati da grafici a due assi e tabelle di riferimento in un PDF, senza bisogno di descrizioni esplicite degli elementi visivi.
- Tutti i collegamenti ipertestuali presenti nei documenti PDF vengono estratti e visualizzati come collegamenti ipertestuali nella risposta della chat.
- Oracle Visual Builder
Oracle Visual Builder è un'esperienza di sviluppo intuitiva a cui si aggiunge una piattaforma di sviluppo e hosting che consente di creare applicazioni reattive coinvolgenti. Concentrandosi sulla facilità d'uso e su un approccio di sviluppo visivo, offre un modo semplice per creare applicazioni ospitate nella piattaforma cloud sicura e scalabile di Oracle.
Esperienza di sviluppo visivo
Oracle Visual Builder offre strumenti di sviluppo visivo semplici ma potenti per creare app reattive, il tutto senza la necessità di installare alcun software aggiuntivo. Questo ricco set di strumenti visivi consente di progettare rapidamente l'applicazione trascinando e rilasciando i componenti dell'interfaccia utente e personalizzandone gli attributi per definire il comportamento. Mentre questi strumenti si prestano a sviluppatori low-code, gli sviluppatori esperti possono accedere facilmente al codice sorgente sottostante, anche estenderlo utilizzando tecniche standard HTML5, JavaScript e CSS per esigenze complesse.
Accesso semplice ai dati
Oracle Visual Builder semplifica l'accesso ai dati dell'applicazione tramite servizi basati su REST. È pertanto possibile creare business object riutilizzabili per implementare la business logic dell'applicazione e memorizzarne i dati, che possono quindi essere gestiti mediante endpoint REST generati automaticamente da Oracle Visual Builder, oppure selezionare gli oggetti dati esposti dalle applicazioni Oracle SaaS o Oracle Integration in un catalogo integrato di servizi REST. Puoi anche accedere ai dati da qualsiasi servizio REST esterno con pochi clic.
Piattaforma di sviluppo e hosting
Oracle Visual Builder è uno strumento di sviluppo completo e una piattaforma di hosting, il che significa che puoi gestire il ciclo di vita della tua applicazione dallo sviluppo al test e alla pubblicazione finale. La gestione delle versioni e la migrazione dei dati sono integrate nel ciclo di vita di un'applicazione, semplificando l'inserimento nell'area intermedia e la pubblicazione dell'applicazione e la gestione dei dati in ogni fase.