Informazioni sull'implementazione di un framework TEN con funzionalità AI di livello Enterprise
Due dei maggiori ostacoli all'ampia adozione della conversazione vocale da uomo a AI sono la latenza (o il ritardo) e le sfide wireless dell'ultimo miglio come la rapida variazione della larghezza di banda e l'alta perdita di pacchetti. La rete SD-RTN (Software-Defined Real-Time Network) di Agora, una rete di overlay in tempo reale per Internet, è costruita con routing intelligente e ottimizzazioni dell'ultimo miglio per garantire la massima qualità e la minore latenza. L'applicazione dell'infrastruttura di rete in tempo reale di Agora all'intelligenza artificiale conversazionale basata sulla voce consente agli esseri umani di interagire con l'intelligenza artificiale nello stesso modo in cui farebbero con un essere umano.
Il TEN Framework fornisce un'infrastruttura di rete in tempo reale. L'agente TEN è concesso in licenza con la licenza open-source Apache 2.0, mentre il framework TEN utilizza una licenza open-source ibrida. Agora, come principale sostenitore di TEN, offre servizi di intelligenza artificiale conversazionale costruiti con il framework. OCI può fornire la potenza di calcolo e Oracle Autonomous Database Select AI con il supporto per le funzioni RAG ti consente di utilizzare i LLM per ottenere insight o generare contenuti innovativi basati sui tuoi dati privati utilizzando i prompt del linguaggio naturale.
Architettura
Questa architettura mostra come creare un modello di agente vocale multimodale che utilizza le tecnologie AI di Oracle e Agora per l'infrastruttura AI.
Il seguente diagramma è un esempio di modello di agente vocale AI multimodale in cascata:
Descrizione dell'immagine multimodal-voice-agents.png
Il modello mostra come audio e video vengono elaborati dal modello LLM (Large Language Model) e include i seguenti componenti:
- LLM distribuito su VM OCI
- Riconoscimento vocale (STT acronimo di Speech-to-text)
- Text-to-speech (TTS)
L'infrastruttura AI include il sistema hardware e software sottostante progettato specificamente per supportare le complesse esigenze computazionali delle attività AI. Puoi implementare un'infrastruttura AI in una singola region OCI o implementare un'architettura multicloud in cui la potenza di elaborazione è distribuita in più data center geograficamente dispersi, consentendo un'implementazione flessibile di applicazioni e dati.
Il diagramma riportato di seguito è una singola area OCI con un agente TEN (Transformative Extensions Network) installato su una VM.
Descrizione dell'immagine oci-ten-agent-deploy.png
oci-ten-agent-deploy-oracle.zip
Per un'elaborazione più rapida e una maggiore scalabilità per set di dati di grandi dimensioni, implementa un'infrastruttura multicloud per eseguire algoritmi AI su più nodi di calcolo. Puoi utilizzare un'architettura AI distribuita con le region OCI o in un'architettura multicloud. Un cloud distribuito sfrutta la potenza di un multicloud per suddividere grandi attività AI in parti più piccole ed eseguirle su più nodi contemporaneamente. Consente inoltre un addestramento più rapido di modelli AI complessi su set di dati di grandi dimensioni. Tuttavia, presenta sfide nella gestione della coerenza dei dati e nel coordinamento dei calcoli su nodi diversi.
La seguente architettura utilizza una soluzione multicloud con Google Cloud e OCI in cui Google Kubernetes Engine (GKE) orchestra il processo generale di formazione e inferenza mentre scarica la parte a uso intensivo di calcolo nell'infrastruttura AI OCI su richiesta.
Descrizione dell'immagine oci-google-multiregion.png
oci-google-multiregion-oracle.zip
Le architetture supportano i componenti elencati di seguito.
- Area
Un'area geografica Oracle Cloud Infrastructure è un'area geografica localizzata che contiene uno o più data center, denominati domini di disponibilità. Le regioni sono indipendenti da altre regioni e grandi distanze possono separarle (tra paesi o addirittura continenti).
- Dominio di disponibilità
I domini di disponibilità sono data center standalone e indipendenti all'interno di un'area geografica. Le risorse fisiche in ciascun dominio di disponibilità sono isolate dalle risorse negli altri domini di disponibilità, il che fornisce tolleranza agli errori. I domini di disponibilità non condividono l'infrastruttura, ad esempio alimentazione o raffreddamento, o la rete interna del dominio di disponibilità. Pertanto, un errore in un dominio di disponibilità non dovrebbe influire sugli altri domini di disponibilità nell'area.
- Rete cloud virtuale (VCN) e subnet
Una VCN è una rete personalizzabile e definita dal software configurata in un'area Oracle Cloud Infrastructure. Come le tradizionali reti di data center, le reti VCN consentono di controllare l'ambiente di rete. Una VCN può avere più blocchi CIDR non sovrapposti che è possibile modificare dopo aver creato la VCN. Puoi segmentare una VCN in subnet, che possono essere definite in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. È possibile modificare le dimensioni di una subnet dopo la creazione. Una subnet può essere pubblica o privata.
- Dominio di errore
Un dominio di errore consiste in un gruppo di hardware e infrastruttura all'interno di un dominio di disponibilità. Ogni dominio di disponibilità dispone di tre domini di errore con alimentazione e hardware indipendenti. Quando distribuisci le risorse su più domini di errore, le tue applicazioni possono tollerare errori fisici del server, manutenzione del sistema e errori di alimentazione all'interno di un dominio di errore.
- Load balancer
Oracle Cloud Infrastructure Load Balancing fornisce la distribuzione automatica del traffico da un unico punto di accesso a più server.
- Autonomous Database
Oracle Autonomous Database è un ambiente di database completamente gestito e preconfigurato che puoi utilizzare per l'elaborazione delle transazioni e i carichi di lavoro di data warehousing. Non è necessario configurare o gestire alcun componente hardware né installare software. Oracle Cloud Infrastructure gestisce la creazione, il backup, l'applicazione di patch, l'upgrade e il tuning del database.
- Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) fornisce il controllo dell'accesso degli utenti per Oracle Cloud Infrastructure (OCI) e Oracle Cloud Applications. L'interfaccia API IAM e l'interfaccia utente consentono di gestire i domini di Identity e le risorse al loro interno. Ogni dominio di Identity IAM OCI rappresenta una soluzione standalone per la gestione delle identità e degli accessi o una popolazione di utenti diversa.
- Criterio
Un criterio di Oracle Cloud Infrastructure Identity and Access Management specifica chi può accedere a quali risorse e come. L'accesso viene concesso a livello di gruppo e compartimento. Ciò significa che è possibile scrivere un criterio che fornisce a un gruppo un tipo specifico di accesso all'interno di un compartimento specifico o alla tenancy.
- Audit
Il servizio Oracle Cloud Infrastructure Audit registra automaticamente le chiamate a tutti gli endpoint API (Application Programming Interface) pubblici Oracle Cloud Infrastructure supportati come eventi di log. Tutti i servizi OCI supportano la registrazione da parte di Oracle Cloud Infrastructure Audit.
- LogOracle Cloud Infrastructure Logging è un servizio altamente scalabile e completamente gestito che fornisce l'accesso ai seguenti tipi di log dalle tue risorse nel cloud:
- Log di audit: log correlati agli eventi prodotti da OCI Audit.
- Log dei servizi: log pubblicati da singoli servizi, ad esempio OCI API Gateway, OCI Events, OCI Functions, OCI Load Balancing, OCI Object Storage e log di flusso VCN.
- Log personalizzati: log che contengono informazioni diagnostiche provenienti da applicazioni personalizzate, altri provider cloud o da un ambiente in locale.
- Storage degli oggetti
Lo storage degli oggetti Oracle Cloud Infrastructure fornisce un accesso rapido a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi memorizzare e quindi recuperare i dati direttamente da Internet o dall'interno della piattaforma cloud. Puoi ridimensionare lo storage senza alcun deterioramento delle prestazioni o dell'affidabilità del servizio. Utilizza lo storage standard per lo storage "caldo" a cui è necessario accedere rapidamente, immediatamente e frequentemente. Utilizza lo storage di archivio per lo storage "freddo" che conservi per lunghi periodi di tempo e a cui accedi raramente o raramente.
- Gateway Internet
Un gateway Internet consente il traffico tra le subnet pubbliche di una VCN e la rete Internet pubblica.
- Gateway del servizio
Il gateway di servizi fornisce l'accesso da una VCN ad altri servizi, come Oracle Cloud Infrastructure Object Storage. Il traffico dalla VCN al servizio Oracle viene instradato sul fabric di rete Oracle e non attraversa Internet.
- Web Application Firewall (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) è un servizio di applicazione edge, basato su regionale e conforme al settore delle carte di pagamento (PCI) collegato a un punto di applicazione, come un load balancer o un nome di dominio dell'applicazione Web. WAF protegge le applicazioni dal traffico Internet dannoso e indesiderato. WAF è in grado di proteggere qualsiasi endpoint che si interfaccia con Internet, offrendo un'applicazione coerente delle regole in tutte le applicazioni di un cliente.
- FastConnect
Oracle Cloud Infrastructure FastConnect crea una connessione dedicata e privata tra il data center e Oracle Cloud Infrastructure. FastConnect fornisce opzioni per una maggiore larghezza di banda e un'esperienza di rete più affidabile se confrontata con le connessioni basate su Internet.
I seguenti componenti di terze parti:
- Struttura TEN
Il TEN (Transformative Extensions Network) è un framework open source che consente agli sviluppatori di creare rapidamente agenti multimodali in tempo reale (voce, video, flusso di dati, immagini e testo), rendendo facile per gli sviluppatori sperimentare, integrare modelli di linguaggio di grandi dimensioni e creare estensioni riutilizzabili.
- Agente TEN
L'agente TEN è installato su una virtual machine. Puoi utilizzare TEN per creare agenti che supportano casi d'uso come chatbot vocali, verbali di riunioni generati dall'intelligenza artificiale, tutor linguistici, traduttori simultanei, compagni virtuali, consulenza e molto altro ancora. Gli sviluppatori possono sfruttare un set diversificato di servizi ed estensioni AI e avere la massima flessibilità per creare, testare e implementare gli agenti AI di nuova generazione, in grado di pensare, ascoltare, vedere e interagire come fanno gli esseri umani in tempo reale.
- Llama 3.2
Llama 3.2 è una versione leggera del Llama Large Language Model (LLM) di Meta AI. Llama 3.2 è un modello di linguaggio multimodale auto-regressivo che è possibile utilizzare in attività che richiedono il riconoscimento delle immagini e l'elaborazione del linguaggio.
- Deepgram
Componente di tipo Speech-to-text (STT).
- ISCRIVITI
Componente Text-to-Speech (TTS).
Suggerimenti
- VCN
Quando crei una VCN, determina il numero di blocchi CIDR necessari e la dimensione di ciascun blocco in base al numero di risorse che intendi collegare alle subnet nella VCN. Utilizzare i blocchi CIDR all'interno dello spazio di indirizzi IP privati standard.
Selezionare i blocchi CIDR che non si sovrappongono a qualsiasi altra rete (in Oracle Cloud Infrastructure, nel data center on premise o in un altro provider cloud) a cui si intende impostare connessioni private.
Dopo aver creato una VCN, puoi modificarne, aggiungerne e rimuoverne i blocchi CIDR.
Quando si progettano le subnet, considerare il flusso di traffico e i requisiti di sicurezza. Collega tutte le risorse all'interno di un livello o ruolo specifico alla stessa subnet, che può fungere da limite di sicurezza.
- Liste di sicurezza
Utilizza le liste di sicurezza per definire regole di entrata e uscita che si applicano all'intera subnet.
- Gruppi di sicurezza di rete (NSG)
Puoi utilizzare i gruppi NSG per definire un set di regole in entrata e in uscita che si applicano a VNIC specifiche. Si consiglia di utilizzare i gruppi NSG anziché gli elenchi di sicurezza, poiché i gruppi NSG consentono di separare l'architettura della subnet della VCN dai requisiti di sicurezza dell'applicazione.
- Cloud Guard
Duplica e personalizza le ricette predefinite fornite da Oracle per creare ricette personalizzate del rilevatore e del rispondente. Queste ricette consentono di specificare il tipo di violazione della sicurezza che genera un'avvertenza e le azioni consentite per l'esecuzione. Ad esempio, potresti voler rilevare i bucket di storage degli oggetti con visibilità impostata su Pubblico.
Applica Cloud Guard a livello di tenancy per coprire l'ambito più ampio e ridurre l'onere amministrativo legato alla gestione di più configurazioni.
È inoltre possibile utilizzare la funzione Lista gestita per applicare determinate configurazioni ai rilevatori.
- Zone di sicurezza
Per le risorse che richiedono una maggiore sicurezza, Oracle consiglia di utilizzare le zone di sicurezza. Una zona di sicurezza è un compartimento associato a una ricetta definita da Oracle dei criteri di sicurezza che si basano sulle best practice. Ad esempio, le risorse in una zona di sicurezza non devono essere accessibili dalla rete Internet pubblica e devono essere cifrate utilizzando chiavi gestite dal cliente. Quando crei e aggiorni le risorse in una zona di sicurezza, Oracle Cloud Infrastructure convalida le operazioni in base ai criteri nella ricetta della zona di sicurezza e nega le operazioni che violano uno qualsiasi dei criteri.
- Larghezza di banda del load balancer
Durante la creazione del load balancer, puoi selezionare una forma predefinita che fornisca una larghezza di banda fissa oppure specificare una forma personalizzata (flessibile) in cui impostare un intervallo di larghezza di banda e consentire al servizio di ridimensionare automaticamente la larghezza di banda in base ai pattern di traffico. Con entrambi gli approcci, puoi modificare la forma in qualsiasi momento dopo aver creato il load balancer.
Considerazioni
Quando si implementa un framework TEN multimodale, considerare quanto segue:
- Connettività di rete
Richiede una solida connettività di rete per gestire le risorse di calcolo distribuito in modo efficace.
- GPU
L'infrastruttura AI include cluster di elaborazione ad alte prestazioni con hardware specializzato, come le GPU, per accelerare i calcoli AI. Spesso si avvale di sistemi di storage distribuiti per gestire set di dati di grandi dimensioni in modo efficiente e può coinvolgere framework e librerie AI specializzati per la formazione e la distribuzione di modelli AI. Utilizza il Supercluster OCI per eseguire lo scale-up fino a 32.768 GPU.
- Oracle Database 23ai
L'utilizzo delle tecnologie Oracle Database 23ai e l'assistenza dell'AI offrono i seguenti vantaggi:
- Ridurre il rischio di allucinazioni: sfruttare RAG e AI Vector Search per fornire risposte più precise alle domande sul linguaggio naturale quando si utilizzano LLM con dati aziendali.
- Supporto GPU NVIDIA di Oracle Autonomous Database: accedi alle GPU NVIDIA per accelerare le prestazioni di determinate operazioni sui dati AI senza doverti preoccupare di eseguire il provisioning o gestire i server GPU. Puoi sfruttare Oracle Machine Learning Notebooks che utilizza package Python abilitati per GPU per carichi di lavoro a uso intensivo di risorse, ad esempio generando incorporamenti vettoriali utilizzando modelli di trasformatori e creando modelli di deep learning.
- Supporto più ampio per LLM: aiuta le organizzazioni a ottenere più valore dall'AI generativa con l'integrazione integrata da Oracle Autonomous Database a LLM aggiuntivi: Google Gemini, Anthropic Claude e Hugging Face. Autonomous Database si integra con 35 LLM diversi in sette provider per offrirti una vasta scelta nella creazione di applicazioni GenDev.
- Miglioramenti all'intelligenza artificiale di Data Studio: prepara e carica i dati utilizzando il linguaggio naturale, oltre a utilizzare uno strumento visivo "drag and drop" per creare pipeline AI con incorporamenti di vettori di testo e immagini.
- Miglioramenti di Graph Studio: crea modelli Operational Property Graph senza codice, nuovi in Oracle Database 23ai, utilizzando lo strumento self-service integrato.
- Autonomous Database per sviluppatori: accedi al ricco set di funzioni e strumenti forniti da Oracle Autonomous Database a una tariffa oraria fissa. Ciò fornisce un punto di accesso inferiore e più prevedibile per i casi d'uso di sviluppo con un semplice percorso di aggiornamento alla distribuzione di produzione.
- Multicloud
La capacità di OCI di lavorare in un'architettura multicloud offre i seguenti vantaggi:
- Consente di distribuire applicazioni e dati in varie posizioni, tra cui on-premise, dispositivi edge e cloud pubblici.
- Offre prestazioni, resilienza e località dei dati migliori a seconda della posizione dell'utente.
- OCI è un hyperscaler in grado di fornire più di 150 servizi cloud in qualsiasi ambiente, ovunque. In alternativa, ottieni i servizi Oracle Database dalle region di AWS, Microsoft Azure e Google Cloud.
Visualizza altro
Esaminare queste risorse aggiuntive per ulteriori informazioni sulle funzioni di questa architettura di riferimento.
- Documentazione su Oracle Cloud Infrastructure
- Documentazione sull'AI generativa OCI
- AI generativa OCI
- Annuncio di Select AI con Retrieval Augmented Generation (RAG) su Autonomous Database (blog)
- Struttura TEN
Esaminare le risorse OCI riportate di seguito.