Abilitare un motore di applicazioni LLM modulare a basso codice utilizzando Oracle Integration e OCI Generative AI

Abilitare un motore di applicazioni LLM modulare con low code utilizzando Oracle Integration e OCI Generative AI

Oracle Integration è un servizio completamente gestito che consente un approccio low-code o no-code per la connettività aziendale, l'estensione e le funzionalità di automazione per modernizzare rapidamente applicazioni, processi aziendali, API e dati. Grazie a un'esperienza visiva di sviluppo, integrazioni predefinite e best practice integrate, Oracle Integration può orchestrare API, app, sistemi e così via e abilitare applicazioni e flussi aziendali personalizzati basati sull'intelligenza artificiale e sull'uomo.

Oracle Cloud Infrastructure Generative AI (OCI Generative AI) è un servizio completamente gestito che fornisce un set di modelli di linguaggio di grandi dimensioni (LLM) all'avanguardia e personalizzabili che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, l'incorporamento e il completamento della chat. Puoi utilizzare il parco giochi, un'interfaccia nella console per esplorare i modelli pre-addestrati e personalizzati ospitati senza scrivere una singola riga di codice o creare e ospitare i tuoi modelli personalizzati ottimizzati in base ai tuoi dati su cluster AI dedicati.

Combinazione dei servizi Oracle Integration e OCI Generative AI con altri servizi OCI come Oracle Cloud Infrastructure Streaming (OCI Streaming, un servizio Kafka gestito da Oracle), OCI Document Understanding (servizio serverless accessibile utilizzando le chiamate API REST per il riconoscimento ottico dei caratteri (OCR), estrazione del testo, estrazione dei valori chiave, estrazione delle tabelle e classificazione dei documenti), Oracle Cloud Infrastructure Language (servizio serverless accessibile mediante chiamate API REST per l'analisi del sentiment del testo, riconoscimento di entità denominato, classificazione e altro ancora), OCI Vision (servizio serverless accessibile mediante chiamate API REST per il rilevamento degli oggetti e la classificazione delle immagini), Oracle Cloud Infrastructure Data Science (piattaforma serverless completamente gestita che i team di data science possono utilizzare per creare, formare, e gestisci il machine learning - modelli ML ) e altri utilizzando gli adattatori nativi di Oracle Integration e l'approccio di sviluppo visivo, ti offre la possibilità di abilitare applicazioni personalizzate basate su LLM modulari, scalabili, manutenibili e protette.

Architettura

Questa architettura di riferimento fornisce le considerazioni e i suggerimenti necessari per abilitare un motore applicazioni LLM basato sull'intelligenza artificiale, modulare e basato sugli eventi, utilizzando:

Un approccio low-code o no-code per i flussi Data Loader e Query Engine dell'applicazione LLM con gli strumenti di orchestrazione visiva Oracle Integration e gli adattatori nativi per diversi canali di dati social, di produttività e aziendali (gli utenti immettono nel motore applicazioni LLM documenti, immagini, dati aziendali o query) e origini (origine dei dati utilizzati dal motore applicazioni LLM), nonché adattatori nativi per i diversi servizi OCI utilizzati dal motore applicazioni LLM (API REST OCI Generative AI, database vettoriali o negozi, API REST Oracle Cloud Infrastructure Language, endpoint REST Oracle Cloud Infrastructure Data Science Custom Model REST e altro ancora). Ciò consente di impostare rapidamente i flussi aziendali dell'applicazione LLM
Pattern basato su eventi per scollegare i canali e le origini di documenti, immagini e dati business, nonché i canali di query dai moduli Data Loader e Query Engine di LLM App Engine utilizzando il servizio OCI Streaming (servizio Kafka gestito da Oracle) e l'adattatore nativo disponibile per questo servizio OCI in Oracle Integration. Ciò consente di abilitare un'applicazione LLM scalabile ed efficiente.
Una connessione privata al cloud di 3a parte, alle applicazioni, ai sistemi on-premise e così via, utilizzando l'agente di connettività Oracle Integration, che è il fattore chiave per le architetture di integrazione ibrida e multicloud, specialmente in un'applicazione LLM in cui documenti, immagini, dati aziendali, query dagli utenti possono provenire da tali sistemi e si desidera mantenere il transito per documenti e dati privati e protetti. Questo aiuta a migliorare la sicurezza del flusso LLM end-to-end, mantenendo il traffico all'interno delle reti private.
La possibilità di utilizzare modelli LLM nativi o modelli LLM personalizzati ottimizzati nell'applicazione LLM come servizi in OCI (orchestrando gli endpoint dei modelli di AI generativa OCI o gli endpoint dei modelli di Data Science OCI utilizzando gli adattatori cloud nativi Oracle Integration).
Un approccio flessibile per collegare o scollegare l'interfaccia utente (UI) personale per l'applicazione LLM con il motore APP LLM oppure un approccio low-code per creare l'interfaccia utente utilizzando Visual App Builder in Oracle Integration o Oracle APEX.

Il seguente diagramma illustra questa architettura di riferimento.

Descrizione dell'immagine oci-lowcode-ai-arch.png

oci-lowcode-ai-arch-oracle.zip

Il Low-Code LLM App Engine è composto da 2 blocchi principali:

Programma di caricamento dati business, immagini e documenti

Descrizione dell'immagine oci-generative-ai-llm-data-loader-arch.png

oci-generative-ai-llm-data-loader-arch-oracle.zip

Questo blocco riceve per la prima volta i documenti di input, le immagini o i dati aziendali aggiunti da un utente tramite un canale Social/Produttività (ad esempio, WhatsApp, Outlook, Gmail, Twitter e così via), un canale di dati aziendali (ad esempio, un'applicazione Web in locale o cloud di 3a parte, Content Management System, Cloud Storage di 3a parte come Microsoft Azure Cloud Storage, AWS S3, Google Cloud Storage, FTP, File Server, ERP, CX, HCM - applicazioni on premise o SaaS e così via), un'interfaccia utente personalizzata di Knowledge Search Engine (ad esempio, un'interfaccia utente personalizzata creata utilizzando strumenti di applicazione visiva low-code come Visual Builder in Oracle Integration o Oracle APEX in Oracle Database) o direttamente in un bucket di OCI Object Storage, utilizzando Oracle Integration Visual Orchestration Flows e adattatori nativi.
I documenti, le immagini o i dati aziendali vengono estratti a seconda del tipo di input. Ad esempio, per l'oggetto immagine, il rilevamento del testo è possibile utilizzare il servizio OCI AI Vision, per la classificazione dei documenti, l'estrazione è possibile utilizzare il servizio OCI AI Document Understanding, per tipi specifici di immagini, documenti è possibile utilizzare una funzione serverless nel linguaggio di programmazione preferito utilizzando OCI Functions e così via).
I documenti, le immagini o i dati aziendali possono essere elaborati da:
- Estrazione dei metadati mediante il servizio OCI AI Language (ad esempio, entità, estrazione delle parole chiave, estrazione delle frasi chiave, analisi delle opinioni, rilevamento e offuscamento delle informazioni di identificazione personale/PII e così via) per un ulteriore recupero del contesto pertinente (ad esempio per abilitare la generazione aumentata di recupero (RAG) e così via).
- Integrazione dei dati con un modello LLM mediante il servizio AI generativa OCI per un ulteriore recupero del contesto pertinente, ad esempio per abilitare la generazione aumentata di recupero (RAG, Retrieval Augmented Generation) e così via.
- Riepilogare i dati con un modello LLM utilizzando il servizio AI generativa OCI per un ulteriore recupero del contesto pertinente (ad esempio, per abilitare un indice di riepilogo per la ricerca su più documenti, denominato anche recupero gerarchico strutturato e così via).
- Memorizzazione dei dati in un'area di memorizzazione relazionale per ulteriori ricerche sui dati strutturati, ad esempio Oracle Database, Oracle Database Cloud Service, Autonomous Database, MySQL, PostgreSQL e così via.
- Indicizzazione dei dati in un'area di memorizzazione vettoriale per ulteriori ricerche sui dati non strutturati (ad esempio, Vector, Summary, Keyword Indexes with OCI AI Vector Search, OCI Search Service with OpenSearch, Qdrant e così via).
  Nota: la nuova funzione di ricerca della somiglianza dei vettori AI sarà disponibile in Oracle Database 23.4c.

Motore query
Descrizione di oci-generative-ai-llm-query-engine-arch.png
Descrizione dell'immagine oci-generative-ai-llm-query-engine-arch.png

oci-generative-ai-llm-query-engine-arch-oracle.zip

Questo blocco riceve innanzitutto la query di input da un utente tramite un canale Social, Produttività (ad esempio Whatsapp, Outlook, Gmail e così via), un canale dati business (ad esempio, un'applicazione Web On-Prem/Cloud di 3a parte, e così via) o da un'interfaccia utente personalizzata di Knowledge Search Engine (ad esempio, un'interfaccia utente personalizzata creata utilizzando strumenti di applicazione visiva low-code come Visual Builder in Oracle Integration o Oracle APEX in Oracle Database) utilizzando i flussi di orchestrazione visiva di Oracle Integration e gli adattatori nativi.
La query immette la pipeline di query utilizzando Oracle Integration, dove può essere elaborata da uno dei seguenti elementi:
- Filtrare la query utilizzando il servizio OCI Generative AI per evitare l'inserimento rapido.
- Riscrivere o trasformare la query utilizzando il servizio OCI Generative AI, al fine di ottenere un recupero del contesto più pertinente.
- Instradamento della query con selettori del motore di query mediante OCI Generative AI per determinare come eseguire la query sui dati come riepilogo dei dati, come recupero di un contesto specifico.
- Estrazione della cronologia delle conversazioni da un'area di memorizzazione della cronologia delle chat mediante OCI Cache con Redis, in caso di casi d'uso per il completamento della chat in cui è richiesta la memoria della chat.
- Incorporamento della query mediante il servizio AI generativa OCI per i casi d'uso di recupero del contesto pertinenti, ad esempio per abilitare la generazione aumentata di recupero (RAG, Retrieval Augmented Generation) e così via.
- Instradamento dei recuperatori di contesto rilevanti mediante il servizio AI generativa OCI per determinare le origini dati da cui ottenere i dati per rispondere alla query di input.
- Recupero dei dati di contesto rilevanti per rispondere alla query da Vector Stores (ad esempio, OCI AI Vector Search, OCI Search Service with OpenSearch, Qdrant e così via) per i casi d'uso Retrieval Augmented Generation (RAG), aree di memorizzazione relazionali (ad esempio, Oracle Database, Oracle Database Cloud Service, Autonomous Database, MySQL, PostgreSQL e così via) per la ricerca su dati aziendali strutturati o su origini dati social, di produttività e aziendali (ad esempio Twitter, Outlook, Gmail, applicazioni ERP/HCM/CX e così via) per la ricerca su richiesta sui dati aziendali, il tutto orchestrato da Oracle Integration utilizzando adattatori nativi per connettersi a queste origini dati.
- Nuova classificazione dei dati di contesto rilevanti recuperati utilizzando un modello di nuova classificazione distribuito ed esposto in OCI Data Science, al fine di ottimizzare la ricerca.
- Generazione della risposta finale alla query mediante le funzionalità del servizio AI generativa OCI per il riepilogo, la generazione e il completamento della chat.

L'architettura presenta i seguenti componenti:

Oracle Integration
Oracle Integration è un servizio completamente gestito e una piattaforma di connettività aziendale low-code, estensione e automazione per modernizzare rapidamente applicazioni, processi aziendali, API e dati. Gli sviluppatori e gli architetti cloud possono connettere le applicazioni SaaS e on-premise sei volte più velocemente con un'esperienza di sviluppo visivo, integrazioni predefinite e best practice integrate. Oracle Integration ti offre l'accesso nativo agli eventi in Oracle Cloud ERP, HCM e CX. Connetti i silos analitici specifici delle app per semplificare i processi strategici da richiesta a ricezione, dal recruiting al pagamento, dal lead alla fattura e altri processi critici. Infine, offri ai tuoi leader IT e aziendali visibilità end-to-end.
AI generativa OCI
L'AI generativa Oracle Cloud Infrastructure (OCI) è un servizio completamente gestito disponibile tramite un'API per integrare perfettamente questi versatili modelli linguistici in una vasta gamma di casi d'uso, tra cui assistenza alla scrittura, riepilogo e chat. Il servizio AI generativa OCI include i seguenti modelli di base:
- Generazione: fornire istruzioni per generare testo o estrarre informazioni dal testo.
- Riepilogo: sintetizza il testo con il formato, la lunghezza e il tono specificati.
- Integrazione: consente di convertire il testo in incorporazioni vettoriali da utilizzare nelle applicazioni per ricerche semantiche, classificazione del testo o configurazione cluster del testo.
OCI Document Understanding
OCI Document Understanding è un servizio AI che consente agli sviluppatori di estrarre testo, tabelle e altri dati chiave dai file di documento attraverso API e strumenti di interfaccia a riga di comando. Con OCI Document Understanding, puoi automatizzare noiosi task di elaborazione aziendale con modelli AI predefiniti e personalizzare l'estrazione dei documenti in base alle esigenze specifiche del tuo settore.
Oracle Cloud Infrastructure Language
Il linguaggio OCI è un servizio serverless e multi-tenant accessibile mediante chiamate API REST. Fornisce modelli pre-addestrati che vengono spesso riaddestrati e monitorati per ottenere i migliori risultati. Il linguaggio offre funzionalità di intelligenza artificiale e machine learning per rilevare la lingua nel testo non strutturato. Inoltre, fornisce altri strumenti per aiutarti a ottenere ulteriori informazioni sul tuo testo.
OCI Vision
OCI Vision è un servizio AI per eseguire analisi delle immagini basate sul deep learning su larga scala. Grazie ai modelli predefiniti disponibili pronti all'uso, gli sviluppatori possono facilmente creare riconoscimento delle immagini e riconoscimento del testo nelle proprie applicazioni senza la necessità di competenze di Machine Learning (ML). Per i casi d'uso specifici del settore, gli sviluppatori possono addestrare automaticamente modelli Vision personalizzati con i propri dati. Questi modelli possono essere utilizzati per rilevare anomalie visive nella produzione, estrarre testo dai documenti per automatizzare i flussi di lavoro aziendali e contrassegnare gli elementi nelle immagini per conteggiare prodotti o spedizioni. Oltre ad avere accesso a modelli pre-addestrati, gli sviluppatori possono creare modelli personalizzati senza competenze di data science o gestire un'infrastruttura di modelli personalizzati.
storage degli oggetti
Lo storage degli oggetti offre un accesso rapido a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi memorizzare e quindi recuperare i dati direttamente da Internet o dall'interno della piattaforma cloud. Puoi ridimensionare lo storage senza problemi senza compromettere le prestazioni o l'affidabilità del servizio. Utilizza lo storage standard per lo storage "caldo" a cui è necessario accedere rapidamente, immediatamente e frequentemente. Utilizza lo storage di archivio per lo storage "freddo" che conservi per lunghi periodi di tempo e a cui accedi raramente o raramente.
Data Science
Oracle Cloud Infrastructure Data Science è una piattaforma completamente gestita e serverless che i team di data science possono utilizzare per creare, addestrare e gestire modelli di Machine Learning (ML) su Oracle Cloud Infrastructure (OCI). Può facilmente integrarsi con altri servizi OCI, come Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage e altro ancora. Puoi creare e valutare modelli di machine learning di alta qualità che aumentano la flessibilità aziendale mettendo rapidamente a frutto i dati affidabili dell'azienda e puoi supportare obiettivi aziendali basati sui dati con una distribuzione più semplice dei modelli ML.
Servizio di ricerca OCI con OpenSearch
OCI Search Service with OpenSearch è un motore di insight offerto come servizio gestito da Oracle. Senza tempi di inattività, Oracle automatizza l'applicazione di patch, l'aggiornamento, l'aggiornamento, il backup e il ridimensionamento del servizio. I clienti possono archiviare, cercare e analizzare rapidamente grandi volumi di dati e visualizzare i risultati quasi in tempo reale.
Cache OCI con Redis
Oracle Cloud Infrastructure Cache with Redis è una soluzione di cache completa e gestita in-memory basata su Redis open source. Questo servizio completamente gestito accelera le operazioni di lettura e scrittura dei dati, migliorando notevolmente i tempi di risposta delle applicazioni e le prestazioni del database per offrire una customer experience migliore.
Servizio APEX
Oracle APEX Application Development (APEX) è una piattaforma di sviluppo low-code che consente di creare applicazioni enterprise scalabili, ricche di funzioni, sicure che possono essere distribuite ovunque sia installato Oracle Database. Non è necessario essere esperti in una vasta gamma di tecnologie per fornire soluzioni sofisticate. Il servizio APEX include funzioni incorporate, quali i temi dell'interfaccia utente, i controlli di navigazione, gli handler dei form e i report flessibili che accelerano il processo di sviluppo delle applicazioni.
Oracle Database 23 (ricerca AI Vector)
Oracle Database 23c offre il database convergente più completo e semplice per gli sviluppatori che desiderano creare nuovi microservizi, grafici, documenti e relazionali. applications.Oracle ha annunciato il piano per aggiungere funzionalità di ricerca semantica utilizzando i vettori AI a Oracle Database 23c. La raccolta di funzioni, chiamata AI Vector Search, include un nuovo tipo di dati vettoriali, indici vettoriali e operatori SQL di ricerca vettoriale che consentono a Oracle Database di memorizzare il contenuto semantico di documenti, immagini e altri dati non strutturati come vettori e di utilizzarli per eseguire query di somiglianza veloce. Per ulteriori informazioni, vedere il collegamento Comunicato stampa nella sezione Esplora altri.
Streaming
Oracle Cloud Infrastructure Streaming offre una soluzione di storage completamente gestita, scalabile e duratura dedicata all'inclusione di flussi di dati continui e a elevato volume che puoi utilizzare ed elaborare in tempo reale. Puoi utilizzare la funzionalità Streaming per l'inclusione di dati a elevato volume, quali i log dell'applicazione, la telemetria operativa, i dati di click-stream Web o per altri casi d'uso in cui i dati vengono prodotti ed elaborati in modo continuo e sequenziale in un modello di messaggistica di tipo pubblicazione e sottoscrizione.
Eventi
I servizi Oracle Cloud Infrastructure emettono eventi, ovvero messaggi strutturati che descrivono le modifiche alle risorse. Gli eventi vengono emessi per le operazioni di creazione, lettura, aggiornamento o eliminazione (CRUD), le modifiche allo stato del ciclo di vita delle risorse e gli eventi di sistema che influiscono sulle risorse cloud.
Funzioni
Oracle Cloud Infrastructure Functions è una piattaforma completamente gestita, multi-tenant, altamente scalabile, on-demand e Functions-as-a-Service (FaaS). È alimentato dal motore open source Fn Project. Le funzioni consentono di distribuire il codice e di chiamarlo direttamente o di attivarlo in risposta agli eventi. Oracle Functions utilizza i container Docker ospitati in Oracle Cloud Infrastructure Registry.
API Gateway
Oracle API Gateway ti consente di pubblicare le API con endpoint privati accessibili dall'interno della tua rete e che, se necessario, puoi esporre alla rete Internet pubblica. Gli endpoint supportano la convalida delle API, la trasformazione delle richieste e delle risposte, il CORS, l'autenticazione e l'autorizzazione e la limitazione delle richieste.
Web Application Firewall (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) è un servizio di applicazione edge, basato su regionale e conforme al settore delle carte di pagamento (PCI) collegato a un punto di applicazione, come un load balancer o un nome di dominio dell'applicazione Web. WAF protegge le applicazioni dal traffico Internet dannoso e indesiderato. WAF è in grado di proteggere qualsiasi endpoint che si interfaccia con Internet, offrendo un'applicazione coerente delle regole in tutte le applicazioni di un cliente.
Area
Un'area geografica Oracle Cloud Infrastructure è un'area geografica localizzata che contiene uno o più data center, denominati domini di disponibilità. Le regioni sono indipendenti da altre regioni e grandi distanze possono separarle (tra paesi o addirittura continenti).
Rete e subnet del cloud virtuale (VCN)
Una VCN è una rete personalizzabile e definita dal software configurata in un'area Oracle Cloud Infrastructure. Come le tradizionali reti di data center, le reti VCN offrono un controllo completo sull'ambiente di rete. Una VCN può avere più blocchi CIDR non sovrapposti che è possibile modificare dopo aver creato la VCN. Puoi segmentare una VCN in subnet, che possono essere definite in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. È possibile modificare le dimensioni di una subnet dopo la creazione. Una subnet può essere pubblica o privata.

Suggerimenti

Utilizzare i seguenti suggerimenti come punto di partenza. I requisiti dell'utente potrebbero essere diversi dall'architettura descritta qui.

Manutenzione e alta disponibilità
L'architettura di riferimento utilizza quasi solo i servizi PaaS gestiti da Oracle. Non è necessario installare, applicare patch, aggiornare o aggiornare il software utilizzando questa soluzione. Questa opzione è valida per: Oracle Integration, OCI Generative AI, OCI Document Understanding, OCI Vision, Oracle Cloud Infrastructure Language, Oracle Cloud Infrastructure Data Science, OCI Object Storage, OCI Events, OCI Streaming, OCI Functions, OCI API Gateway, Oracle Cloud Infrastructure Web Application Firewall.

L'unico componente che potrebbe richiedere attenzione è l'agente di connettività Oracle Integration installato in un'istanza di computazione per accedere alle risorse quali il cluster OpenSearch OCI, Autonomous Database e così via che risiedono in una rete privata. Seguire le linee guida riportate nella documentazione di Oracle Integration per rendere l'agente di connettività Oracle Integration facile da gestire e ad alta disponibilità.
Scalabilità e dimensioni
Questa architettura di riferimento utilizza i servizi PaaS ed è scalabile e pronta all'uso per la maggior parte dei servizi inclusi. Tenere presente che il cluster OpenSearch OCI e il cluster OCI Cache with Redis non eseguono lo scale-up e lo scale-down automatici (solo manualmente). Pertanto, è necessario un corretto ridimensionamento della soluzione in base al tuo caso d'uso.
Connettività
Tutte le connessioni all'interno di OCI devono essere stabilite tramite una rete privata:
- È possibile utilizzare l'opzione endpoint privati o gli agenti di connettività in Oracle Integration per connettersi a servizi OCI privati come OCI Streaming, Oracle Autonomous Database, Oracle Database, Oracle Database Cloud Service e così via.
- Gli agenti di connettività Oracle Integration che si connettono a servizi privati quali il cluster OpenSearch OCI, la cache OCI con il cluster Redis e così via devono essere installati in una VM OCI all'interno della stessa subnet privata in cui vengono distribuiti questi servizi.
- I flussi o gli argomenti Kafka di streaming OCI creati devono essere associati a un pool di flussi distribuito con un endpoint privato (associato a una subnet privata in una VCN OCI). Nel caso di flussi Kafka privati di streaming OCI o argomenti come gli argomenti dei risultati dell'estrazione di documenti e immagini (vedere il blocco logico, Document, Image and Business Data Loader sopra) che ricevono i metadati dei file dei risultati dell'estrazione di OCI Document Understanding dagli eventi OCI, è possibile utilizzare le funzioni OCI con gli eventi OCI per consegnare messaggi agli endpoint di streaming privati.
- Gli agenti di connettività che si connettono ai servizi on premise o cloud di 3a parte (ad esempio, i database SQL di Azure) devono essere installati in una VM all'interno della stessa subnet privata in cui vengono distribuiti questi servizi esterni.
Limitare l'accesso a un'istanza di Oracle Integration
Limitare le reti che hanno accesso all'istanza di Oracle Integration configurando la lista di inclusione di Oracle Integration (in precedenza una lista di inclusione). Solo gli utenti, i sistemi di indirizzi IP specifici, i blocchi CIDR (Classless Inter-Domain Routing) e le reti cloud virtuali specificate possono accedere all'istanza di Oracle Integration.

In questa architettura di riferimento, la lista di inclusione di Oracle Integration potrebbe limitare l'accesso all'istanza di Oracle Integration, consentendo solo le richieste avviate dalle applicazioni cloud distribuite su OCI, applicazioni Oracle SaaS, non Oracle Cloud, Web in locale, Saas, applicazioni cloud e OCID VCN associati alle VM che ospitano gli agenti di connettività Oracle Integration.

Considerazioni

Quando si distribuisce questa architettura di riferimento, tenere presente quanto riportato di seguito.

Sicurezza
I cluster AI dedicati in AI generativa OCI sono risorse di computazione che è possibile utilizzare per il tuning di modelli LLM personalizzati o per l'hosting di endpoint per modelli LLM personalizzati. I cluster sono dedicati ai modelli e non vengono condivisi con gli utenti di altre tenancy. L'uso dell'AI generativa OCI del modello personalizzato consente di perfezionare i modelli utilizzando i propri dati. In caso contrario, puoi utilizzare i tuoi dati implementando Retrieval Augmented Generation (RAG) che combina tecniche di incorporamento, indicizzazione e così via utilizzando modelli on-demand OCI Generative AI, Vector Stores (ad esempio, OCI Vector Search, Open Search e così via) e altro ancora.

Utilizza i criteri di Oracle Cloud Infrastructure Identity and Access Management (OCI IAM) per controllare chi può accedere alle risorse cloud (ad esempio, Oracle Integration, OCI Language, OCI Vision, OCI Generative AI service, OCI Streaming, OCI Compute Instances e così via) e quali operazioni possono essere eseguite. Per proteggere le password del database o qualsiasi altro segreto, prendere in considerazione l'utilizzo del servizio OCI Vault.

I documenti e le immagini vengono memorizzati nei bucket privati di OCI Object Storage. Viene creato un collegamento temporaneo con una breve durata quando un utente fa clic sul documento nell'interfaccia utente di Knowledge Search Engine. Utilizza filtri e regole di Oracle Cloud Infrastructure Web Application Firewall (WAF) per proteggere i flussi di orchestrazione attivati da REST di Oracle Integration esposti tramite OCI API Gateway da attacchi dannosi come attacchi DDO, thread di inserimento SQL e così via.
Scalabilità
Quando creano flussi o argomenti di streaming OCI, gli amministratori specificano il numero di flussi che intendono utilizzare. È possibile creare flussi per dominio business (ad esempio, InvoiceStream, PurchaseOrderStream e così via). Gli amministratori specificano inoltre le partizioni che intendono utilizzare per flusso o argomento. Le partizioni consentono di distribuire un flusso, argomento suddividendo i messaggi su più nodi, consentendo a più consumer di leggere da un flusso, argomento in parallelo (in questo caso, è possibile disporre di più copie dello stesso flusso di integrazione consumer in Oracle Integration, ognuna letta da una partizione diversa di un flusso o argomento utilizzando l'adattatore di streaming OCI come trigger).

Quando si creano istanze di Oracle Integration, gli amministratori specificano il numero di pacchetti di messaggi che intendono utilizzare per ogni istanza.
limiti risorse
Considera le best practice, i limiti in base al servizio e le quote del compartimento per la tua tenancy.

Visualizza altro

Esaminare queste risorse aggiuntive per ulteriori informazioni sulle funzioni di questa architettura di riferimento.

AI generativa OCI

Oracle Integration

OCI AI Document Understanding

Documentazione

Linguaggio AI OCI

Documentazione

Visione AI OCI

Documentazione

Infrastruttura Oracle Cloud

Conferme

Author: Juan Carlos González Carrero

Contributors: Bob Peulen, Alexandru Negrea