Abilita piattaforme self-service sicure e scalabili per AI generativa e LLM all'interno di OCI

Consenti a data scientist, sviluppatori e team IT di creare, testare e distribuire in modo indipendente modelli di intelligenza artificiale avanzati, garantendo al contempo governance e ottimizzazione dell'infrastruttura a livello aziendale.

Questa soluzione offre le funzionalità di base necessarie per supportare le iniziative di intelligenza artificiale generativa (AI) e modelli linguistici di grandi dimensioni (LLM, large language model) in un modello self-service, combinando accesso sicuro, infrastruttura scalabile e governance di livello aziendale su Oracle Cloud Infrastructure (OCI).

Casi d'uso e servizi supportati:

  • Modello BYOLLM (Bring Your Own Large Language Model) / Convalida della sicurezza del codice

    I modelli di terze parti (ad esempio, Hugging Face) vengono implementati nell'ambiente isolato "playground" con accelerazione GPU e vengono sottoposti a convalida automatica della sicurezza. Le funzioni OCI, i criteri Oracle Identity Cloud Service (IDCS) e OCI Identity and Access Management (IAM) vengono utilizzati per l'ispezione, il controllo dell'accesso e l'esecuzione sicura.

  • Parco giochi di data science

    Data Science Playground è un ambiente flessibile e scalabile progettato per la sperimentazione di data science. Basata su un'infrastruttura GPU avanzata, offre una perfetta integrazione con Oracle Database 23ai e uno storage vettoriale e degli oggetti ottimizzato per la gestione dei documenti e le integrazioni, ideale per la prototipazione rapida e la scalabilità efficiente dei progetti AI.

  • AI multimodale

    OCI supporta modelli multi-modali integrando input di testo, voce e immagine. Questi modelli sono ospitati su istanze GPU ad alte prestazioni.

  • Riconoscimento vocale

    OCI Speech è il servizio di sintesi vocale di Oracle che converte l'audio in testo con elevata precisione. Integrato in OCI, supporta più lingue, trascrizione in tempo reale e in batch e offre funzionalità avanzate come la diarizzazione degli speaker, la sicurezza a livello di parola e il filtro offensivo del linguaggio. Si connette anche perfettamente con altri servizi OCI per un'elaborazione scalabile e in tempo reale.

  • Retrieval-Augmented Generation

    OCI fornisce una soluzione completa di Retrieval-Augmented Generation (RAG) integrando Oracle Database 23ai e OCI Object Storage con servizi di intelligenza artificiale generativa. I dati vengono trasformati in integrazioni vettoriali e memorizzati in Oracle Autonomous Database per consentire una ricerca semantica efficiente. Le risposte generate sono arricchite da informazioni pertinenti e aggiornate. I flussi di lavoro RAG vengono orchestrati tramite OCI Connector Hub, supportando l'esecuzione basata sugli eventi, l'inclusione automatizzata dei dati e la scalabilità in tempo reale.

    I flussi di lavoro RAG vengono orchestrati tramite OCI Connector Hub, con supporto per l'esecuzione basata sugli eventi e l'integrazione con le pipeline di inclusione dei dati.

  • Database vettoriale

    Oracle Database 23ai offre funzionalità di database vettoriale native tramite il tipo di dati VECTOR, consentendo la memorizzazione di incorporamenti e ricerche semantiche utilizzando SQL standard. Supporta l'indicizzazione vettoriale, la generazione di incorporamenti basata su ONNX o esterna e il controllo di precisione per le query di somiglianza. Ottimizzato per Exadata, elimina la necessità di aree di memorizzazione vettoriali separate, supportando casi d'uso come RAG, consigli e AI generativa all'interno di un ambiente Oracle unificato.

  • Agenti OCI Generative AI

    Questi agenti si basano sul servizio di AI generativa OCI o su modelli di terze parti in esecuzione sull'infrastruttura GPU Bare Metal OCI.

  • Velocità OCI

    Per garantire throughput e prestazioni elevate, le istanze Bare Metal (ad esempio, A100, H200, B200 e GB200) vengono utilizzate sia per la formazione che per l'inferenza di modelli di grandi dimensioni, supportando la sperimentazione rapida e i carichi di lavoro di livello produttivo.

Architettura

Questa architettura illustra come Oracle Cloud Infrastructure (OCI) supporta i flussi di lavoro di AI generativa end-to-end per lo sviluppo, l'integrazione e l'interazione con gli utenti.

Flusso A: integrazione

  1. Applicazioni cliente
  2. Oracle Integration
  3. Storage degli oggetti OCI (bucket)
  4. Rilevamento di eventi OCI
  5. OCI Streaming e OCI Connector Hub
  6. Funzioni OCI (esecuzione logica)
  7. Oracle Process Cloud Service (in riferimento alle GPU)
  8. Livello di dati (Oracle Database 23ai e bucket)

Flusso B: interazione utente

  1. Interfacce utente finale (Apex)
  2. Applicazioni (agenti OCI GenAI, OCI Speech, Oracle Digital Assistant)
  3. Oracle Process Cloud Service (in riferimento alle GPU)
  4. Livello di dati (Oracle Database 23ai e bucket)

Flusso C: Sviluppo e sandbox

  1. Origini modello esterno
  2. Convalida sicurezza codice
  3. Sviluppo e testing
  4. Pipeline di automazione alla produzione

Il diagramma seguente illustra questa architettura di riferimento.


Segue la descrizione di ai-llm-workflow-architecture.png
Descrizione dell'illustrazione ai-llm-workflow-architecture.png

ai-llm-workflow-architettura-oracle.zip

Panoramica dell'architettura per domini funzionali

  • Sviluppo e formazione (area di lavoro self-service)

    L'architettura è strutturata sotto un compartimento centralizzato per le operazioni LLM:

    • Data Science offre un'area di lavoro integrata per lo sviluppo di modelli, notebook Jupyter e framework ML predefiniti. Include strumenti di azione rapida per la distribuzione dei modelli e l'esecuzione dei job.
    • La distribuzione dei modelli ospita le virtual machine (VM) per il test e la distribuzione dei modelli. Gli utenti possono convalidare i modelli qui prima di spostarli in produzione.
    • Playground è un ambiente con accelerazione GPU (Flex VM, A10, A100, LS40) che offre risorse di computazione isolate e ad alte prestazioni per modelli personalizzati e di terze parti (ad esempio, Hugging Face). Serve come zona di sperimentazione per i flussi di lavoro Bring Your Own LLM (BYOLLM).
  • Livello di applicazione e funzione
    • Le API OCI Speech e linguistiche offrono servizi pronti all'uso per la trascrizione, la NLU e l'estrazione delle entità.
    • Le funzioni OCI vengono utilizzate per la trascrizione in tempo reale, l'NLP e l'esecuzione serverless delle pipeline AI.
    • Gli strumenti di monitoraggio e front-end APEX forniscono interfacce per l'interazione degli utenti, l'analisi dei dati e la governance.
    • Gli agenti OCI GenAI e Digital Assistant consentono esperienze conversazionali utilizzando dati aziendali e LLM integrati.
  • Elaborazione (livello di produzione)
    • OCI Kubernetes Engine (OKE) supporta la distribuzione containerizzata di modelli di produzione e servizi di inferenza.
    • OCI Generative AI fornisce l'accesso basato su API a LLM ospitati o personalizzati e ottimizzati da Oracle, supportando casi d'uso aziendali sicuri e scalabili.
  • Infrastruttura GPU (H100 e supporto RDMA)
    • Le istanze GPU Bare Metal (H100 con RDMA) consentono l'addestramento e l'inferenza distribuiti su più nodi con comunicazione a throughput elevato e bassa latenza, ideale per carichi di lavoro LLM di grandi dimensioni.
    • Ottimizzato per la tecnologia GPU Kubernetes e NVIDIA Multi-Instance (MIG), questa configurazione consente l'orchestrazione della GPU e la condivisione dinamica delle risorse, consentendo l'allocazione frazionaria della GPU e la pianificazione multiutente tra i team.
  • Livello di dati e conoscenza
    • Oracle Database 23ai, migliorato con il supporto per la ricerca vettoriale e semantica, funge da livello di recupero per i flussi di lavoro di Retrieval-Augmented Generation (RAG).
    • I bucket di OCI Object Storage memorizzano dati non strutturati, incorporamenti, documenti e artifact del modello.
  • MLOps (pipeline del modello di produzione)
    • L'architettura include una pipeline CI/CD per promuovere i modelli dall'ambiente di gioco alla produzione. Attualmente rappresentato da OCI DevOps è il servizio di integrazione e distribuzione continue (CI/CD) nativo, completamente gestito e continuo di OCI che consente alle organizzazioni di automatizzare l'implementazione di modelli di machine learning dalla sperimentazione alla produzione.
    • Pipeline di build integrate con Git.
    • Implementazione automatizzata su VM o container.
    • Integrazione nativa con OCI Artifacts Registry, OCI Functions e OCI API Gateway.
  • Livello di integrazione e sicurezza
    • I bucket di OCI Object Storage fungono da storage centrale per modelli, dati di formazione, output di inferenza e integrazioni.
    • Gli eventi OCI, lo streaming OCI e l'hub OCI Connector consentono l'orchestrazione basata sugli eventi e l'integrazione dei servizi in tutto l'ambiente.
    • Oracle Identity Cloud Service, i criteri IAM, OCI Logging e le liste di sicurezza offrono solide funzionalità di governance, autenticazione, controllo dell'accesso e conformità in tutti i servizi OCI.
    • Oracle Integration è una piattaforma middleware predefinita che consente un'integrazione sicura e trasparente tra sistemi on-premise e servizi cloud, supportando la sincronizzazione dei dati in tempo reale, l'orchestrazione delle API e l'automazione dei processi in applicazioni eterogenee.

L'architettura ha i seguenti componenti:

  • Domini di disponibilità

    I domini di disponibilità sono data center autonomi e indipendenti all'interno di un'area. Le risorse fisiche in ogni dominio di disponibilità sono isolate dalle risorse negli altri domini di disponibilità, il che fornisce tolleranza agli errori. I domini di disponibilità non condividono l'infrastruttura, ad esempio alimentazione o raffreddamento, o la rete interna del dominio di disponibilità. Pertanto, un errore in un dominio di disponibilità non dovrebbe influire sugli altri domini di disponibilità nell'area.

  • Bare Metal

    I server Bare Metal di Oracle offrono isolamento, visibilità e controllo utilizzando istanze di computazione dedicate. I server supportano applicazioni che richiedono conteggi core elevati, grandi quantità di memoria e larghezza di banda elevata. Possono scalare fino a 192 memorie centrali, 2,3 TB di RAM e fino a 1 PB di storage a blocchi. I clienti possono creare ambienti cloud sui server Bare Metal di Oracle con significativi miglioramenti in termini di prestazioni rispetto ad altri Cloud pubblici e ai data center on-premise.

  • Compartimento

    I compartimenti sono partizioni logiche interregionali all'interno di una tenancy OCI. Utilizzare i compartimenti per organizzare, controllare l'accesso e impostare le quote di utilizzo per le risorse Oracle Cloud. In un determinato compartimento, è possibile definire criteri che controllano l'accesso e impostano i privilegi per le risorse.

  • Hub connettore

    Oracle Cloud Infrastructure Connector Hub è una piattaforma di bus dei messaggi che orchestra lo spostamento dei dati tra i servizi su OCI. È possibile utilizzare i connettori per spostare i dati da un servizio di origine a un servizio di destinazione. I connettori consentono inoltre di specificare facoltativamente un task, ad esempio una funzione, da eseguire sui dati prima che vengano consegnati al servizio di destinazione.

    È possibile utilizzare OCI Connector Hub per creare rapidamente una struttura di aggregazione dei log per le informazioni di sicurezza e i sistemi di gestione eventi (SIEM, Security Information).

  • Gateway di instradamento dinamico (DRG)

    Il gateway DRG è un router virtuale che fornisce un percorso per il traffico di rete privato tra le reti VCN nella stessa area, tra una VCN e una rete esterna all'area, ad esempio una VCN in un'altra area OCI, una rete on premise o una rete in un altro provider cloud.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect crea una connessione dedicata e privata tra il tuo data center e OCI. FastConnect offre opzioni di larghezza di banda più elevata e un'esperienza di networking più affidabile se confrontata con le connessioni basate su internet.

  • Elaborazione ad alte performance

    La computazione ad alte prestazioni è progettata per carichi di lavoro che richiedono la rete di cluster e core di processore ad alta velocità per carichi di lavoro massicciamente paralleli.

  • Gateway Internet

    Un gateway Internet consente il traffico tra le subnet pubbliche di una VCN e la rete Internet pubblica.

  • Rete in locale

    Si tratta di una rete locale utilizzata dall'organizzazione.

  • Area

    Un'area geografica OCI è un'area geografica localizzata che contiene uno o più data center, che ospitano domini di disponibilità. Le regioni sono indipendenti da altre regioni e vaste distanze possono separarle (tra paesi o addirittura continenti).

  • Tabella di instradamento

    Le tabelle di instradamento virtuale contengono regole per instradare il traffico dalle subnet alle destinazioni esterne a una VCN, in genere tramite gateway.

  • Lista di sicurezza

    Per ogni subnet, puoi creare regole di sicurezza che specificano l'origine, la destinazione e il tipo di traffico consentito all'interno e all'esterno della subnet.

  • Gateway del servizio

    Un gateway di servizi fornisce l'accesso da una VCN ad altri servizi, ad esempio Oracle Cloud Infrastructure Object Storage. Il traffico dalla VCN al servizio Oracle viaggia sul fabric di rete Oracle e non attraversa Internet.

  • Tenancy

    Una tenancy è una partizione sicura e isolata impostata da Oracle all'interno di Oracle Cloud al momento dell'iscrizione a OCI. È possibile creare, organizzare e amministrare le risorse su OCI all'interno della tenancy. Una tenancy è sinonimo di azienda o organizzazione. In genere, un'azienda disporrà di una singola tenancy, all'interno della quali rifletterà la propria struttura organizzativa. Una singola tenancy viene, in genere, associata a una singola sottoscrizione e una singola sottoscrizione, di solito ha una sola tenancy.

  • Rete e subnet cloud virtuale (VCN)

    Una VCN è una rete personalizzabile e definita dal software impostata in un'area OCI. Come le reti di data center tradizionali, le reti VCN ti danno il controllo sul tuo ambiente di rete. Una VCN può avere più blocchi CIDR (Classless Inter-Domain Routing) non sovrapposti che è possibile modificare dopo aver creato la VCN. È possibile segmentare una VCN in subnet, che possono essere definite in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. È possibile modificare le dimensioni di una sottorete dopo la creazione. Una subnet può essere pubblica o privata.

  • Oracle Database 23ai

    La release 23ai di Oracle Database si concentra sull'intelligenza artificiale e sulla produttività degli sviluppatori. Porta l'intelligenza artificiale nei tuoi dati con l'aggiunta di AI Vector Search al database convergente di Oracle. Questa funzionalità combinata con nuovi paradigmi di sviluppo unificati e funzionalità mission-critical semplifica per sviluppatori e professionisti dei dati l'alimentazione di app, sviluppo di applicazioni e carichi di lavoro mission-critical con l'intelligenza artificiale.

  • Eventi

    I servizi su OCI emettono eventi, che sono messaggi strutturati che descrivono le modifiche nelle risorse. Gli eventi vengono emessi per le operazioni di creazione, lettura, aggiornamento o eliminazione (CRUD), le modifiche allo stato del ciclo di vita delle risorse e gli eventi di sistema che influiscono sulle risorse cloud.

  • Log
    Oracle Cloud Infrastructure Logging è un servizio altamente scalabile e completamente gestito che fornisce l'accesso ai seguenti tipi di log dalle tue risorse nel cloud:
    • Log di audit: log correlati agli eventi prodotti da OCI Audit.
    • Log dei servizi: log pubblicati da singoli servizi quali il gateway API OCI, gli eventi OCI, le funzioni OCI, il bilanciamento del carico OCI, lo storage degli oggetti OCI e i log di flusso VCN.
    • Log personalizzati: log che contengono informazioni di diagnostica da applicazioni personalizzate, altri provider cloud o un ambiente in locale.
  • Monitoraggio

    Oracle Cloud Infrastructure Monitoring monitora in modo attivo e passivo le tue risorse cloud e utilizza gli allarmi per avvisarti quando le metriche soddisfano i trigger specificati.

  • OCI Registry

    Oracle Cloud Infrastructure Registry è un servizio gestito da Oracle che ti consente di semplificare il tuo flusso di lavoro dallo sviluppo alla produzione. Registry semplifica la memorizzazione, la condivisione e la gestione degli artifact di sviluppo, come le immagini Docker.

  • Discorso

    Oracle Cloud Infrastructure Speech sfrutta la potenza della lingua parlata, consentendoti di convertire facilmente i file multimediali contenenti voce umana in trascrizioni di testo altamente accurate. Puoi accedere utilizzando la console, l'API REST, l'interfaccia CLI e l'SDK.

  • Flusso di lavoro

    Oracle Cloud Infrastructure Workflow è un motore di flusso di lavoro serverless con un designer di flussi grafici per sviluppatori e architetti. Accelera la creazione, l'esecuzione e l'orchestrazione di servizi OCI come le funzioni OCI o AI/ML.

  • Servizio APEX

    Oracle APEX Application Development è una piattaforma di sviluppo low-code che consente di creare applicazioni aziendali scalabili, ricche di funzionalità, sicure e che possono essere distribuite ovunque venga installato Oracle Database. Non è necessario essere esperti in una vasta gamma di tecnologie per fornire soluzioni sofisticate. Il servizio APEX include funzionalità integrate, quali temi dell'interfaccia utente, controlli di navigazione, handler dei form e report flessibili, che accelerano il processo dello sviluppo dell'applicazione.

  • Gateway API

    Oracle Cloud Infrastructure API Gateway ti consente di pubblicare API con endpoint privati accessibili dall'interno della tua rete e che puoi esporre alla rete Internet pubblica, se necessario. Gli endpoint supportano la convalida dell'API, la trasformazione di richieste e risposte, CORS, autenticazione e autorizzazione e limitazione delle richieste.

  • Volumi a blocchi OCI

    Con Oracle Cloud Infrastructure Block Volumes, puoi creare, collegare, connettere e spostare volumi di storage e modificare le prestazioni dei volumi per soddisfare i requisiti di storage, prestazioni e applicazioni. Dopo aver collegato e connesso un volume a un'istanza, puoi utilizzare il volume come un normale disco rigido. Puoi anche disconnettere un volume e collegarlo a un'altra istanza senza perdere dati.

  • Calcola

    Con Oracle Cloud Infrastructure Compute, puoi eseguire il provisioning e gestire gli host di computazione nel cloud. Puoi avviare istanze di computazione con forme che soddisfano i requisiti delle risorse per CPU, memoria, larghezza di banda della rete e storage. Dopo aver creato un'istanza di computazione, puoi accedervi in modo sicuro, riavviarla, collegare e scollegare i volumi e interromperla quando non ne hai più bisogno.

  • Data Science

    Oracle Cloud Infrastructure Data Science è una piattaforma serverless completamente gestita che i team di data science possono utilizzare per creare, addestrare e gestire modelli di machine learning (ML) su OCI. Può essere facilmente integrato con altri servizi OCI come Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage e altro ancora. Puoi creare e valutare modelli di machine learning di alta qualità che aumentano la flessibilità aziendale mettendo rapidamente al lavoro i dati affidabili dell'azienda e puoi supportare obiettivi aziendali basati sui dati con una distribuzione più semplice dei modelli ML. Data Science consente ai data scientist e ai tecnici del machine learning di utilizzare gratuitamente i pacchetti del repository Anaconda.

    La funzione Job di Data Science consente ai data scientist di definire ed eseguire task di Machine Learning ripetibili su un'infrastruttura completamente gestita.

    La funzione di distribuzione dei modelli di Data Science consente ai data scientist di distribuire modelli addestrati come endpoint HTTP completamente gestiti in grado di fornire previsioni in tempo reale, infondendo intelligence in processi e applicazioni e consentendo all'azienda di reagire agli eventi pertinenti man mano che si verificano.

  • Settore DevOps

    Oracle Cloud Infrastructure DevOps (developer operations) è una piattaforma completa di integrazione e distribuzione continua (CI/CD) che consente agli sviluppatori di semplificare e automatizzare il ciclo di vita dello sviluppo software. OCI DevOps consente a sviluppatori e operatori di sviluppare, creare, testare e distribuire software in modo collaborativo. Sviluppatori e operatori ottengono visibilità sull'intero ciclo di vita dello sviluppo con una cronologia di commit di origine attraverso fasi di creazione, test e distribuzione.

  • Funzioni

    Oracle Cloud Infrastructure Functions è una piattaforma completamente gestita, multitenant, altamente scalabile, on-demand, Functions-as-a-Service (FaaS). È alimentato dal motore open source di Fn Project. Le funzioni OCI consentono di distribuire il codice e di chiamarlo direttamente o attivarlo in risposta agli eventi. OCI Functions utilizza container Docker ospitati in Oracle Cloud Infrastructure Registry.

  • Identity and Access Management

    Oracle Cloud Infrastructure Identity and Access Management (IAM) fornisce il controllo dell'accesso degli utenti per OCI e Oracle Cloud Applications. L'interfaccia API IAM e l'interfaccia utente consentono di gestire i domini di Identity e le risorse al loro interno. Ogni dominio di Identity OCI IAM rappresenta una soluzione standalone di gestione accessi e identità oppure una popolazione di utenti diversa.

  • Integrazione

    Oracle Integration è un ambiente completamente gestito e preconfigurato che consente di integrare applicazioni cloud e on-premise, automatizzare i processi aziendali e sviluppare applicazioni visive. Utilizza un file server conforme a SFTP per memorizzare e recuperare i file e consente di scambiare documenti con partner commerciali business-to-business utilizzando un portfolio di centinaia di adattatori e ricette per connettersi con le applicazioni Oracle e di terze parti.

  • Cluster Kubernetes

    Un cluster Kubernetes è un set di computer che eseguono applicazioni containerizzate. Kubernetes offre una piattaforma portatile, estendibile e open source per la gestione di carichi di lavoro e servizi containerizzati in tali nodi. Un cluster Kubernetes è formato da nodi di lavoro e nodi del piano di controllo.

  • Piano di controllo Kubernetes

    Un piano di controllo Kubernetes gestisce le risorse per i nodi di lavoro e i pod all'interno di un cluster Kubernetes. I componenti del piano di controllo rilevano e rispondono agli eventi, eseguono la pianificazione e spostano le risorse del cluster.

    Di seguito sono riportati i componenti del piano di controllo.
    • kube-apiserver: esegue il server API Kubernetes.
    • etcd: Area di memorizzazione dei valori delle chiavi distribuita per tutti i dati del cluster.
    • kube-scheduler: determina su quale nodo verranno eseguiti i nuovi pod non assegnati.
    • kube-controller-manager: esegue i processi del controller.
    • cloud-controller-manager: collega il cluster con API specifiche del cloud.
  • Motore Kubernetes OCI

    Oracle Cloud Infrastructure Kubernetes Engine (OCI Kubernetes Engine o OKE) è un servizio completamente gestito, scalabile e ad alta disponibile da utilizzare per distribuire le applicazioni containerizzate nel cloud. È possibile specificare le risorse di computazione richieste dalle applicazioni e OKE le esegue il provisioning su OCI in una tenancy esistente. OKE utilizza Kubernetes per automatizzare l'implementazione, il ridimensionamento e la gestione di applicazioni containerizzate tra cluster di host.

  • Nodo di lavoro Kubernetes

    Un nodo di lavoro Kubernetes è un computer di lavoro che esegue applicazioni containerizzate all'interno di un cluster Kubernetes. Ogni cluster dispone di almeno un nodo di lavoro.

  • Memorizzazione degli oggetti

    Lo storage degli oggetti OCI fornisce l'accesso a grandi quantità di dati strutturati e non strutturati di qualsiasi tipo di contenuto, inclusi backup del database, dati analitici e contenuti avanzati come immagini e video. Puoi archiviare i dati in modo sicuro e sicuro direttamente da Internet o dalla piattaforma cloud. È possibile ridimensionare lo storage senza subire alcun deterioramento a livello di prestazioni o affidabilità del servizio.

    Utilizza lo storage standard per lo storage "caldo" a cui devi accedere in modo rapido, immediato e frequente. Utilizzare lo storage di archivio per lo storage "a freddo" che si conserva per lunghi periodi di tempo e a cui si accede raramente o raramente.

  • Streaming

    Oracle Cloud Infrastructure Streaming offre una soluzione per lo storage completamente gestita, scalabile e duratura dedicato all'inclusione di flussi di dati continui e ad elevato volume che puoi accedere ed elaborare in tempo reale. La soluzione OCI Streaming può essere utilizzata per includere dati di elevato volume, quali log dell'applicazione, telemetria operativa, dati di click-stream Web, o per altri casi d'uso in cui le informazioni vengono prodotte ed elaborate in maniera continua e sequenziale in un modello DI messaggistica di modalità pubblicazione/sottoscrizione.

  • Audit

    Il servizio Oracle Cloud Infrastructure Audit registra automaticamente le chiamate a tutti gli endpoint API (Application Programming Interface) pubblici OCI supportati come eventi di log. Tutti i servizi OCI supportano la registrazione tramite Oracle Cloud Infrastructure Audit.

  • AI generativa

    Oracle Cloud Infrastructure Generative AI è un servizio OCI completamente gestito che fornisce un set di modelli linguistici di grandi dimensioni (LLM, large language model) all'avanguardia e personalizzabili che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, la ricerca semantica e altro ancora. Utilizza l'area di gioco per provare i modelli pre-addestrati pronti all'uso o creare e ospitare i tuoi modelli personalizzati ottimizzati in base AI tuoi dati su cluster AI dedicati.

  • Load balancer

    Oracle Cloud Infrastructure Load Balancing fornisce una distribuzione automatica del traffico da un unico punto di accesso a più server.

  • Gateway NAT (Network Address Translation)

    Un gateway NAT consente alle risorse private in una VCN di accedere agli host su Internet, senza esporre tali risorse alle connessioni Internet in entrata.

  • AI generativa

    Oracle Cloud Infrastructure Generative AI è un servizio OCI completamente gestito che fornisce un set di modelli linguistici di grandi dimensioni (LLM, large language model) all'avanguardia e personalizzabili che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, la ricerca semantica e altro ancora. Utilizza l'area di gioco per provare i modelli pre-addestrati pronti all'uso o creare e ospitare i tuoi modelli personalizzati ottimizzati in base AI tuoi dati su cluster AI dedicati.

  • Digital Assistant

    Oracle Digital Assistant è una piattaforma che consente di creare e distribuire assistenti digitali per gli utenti. Con Oracle Digital Assistant, puoi creare interfacce (o chatbot) basate sull'intelligenza artificiale per le applicazioni aziendali tramite interfacce di testo, chat e voce. Ogni assistente digitale ha una raccolta di una o più competenze specializzate per aiutare gli utenti a completare una varietà di attività nelle conversazioni in linguaggio naturale. Ad esempio, un singolo assistente digitale potrebbe avere competenze che si concentrano su tipi specifici di task come il tracciamento del magazzino, la sottomissione di fogli ore e la creazione di note spese.

  • Criterio

    Un criterio di Oracle Cloud Infrastructure Identity and Access Management specifica chi può accedere a quali risorse e in che modo. L'accesso viene concesso a livello di gruppo e compartimento. Ciò significa che È possibile scrivere un criterio che fornisca a un gruppo un tipo specifico di accesso all'interno di un compartimento specifico o nella tenancy.

  • Zona di sicurezza

    Le zone di sicurezza implementano le principali procedure di sicurezza di Oracle applicando criteri per un intero compartimento, come la cifratura dei dati e la prevenzione dell'accesso pubblico alle reti. Una zona di sicurezza è associata a un compartimento con lo stesso nome e include criteri della zona di sicurezza (una recipe) che si applicano al compartimento e ai relativi compartimenti secondari. Non è possibile aggiungere o spostare un compartimento standard in un compartimento della zona di sicurezza.

Suggerimenti

Garantisci il successo, la scalabilità e la sostenibilità della piattaforma AI aziendale basata su OCI, con particolare attenzione allo sviluppo LLM self-service, MLOps, all'ottimizzazione GPU e all'integrazione di livello aziendale.

  • Governance di piattaforme e strategie
    • Crea un centro di eccellenza interfunzionale dedicato affinché l'AI possa governare:
      • Best practice per la formazione e l'implementazione dei LLM
      • Assegnazione delle risorse e gestione delle quote
      • Sicurezza, compliance e uso etico dell'AI
    • Evita l'espansione incontrollata delle risorse abilitando quote e taggando i criteri in OCI per garantire tracciabilità e responsabilità dei costi tra dipartimenti e team.
  • Efficienza e pianificazione delle risorse GPU
    • Combina MIG NVIDIA per ottimizzare l'utilizzo della GPU. Assegna GPU frazionarie per job o utente per aumentare l'utilizzo e ridurre i costi.
    • Soluzione di frazionamento della GPU:
      • La GPU a più istanze (MIG, Multi-instance GPU) è una funzionalità disponibile nelle GPU NVIDIA A100 e H100 che consente il partizionamento di una singola GPU fisica in più istanze (o slice) isolate dall'hardware, note come istanze GPU.

        Ogni istanza funziona come una GPU indipendente con i propri:

        • Memoria dedicata
        • Memorie centrali di computazione
        • Larghezza di banda cache e memoria

        Ciò consente AI team di eseguire contemporaneamente più carichi di lavoro AI su un'unica GPU con prestazioni prevedibili e isolamento a livello di hardware.

        Il motore OCI Kubernetes (OKE) è configurato per supportare la pianificazione dipendente da MIG, consentendo di:

        • Ogni pod per richiedere un'istanza MIG specifica (ad esempio, 1/7 di un A100).
        • Lo scheduler Kubernetes per allocare in modo intelligente le slice GPU disponibili in base alle richieste.
        • Istanze MIG da esporre tramite il plugin del dispositivo NVIDIA e l'individuazione delle funzionalità dei nodi, assicurandosi che siano individuabili e schedulabili da OKE.
        • Le GPU abilitate per MIG (ad esempio, A100 o H100) vengono distribuite su istanze Bare Metal OCI o come nodi di lavoro OKE.
        • OKE gestisce i carichi di lavoro AI containerizzati con la pianificazione MIG-aware.
    • Profilo MIG frazione di slice Memoria dedicata Adatto per...
      1g.5gb 1/7 5 GB Inferenza leggera, test
      2g.10gb 2/7 10 GB Ottimizzazione di modelli più piccoli
      3g.20gb 3/7 20 GB Modelli di medie dimensioni
      7g.40gb GPU completa 40 GB Formazione completa
    • Utilizza il monitoraggio OCI per evitare colli di bottiglia nelle fasi ad alta richiesta (ad esempio, sprint di addestramento dei modelli).
  • Ciclo di vita e automazione dei modelli
    • Standardizza CI/CD distribuendo modelli tramite pipeline OCI DevOps integrate con Git e Container Registry per automatizzare:
      • Imballaggio modello
      • Test e convalida
      • Distribuzione in OKE o funzioni
    • Includi i passi di rollback e convalida incorporando test A/B, distribuzioni canary e logica di rollback per evitare regressioni nel comportamento del modello.
  • Architettura dei dati
    • Implementa Oracle Database 23ai per memorizzare le integrazioni e abilitare la ricerca semantica tramite Oracle AI Vector Search. Combinalo con:
      • Storage degli oggetti OCI per i documenti
      • Funzioni OCI per l'orchestrazione del recupero
    • Mantieni la freschezza dei vettori ricalcolando e aggiornando regolarmente le integrazioni quando i documenti di origine cambiano per garantire l'accuratezza dell'output RAG.
  • Sicurezza, conformità e osservabilità
    • Applica la segmentazione basata su IAM utilizzando i criteri, i compartimenti e i gruppi IAM OCI per definire confini chiari tra ambienti di sviluppo, test e produzione.
    • Registra ed esegui l'audit di ogni azione critica abilitando i log di OCI Logging, OCI Monitoring e OCI Audit per tutti i componenti critici (nodi OKE, Functions, Storage e GPU).
  • Integrazione multicloud e ibrida
    • Utilizza OCI FastConnect, gateway di servizi e endpoint privati per garantire un'integrazione sicura e ad alta velocità con servizi AI on-premise e di terze parti (ad esempio, Azure OpenAI, AWS Bedrock).
    • Evita l'esposizione di Internet pubblica per carichi di lavoro sensibili. Utilizza subnet private, gateway NAT e autenticazione dal servizio al servizio, ove possibile.
  • Problema self-service per lo sviluppatore
    • Offri modelli iniziali e API curati offrendo un set di funzioni OCI, pipeline OCI DevOps e modelli notebook per inserire i nuovi utenti in modo rapido e sicuro nell'ambiente self-service.
    • Bilancia l'autonomia con le salvaguardie consentendo agli utenti di mantenere il controllo attraverso policy, quote e best practice condivise per lo sviluppo responsabile dei modelli.

Considerazioni

Quando si distribuisce questa architettura di riferimento, considerare i punti riportati di seguito.

  • Prestazioni
    • Distribuisci istanze GPU ad alte prestazioni, come A100, H100, H200, B200 e GB200 personalizzate in base a requisiti specifici del carico di lavoro, tra cui formazione, inferenza e AI distribuita su larga scala.
    • Sfrutta i cluster GPU abilitati per RDMA per carichi di lavoro distribuiti a bassa latenza e larghezza di banda elevata.
    • Monitora continuamente l'uso delle risorse per mitigare i conflitti in modo proattivo.
  • Sicurezza
    • Implementare la compartimentazione e le subnet private per isolare ambienti operativi diversi.
    • Applica controlli dell'accesso rigorosi utilizzando OCI IAM e IDCS.
    • Mantieni log e audit trail completi per tutte le operazioni significative.
  • Disponibilità
    • Distribuisci risorse critiche in più domini di errore per garantire la tolleranza agli errori.
    • Utilizza OCI Kubernetes Engine (OKE) con scala automatica per mantenere l'elasticità.
    • Convalida le strategie di backup, ripristino e replica dei dati per raggiungere gli obiettivi di business continuity.
  • Costo
    • Massimizza l'efficienza di utilizzo della GPU tramite la frazionalizzazione MIG NVIDIA.
    • Implementa strategie di storage a più livelli, sfruttando i criteri del ciclo di vita dello storage degli oggetti OCI.
    • Utilizza l'applicazione di tag a livello di progetto e le quote di budget per mantenere la responsabilità finanziaria.
  • Integrazione e distribuzione
    • Standardizza i flussi di lavoro CI/CD con OCI DevOps per semplificare e automatizzare il ciclo di vita dei modelli.
    • Garantisci procedure di integrazione multicloud coerenti utilizzando OCI FastConnect e i gateway di instradamento dinamico (DRG) per flussi di dati sicuri.
  • Gestione dei dati
    • Gestisci e aggiorna regolarmente le integrazioni semantiche in Oracle Database 23ai per un recupero accurato.
    • Classifica lo storage in modo appropriato in base ai modelli di utilizzo dei dati (standard rispetto all'archivio).
  • Adozione e gestione degli utenti
    • Fornisci risorse di onboarding strutturate per accelerare l'adozione self-service.
    • Valuta continuamente gli ambienti self-service e adegua le policy per bilanciare la libertà degli utenti con la governance operativa.

Scopri di più

Scopri di più su come OCI offre soluzioni di intelligenza artificiale generativa scalabili, sicure e pronte per l'azienda.

Esaminare le seguenti risorse aggiuntive:

Conferme

  • Autori: Diego Mariano, Diogo Santiago
  • Collaboratori: Douglas Silva, John Sulyok