Implementare una piattaforma di gestione API per modelli e servizi AI aziendali
È probabile che la tua organizzazione abbia implementato l'intelligenza artificiale, se è così, è probabile che tu sia tra le molte organizzazioni che lottano per applicare la sicurezza a livello aziendale e standardizzare i processi durante la creazione di applicazioni su modelli di intelligenza artificiale pubblici e privati.
Il consumo di modelli AI può rappresentare sfide comuni per le organizzazioni di tutti i settori, tra cui:
- Complessità di integrazione: la gestione delle integrazioni point-to-point tra applicazioni e modelli AI spesso comporta complessità quando le organizzazioni vogliono adottare modelli diversi.
- Standardizzazione della sicurezza: l'implementazione di misure di sicurezza coerenti in diversi modelli AI si rivela una sfida significativa.
- Controllo dell'accesso: l'applicazione del controllo dell'accesso basato sui ruoli alle API del modello AI in base AI ruoli e alle responsabilità degli utenti può essere difficile da gestire in modo efficace.
- Monetizzazione: creazione di modelli AI privi di funzionalità di monetizzazione se i modelli sono resi disponibili per i consumatori esterni.
- Consumption and Resource Management: impostazione delle quote per i sottoscrittori per limitare il consumo dei modelli AI.
- Limitazione: limitazione e limitazione della frequenza delle API dei modelli AI.
- Monitoraggio: funzionalità di monitoraggio e monitoraggio per visualizzare il consumo delle API del modello AI.
Questa architettura delinea una soluzione per aiutare i clienti a sfruttare le funzionalità di Oracle Cloud Infrastructure API Gateway e di altri servizi OCI per affrontare queste sfide in una soluzione AI.
Architettura
Questa architettura utilizza il gateway API OCI come middleware per gestire l'integrazione point-to-point tra modelli AI e altri servizi OCI. Utilizza questa architettura per casi d'uso AI che richiedono flussi di sicurezza e standardizzazione dei processi a livello aziendale.
Sicurezza standardizzata
Molti modelli AI fondamentali e altri servizi AI utilizzano meccanismi di autenticazione diversi come OAuth 2.0, Open ID, JWT e così via. Il gateway API OCI può aiutare a standardizzare l'autenticazione API nei modelli AI.
Livello di virtualizzazione o astrazione
Poiché la maggior parte delle organizzazioni aziendali moderne sfrutta i modelli AI più recenti di diversi provider specializzati in domini specifici, il consumo di modelli AI direttamente dalle applicazioni può creare complessità di integrazione point-to-point. Il gateway API OCI viene utilizzato come livello di virtualizzazione dei servizi per semplificare il passaggio da un modello AI all'altro.
OCI API Gateway e OCI Vault possono estrarre le credenziali API del modello AI dai consumer, mentre le credenziali del modello AI vengono memorizzate in OCI Vault. I consumer accedono agli endpoint OCI API Gateway con le credenziali client generate dalle applicazioni riservate create per tale consumer. OCI API Gateway esegue l'autenticazione degli utenti con le credenziali client e, al termine dell'autenticazione, OCI API Gateway recupera le credenziali API del modello da OCI Vault per richiamare l'endpoint API del modello backend.
Controllo e governance dell'accesso
OCI API Gateway può applicare il controllo dell'accesso granulare sulle API del modello AI per concedere l'accesso alle API in base al dominio, al ruolo o alla responsabilità del consumatore. Le distribuzioni del gateway API OCI consentono di creare le interfacce API di packaging in base al dominio per consentire ai consumer di richiedere la sottoscrizione a distribuzioni specifiche. Le funzioni di limitazione di frequenza e limitazione del gateway API OCI consentono di controllare l'uso e le prestazioni dei modelli AI.
Controllo costi
È possibile sfruttare i piani di utilizzo e le quote per controllare in modo efficace i costi di consumo del modello AI. I piani di utilizzo consentono di creare diversi livelli di piano che possono essere allocati ai consumatori in base alla priorità e al valore aziendale. Per le aziende che mettono a disposizione dei propri team servizi AI di terze parti, i piani di utilizzo possono garantire che l'utilizzo dei dipendenti sia governato e monitorato per evitare di incorrere in costi elevati.
La cache OCI con Redis può essere integrata con OCI API Gateway per ridurre i costi e migliorare le prestazioni delle API del modello AI inserendo nella cache le richieste frequenti e scaricando le richieste di inferenza sui modelli.
Registrazione e monitoraggio
Il dashboard di reporting integrato di OCI API Gateway consente alle aziende di ottenere insight sull'uso del modello AI, sulle prestazioni e sulle opportunità di risparmio sui costi.
Puoi trasmettere i log a Oracle Cloud Infrastructure Logging Analytics per la risoluzione dei problemi, il monitoraggio del comportamento di consumo del modello AI, la generazione di report personalizzati per monitorare il consumo delle risorse e prendere decisioni informate sugli investimenti futuri del portfolio AI della tua organizzazione. I log possono essere trasmessi AI sistemi di fatturazione se le organizzazioni vogliono monetizzare modelli AI ottimizzati.
Il gateway API OCI può emettere metriche nel monitoraggio OCI in cui le metriche del piano d'uso possono essere utilizzate per monitorare i clienti che consumano di più e altre dimensioni per risolvere i problemi di distribuzione e gateway API OCI.
Networking
È possibile accedere al gateway API OCI dalla rete Internet pubblica e tramite connessione di rete privata.
Gli utenti e le applicazioni di Internet possono accedere a OCI API Gateway in una subnet pubblica gestita dal gateway Internet.
Gli utenti e le applicazioni on premise possono accedere a OCI API Gateway in una subnet privata tramite OCI FastConnect o VPN. Le applicazioni su Microsoft Azure o Google Cloud possono accedere a OCI API Gateway in una subnet privata tramite la corrispondente soluzione Oracle Interconnect for Microsoft Azure o Oracle Interconnect for Google Cloud.
Il seguente diagramma descrive l'architettura.
api-gateway-ai-architecture.zip
Il diagramma riportato di seguito illustra il flusso di lavoro tra OCI API Gateway, modelli AI e altri servizi Oracle:
Il workflow è simile al seguente:
- I consumer AI da Internet si connettono alle API del servizio AI tramite il gateway API. I consumatori includono applicazioni Web e mobile create utilizzando qualsiasi tecnologia dell'interfaccia utente, ad esempio Oracle Visual Builder, Oracle Analytics Cloud, applicazione Embedded Visual Builder Cloud Service all'interno di Oracle SaaS. I consumatori on-premise possono stabilire un tunnel sicuro ad alte prestazioni tra OCI e i data center on-premise che consente AI consumatori on-premise di accedere AI modelli AI senza utilizzare Internet.
- OCI API Gateway è integrato con OCI Identity and Access Management per l'autenticazione al fine di ottenere l'applicazione standardizzata della sicurezza tramite OAuth 2.0 e l'autenticazione di base.
- OCI Vault memorizza le credenziali API del modello AI in modo sicuro e può astrarre le credenziali API backend dai consumer.
- Esegui il flusso dei log del gateway API OCI in OCI Logging per conservare più tempo i log e creare report attraverso l'analisi dei log per generare insight.
- Esegui l'integrazione con OCI Cache con Redis per ridurre i costi e migliorare le prestazioni delle API dei modelli AI mediante l'inserimento nella cache delle richieste frequenti.
- Le funzioni OCI possono essere utilizzate come wrapper per i modelli AI che non dispongono di endpoint REST. OCI Functions supporta l'implementazione da diversi linguaggi come Python, Java, Node, Go, Ruby e C#.
- Integra OCI API Gateway con i servizi AI direttamente se il servizio AI espone gli endpoint REST.
- Oracle Integration Cloud Service può implementare trasformazioni complesse o implementare la logica di orchestrazione prima di restituire l'output di inferenza ai consumatori.
L'architettura presenta i seguenti componenti:
- Area
Un'area geografica Oracle Cloud Infrastructure è un'area geografica localizzata che contiene uno o più data center, denominati domini di disponibilità. Le regioni sono indipendenti da altre regioni e grandi distanze possono separarle (tra paesi o addirittura continenti).
- domini di disponibilità
I domini di disponibilità sono data center standalone e indipendenti all'interno di un'area geografica. Le risorse fisiche in ciascun dominio di disponibilità sono isolate dalle risorse negli altri domini di disponibilità, il che fornisce tolleranza agli errori. I domini di disponibilità non condividono l'infrastruttura, ad esempio alimentazione o raffreddamento, o la rete interna del dominio di disponibilità. Pertanto, un errore in un dominio di disponibilità non dovrebbe influire sugli altri domini di disponibilità nell'area.
- Domini di errore
Un dominio di errore consiste in un gruppo di hardware e infrastruttura all'interno di un dominio di disponibilità. Ogni dominio di disponibilità dispone di tre domini di errore con alimentazione e hardware indipendenti. Quando distribuisci le risorse su più domini di errore, le tue applicazioni possono tollerare errori fisici del server, manutenzione del sistema e errori di alimentazione all'interno di un dominio di errore.
- Rete cloud virtuale (VCN) e subnet
Una VCN è una rete personalizzabile e definita dal software configurata in un'area Oracle Cloud Infrastructure. Come le tradizionali reti di data center, le reti VCN consentono di controllare l'ambiente di rete. Una VCN può avere più blocchi CIDR non sovrapposti che è possibile modificare dopo aver creato la VCN. Puoi segmentare una VCN in subnet, che possono essere definite in un'area o in un dominio di disponibilità. Ogni subnet è costituita da un intervallo contiguo di indirizzi che non si sovrappongono alle altre subnet nella VCN. È possibile modificare le dimensioni di una subnet dopo la creazione. Una subnet può essere pubblica o privata.
- Gateway API
Oracle API Gateway ti consente di pubblicare le API con endpoint privati accessibili dall'interno della tua rete e che, se necessario, puoi esporre alla rete Internet pubblica. Gli endpoint supportano la convalida delle API, la trasformazione delle richieste e delle risposte, il CORS, l'autenticazione e l'autorizzazione e la limitazione delle richieste.
- Funzioni
Oracle Cloud Infrastructure Functions è una piattaforma completamente gestita, multi-tenant, altamente scalabile, on-demand e Functions-as-a-Service (FaaS). È alimentato dal motore open source Fn Project. Le funzioni consentono di distribuire il codice e di chiamarlo direttamente o di attivarlo in risposta agli eventi. Oracle Functions utilizza i container Docker ospitati in Oracle Cloud Infrastructure Registry.
- Cache con Redis
Oracle Cloud Infrastructure Cache with Redis è una soluzione di memorizzazione nella cache completa e gestita in memoria basata sull'open source Redis. Questo servizio completamente gestito accelera le operazioni di lettura e scrittura dei dati, migliorando notevolmente i tempi di risposta delle applicazioni e le prestazioni del database per offrire una customer experience migliore.
- Integrazione
Oracle Integration è un servizio completamente gestito che consente di integrare le applicazioni, automatizzare i processi, ottenere insight sui processi aziendali e creare applicazioni visive.
- Vault
Oracle Cloud Infrastructure Vault ti consente di gestire centralmente le chiavi di cifratura che proteggono i tuoi dati e le credenziali segrete utilizzate per proteggere l'accesso alle tue risorse nel cloud. È possibile utilizzare il servizio Vault per creare e gestire vault, chiavi e segreti.
- LogLogging è un servizio altamente scalabile e completamente gestito che fornisce l'accesso ai seguenti tipi di log dalle risorse nel cloud:
- Log di audit: log relativi agli eventi emessi dal servizio di audit.
- Log del servizio: log emessi da singoli servizi, ad esempio gateway API, eventi, funzioni, bilanciamento del carico, storage degli oggetti e log di flusso VCN.
- Log personalizzati: log che contengono informazioni di diagnostica provenienti da applicazioni personalizzate, altri provider cloud o da un ambiente in locale.
- Monitoraggio
Il servizio Oracle Cloud Infrastructure Monitoring monitora attivamente e passivamente le tue risorse cloud utilizzando le metriche per monitorare le risorse e gli allarmi per avvisarti quando queste metriche soddisfano i trigger specificati dall'allarme.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) è il piano di controllo dell'accesso per Oracle Cloud Infrastructure (OCI) e Oracle Cloud Applications. L'API IAM e l'interfaccia utente consentono di gestire i domini di Identity e le risorse all'interno del dominio di Identity. Ogni dominio di Identity IAM OCI rappresenta una soluzione standalone per la gestione delle identità e degli accessi o una popolazione di utenti diversa.
- Criterio
Un criterio di Oracle Cloud Infrastructure Identity and Access Management specifica chi può accedere a quali risorse e come. L'accesso viene concesso a livello di gruppo e compartimento. Ciò significa che è possibile scrivere un criterio che fornisce a un gruppo un tipo specifico di accesso all'interno di un compartimento specifico o alla tenancy.
- Cache con Redis
Oracle Cloud Infrastructure Cache with Redis è una soluzione di memorizzazione nella cache completa e gestita in memoria basata sull'open source Redis. Questo servizio completamente gestito accelera le operazioni di lettura e scrittura dei dati, migliorando notevolmente i tempi di risposta delle applicazioni e le prestazioni del database per offrire una customer experience migliore.
- Vision
Oracle Cloud Infrastructure Vision è un servizio AI per eseguire un'analisi delle immagini basata sull'apprendimento approfondito su larga scala. Grazie ai modelli predefiniti disponibili immediatamente, gli sviluppatori possono creare facilmente il riconoscimento delle immagini e il riconoscimento del testo nelle proprie applicazioni senza l'esperienza del machine learning (ML).
- AI generativo
Oracle Cloud Infrastructure Generative AI è un servizio OCI completamente gestito che fornisce un set di modelli di linguaggio di grandi dimensioni (LLM) personalizzabili e all'avanguardia che coprono una vasta gamma di casi d'uso per la generazione di testo, il riepilogo, la ricerca semantica e altro ancora. Utilizza il parco giochi per provare i modelli pre-addestrati pronti all'uso o creare e ospitare i tuoi modelli personalizzati ottimizzati basati sui tuoi dati su cluster AI dedicati.
- Analisi documento
Oracle Cloud Infrastructure Document Understanding è un servizio AI per l'esecuzione di analisi dei documenti basata sull'apprendimento approfondito su larga scala. Grazie ai modelli predefiniti disponibili pronti all'uso, gli sviluppatori possono facilmente creare un'elaborazione intelligente dei documenti nelle proprie applicazioni senza l'esperienza del machine learning (ML).
- Digital Assistant
Oracle Digital Assistant è una piattaforma che consente di creare e distribuire assistenti digitali per gli utenti. Con Oracle Digital Assistant, puoi creare interfacce basate sull'intelligenza artificiale (o chatbot) per le applicazioni aziendali tramite interfacce di testo, chat e voce. Ogni assistente digitale ha una raccolta di una o più competenze specializzate, per aiutare gli utenti a completare una varietà di attività nelle conversazioni in linguaggio naturale. Ad esempio, un singolo assistente digitale potrebbe avere competenze che si concentrano su tipi specifici di task come il tracciamento del magazzino, la sottomissione di fogli ore e la creazione di note spese.
- Oracle Database 23ai
Oracle Database 23ai offre la potenza dell'AI AI dati e alle applicazioni aziendali. La ricerca vettoriale di Oracle AI consente di cercare facilmente documenti, immagini e dati relazionali memorizzati in database mission-critical in base al loro contenuto concettuale.
- Oracle Autonomous Database Select AI
Oracle Autonomous Database Select AI consente a Oracle Autonomous Database di utilizzare l'intelligenza artificiale generativa con modelli LLM (Large Language Model) per convertire l'input dell'utente in Oracle SQL. Oracle Autonomous Database Select AI elabora il prompt del linguaggio naturale, integra il prompt con i metadati, quindi genera ed esegue una query SQL.
- AI di Oracle HeatWave Gen
Oracle HeatWave Gen AI with vector store può essere utilizzato per un'implementazione RAG (Recupero-augmented Generation) per migliorare l'accuratezza e le prestazioni dei modelli AI.
Considerazioni
Quando si implementa OCI API Gateway per la gestione delle API del modello AI, tenere presente quanto riportato di seguito.
- Sicurezza
I modelli AI utilizzano grandi quantità di dati aziendali. I team di governance devono garantire che le misure di sicurezza gestiscano i dati applicando controlli di mascheramento, cifratura e accesso.
- Termini d'uso e licenze del modello AI
I modelli AI di terze parti sono dotati di licenze e termini dell'accordo. I team di governance AI devono essere consapevoli delle condizioni d'uso legali per garantire la compliance quando espongono i modelli tramite OCI API Gateway.
Visualizza altro
Scopri di più sull'infrastruttura AI OCI e sul gateway API OCI.
Esamina queste risorse aggiuntive:
OCI AI
- Infrastruttura basata sull'IA OCI
- AI generativa OCI
- Crea applicazioni basate su LLM utilizzando OCI Generative AI
OCI
- Panoramica del gateway API
- Framework delle best practice per Oracle Cloud Infrastructure
- Valutatore costi Oracle Cloud
Multi-cloud