Documentazione dell'infrastruttura Oracle Cloud

Applicazioni hosted

Un'applicazione è una risorsa OCI che definisce in che modo viene eseguito un carico di lavoro dell'AI generativa hosted e come vi si accede. Le applicazioni centralizzano le impostazioni operative come il ridimensionamento automatico, lo storage gestito, la rete e l'autenticazione. Le distribuzioni in hosting create all'interno di un'applicazione ereditano queste impostazioni.

Un'applicazione è una risorsa OCI che definisce in che modo viene eseguito un carico di lavoro dell'AI generativa hosted e come vi si accede. Le applicazioni centralizzano le impostazioni operative come il ridimensionamento automatico, lo storage gestito, la rete e l'autenticazione. Le distribuzioni in hosting create all'interno di un'applicazione ereditano queste impostazioni.

Un'impostazione applicazione può includere quanto riportato di seguito.

  • Impostazioni di ridimensionamento per le distribuzioni in hosting (repliche minime e massime e metrica di ridimensionamento automatico)
  • Opzioni di storage gestito e variabili di ambiente runtime
  • Impostazioni di networking per il traffico in uscita (ad es. in uscita) e l'accesso agli endpoint
  • Impostazioni di autenticazione per i token bearer del dominio di Identity, le sessioni del browser del dominio di Identity, le firme delle richieste IAM OCI o nessuna autenticazione gestita dalla piattaforma

Ridimensionamento

Le impostazioni di scala definiscono il modo in cui le distribuzioni hosted associate a un'applicazione aggiungono o rimuovono le repliche per gestire il carico. È possibile impostare un numero minimo e massimo di repliche e selezionare una metrica di ridimensionamento automatico, ad esempio richieste concorrenti, richieste al secondo (RPS), utilizzo della CPU o utilizzo della memoria.

Per le applicazioni con storage dei file persistente, impostare il conteggio minimo e massimo di repliche su 1. Lo storage di file persistente supporta una replica in questa release.

Variabili di storage e runtime gestite

Lo storage gestito fornisce storage con conservazione dello stato per le distribuzioni in hosting associate a un'applicazione. Lo storage di file viene attivato in un percorso contenitore specificato. I dettagli di connessione al database e alla cache vengono forniti tramite variabili di ambiente.

È inoltre possibile definire altre variabili runtime che vengono inserite nel contenitore in fase di esecuzione.

Autenticazione

Le impostazioni di autenticazione controllano la modalità di autenticazione delle richieste prima che vengano instradate alla distribuzione hosted. Le applicazioni in hosting supportano il token bearer del dominio di Identity, la sessione del browser del dominio di Identity e l'autenticazione della firma di richiesta IAM OCI. È inoltre possibile selezionare Nessuna autenticazione per il contenuto pubblico o quando l'applicazione gestisce l'autenticazione. Le distribuzioni hosted associate ereditano le impostazioni dell'applicazione.

L'autenticazione della sessione del browser del dominio di Identity utilizza il flusso del codice di autorizzazione OAuth 2.1 con PKCE. Il servizio ottiene i token di accesso per conto degli utenti del browser e stabilisce sessioni che utilizzano i cookie. Con Nessuna autenticazione, la piattaforma non esegue l'autenticazione delle richieste in entrata. Se è necessario limitare l'accesso, l'applicazione deve applicare i controlli di autenticazione e autorizzazione necessari. Vedere Autenticazione.

Per visualizzare l'impostazione selezionata dopo la creazione, aprire la scheda Configurazione dell'applicazione e selezionare Tipo di autenticazione in Autenticazione.

Networking

Le impostazioni di networking controllano il modo in cui le distribuzioni hosted associate a un traffico in uscita di instradamento applicazione (ad esempio) e il modo in cui viene eseguito l'accesso alla distribuzione attiva tramite un endpoint pubblico o privato.

Per impostazione predefinita, ogni applicazione distribuita viene configurata con l'accesso in uscita alla rete Internet pubblica. Ciò consente AI carichi di lavoro degli agenti di raggiungere risorse esterne come server MCP pubblici, API di terze parti, endpoint dei modelli di base e altri strumenti ospitati su Internet necessari per i flussi di lavoro AI tipici.

Un'applicazione può anche operare in modalità di rete clienti. Per questa opzione, puoi specificare una subnet di destinazione all'interno di una VCN nella tenancy. La piattaforma stabilisce quindi una connessione di rete privata sicura tra il carico di lavoro dell'agente e la subnet selezionata utilizzando un meccanismo Endpoint privato / Endpoint connessione inversa (PE/RCE).

Dopo l'abilitazione, tutto il traffico in uscita (in uscita) dall'agente viene instradato tramite la subnet specificata dal cliente. Ne consegue quanto riportato di seguito.

  • L'agente può accedere in modo sicuro alle risorse private all'interno della rete (ad esempio, database, istanze di computazione, servizi interni).
  • Il traffico rimane entro i confini della rete privata.
  • I controlli di sicurezza di rete come i gruppi di sicurezza di rete, (NSG), le tabelle di instradamento e i firewall nella tua VCN regolano la connettività in uscita.
  • L'uscita da Internet pubblica può essere limitata o disabilitata in base ai requisiti di sicurezza aziendali.

Questo modello offre flessibilità per supportare carichi di lavoro AI rivolti a Internet e implementazioni completamente private e integrate a livello aziendale, mantenendo al contempo chiari limiti di isolamento della rete tra la piattaforma e gli ambienti dei clienti.

Endpoint

Per impostazione predefinita, a ogni applicazione distribuita viene assegnato un endpoint pubblico che consente ai client di richiamare l'agente su Internet, soggetto ai controlli di autenticazione e autorizzazione configurati.

Per i casi d'uso che richiedono l'accesso alla rete privata, puoi creare un endpoint privato (PE) all'interno della piattaforma GenAI. L'endpoint privato consente il richiamo tramite un indirizzo IP privato e una risoluzione DNS interna. I client all'interno della rete privata connessa (ad esempio, VCN, on premise tramite FastConnect/VPN o reti di peering) possono quindi richiamare l'agente utilizzando il nome dominio completamente qualificato (FQDN) dell'endpoint privato.

Questa impostazione consente di:

  • Eliminazione dell'esposizione alla rete Internet pubblica
  • Confinamento del traffico all'interno dei confini della rete privata
  • Allineamento ai requisiti di sicurezza e conformità della rete aziendale

Protocolli di trasporto supportati

Dopo la distribuzione di un agente, i client lo richiamano tramite l'endpoint di cui è stato eseguito il provisioning. Il protocollo di trasporto dipende dall'implementazione del server agente e dal modello di interazione richiesto (sessioni di richiesta/risposta, streaming o bidirezionale).

I protocolli supportati includono:

HTTP;

HTTP è il modello di richiamo più supportato.

  • Modello di interazione: richiesta/risposta senza stato
  • Trasporto: HTTP/1.1 o HTTP/2 su TLS
  • Caso d'uso: chiamate API sincrone e richieste di inferenza di breve durata

In questa modalità, il client invia una richiesta HTTP (in genere POST con un payload JSON). Il server restituisce una sola risposta al termine dell'elaborazione.

SSE (eventi server-inviati)

Server-Sent Events (SSE) è un protocollo di streaming unidirezionale basato su HTTP.

  • Modello di interazione: da client a server (richiesta singola), da server a client (risposta in streaming)
  • Trasporto: HTTP con Content-Type: text/event-stream
  • Caso d'uso: risposte di streaming (ad esempio, output token per token)

In questa modalità, il client invia una richiesta e il server mantiene la connessione aperta durante lo streaming di risultati incrementali come eventi.

WebSocket (streaming duplex completo)

WebSocket fornisce una comunicazione bidirezionale e persistente tra client e server.

  • Modello di interazione: Full duplex (client e server possono inviare messaggi in qualsiasi momento)
  • Trasporto: protocollo WebSocket (wss://)
  • Caso d'uso: agenti interattivi, esecuzione degli strumenti in tempo reale e sessioni a più turni

Dopo l'handshake di aggiornamento HTTP iniziale, la connessione rimane aperta, consentendo lo scambio bidirezionale di messaggi su un canale persistente.

Storage gestito

Gli agenti AI richiedono servizi con conservazione dello stato per supportare memoria a breve termine, checkpoint, inserimento nella cache e storage del contesto. Per semplificare le operazioni e ridurre il sovraccarico di gestione, la piattaforma fornisce storage completamente gestito per le applicazioni hosted.

Quando si distribuisce un agente, è possibile selezionare una o più delle opzioni di storage gestito riportate di seguito.

  • Storage di file
  • PostgreSQL
  • Cache OCI
  • Oracle Autonomous Database

È possibile collegare una risorsa per ogni tipo di storage. Il servizio esegue il provisioning o collega lo storage selezionato e configura l'accesso dell'applicazione.

Lo storage di file conserva i file in un percorso di accesso designato tra i riavvii e le ridistribuzioni dei container. Ogni allegato specifico dell'applicazione ha una quota fissa di 50 GB. Le applicazioni che utilizzano la stessa risorsa di storage ricevono file system separati e non condividono file. Vedere Storage di file persistente per applicazioni in hosting.

Come funziona lo storage gestito

Lo storage gestito differisce dallo storage di cui si esegue il provisioning direttamente nella propria tenancy.

  • Distribuzione gestita dal servizio: lo storage gestito viene distribuito nella tenancy del servizio, non nella tenancy. È accessibile solo dall'applicazione ospitata associata e non è esposto per l'accesso esterno diretto (ad esempio, tramite client di database locali o endpoint pubblici).
  • Accesso con ambito applicativo: ogni applicazione può accedere solo ai propri dati di storage gestito. L'accesso è controllato internamente dalla piattaforma e non è necessario configurare il networking, l'autenticazione o le credenziali manualmente.
  • Integrazione del ciclo di vita: l'accesso allo storage è configurato per l'applicazione e le relative distribuzioni hosted associate. Lo storage di file conserva i file nel percorso di accesso configurato tra riavvii e ridistribuzioni.
  • Nessuna amministrazione a livello di DBA: poiché lo storage è completamente gestito dalla piattaforma:
    • Non si dispone delle autorizzazioni a livello di DBA.
    • Impossibile accedere all'infrastruttura di base.
Importante

Quando un'applicazione viene eliminata, i dati gestiti di PostgreSQL, OCI Cache e Autonomous Database vengono rimossi definitivamente e non possono essere recuperati.

Quando utilizzare lo storage gestito dal cliente

In alcuni scenari potrebbe essere necessario:

  • Storage il cui ciclo di vita è indipendente dall'agente
  • Controllo amministrativo completo sulla configurazione del database
  • Accesso diretto ad altri sistemi o strumenti
  • Estensioni, tuning o condivisione tra applicazioni personalizzate

In questi casi, puoi eseguire il provisioning delle risorse di storage nella tua VCN e tenancy. Quindi, configurare l'agente per la connessione a tali risorse utilizzando la modalità di rete clienti (descritta nella sezione precedente).

Questa opzione offre la massima flessibilità e ti consente di mantenere il controllo completo sull'infrastruttura.

Limiti

Per informazioni sui limiti, ad esempio il numero di applicazioni o artifact consentiti per ogni tenancy, vedere Limiti dell'applicazione