Panoramica della distribuzione degli agenti in OCI Generative AI
Puoi distribuire gli agenti utilizzando OCI Generative AI Applications, che forniscono un runtime gestito per i carichi di lavoro degli agenti containerizzati.
Per distribuire un agente, inserirlo nel package come immagine del contenitore, caricarlo in Oracle Cloud Infrastructure Registry (OCIR) e distribuirlo utilizzando la console, l'API o l'interfaccia CLI OCI.
Durante la distribuzione, configurare:
- Ridimensionamento
- Storage
- Networking
- Autenticazione
Dopo la distribuzione, il servizio esegue il provisioning di un endpoint (ad esempio, un URL HTTP) che i client o altri agenti possono utilizzare per richiamare l'agente.
Funzionamento
Dopo aver sviluppato un agente localmente, ad esempio utilizzando LangGraph o framework simili, è possibile creare un'applicazione AI generativa per definire la configurazione runtime.
È quindi possibile creare una distribuzione selezionando un'immagine contenitore. La distribuzione attiva gestisce le richieste tramite l'endpoint dell'applicazione. Dopo il provisioning della distribuzione, l'endpoint diventa disponibile per il richiamo dell'agente.
Procedura dettagliata
Utilizza le applicazioni AI generative per distribuire agenti come applicazioni gestite in container in OCI Generative AI.
Con le applicazioni di intelligenza artificiale generativa, crei un'immagine contenitore, la carichi in Oracle Cloud Infrastructure Registry (OCIR) e distribuisci quell'immagine come applicazione di intelligenza artificiale generativa utilizzando la console, l'API o l'interfaccia CLI OCI.
Quando si distribuisce un agente, è possibile configurare la modalità di esecuzione dell'applicazione e il modo in cui i client vi accedono, tra cui:
- Ridimensionamento
- Storage
- Networking
- Autenticazione
Dopo il provisioning della distribuzione, OCI Generative AI fornisce un endpoint, ad esempio un URL HTTP, che i client possono utilizzare per richiamare l'agente distribuito.
La distribuzione di un agente è utile quando si desidera un runtime gestito per un'applicazione agente containerizzata, con configurazione di distribuzione gestita da OCI e provisioning degli endpoint.
Per ulteriori informazioni, vedere gli argomenti relativi alle applicazioni AI generativa e alla distribuzione di applicazioni agente containerizzate.