Gestione dei profili di instradamento
I profili di instradamento definiscono in che modo l'AI generativa OCI instrada le richieste di modelli on-demand nelle aree OCI selezionate dall'utente.
Un profilo di instradamento specifica un modello su richiesta supportato e una o più aree OCI di destinazione all'interno dello stesso realm in cui tale modello è disponibile. Quando si fa riferimento al profilo di instradamento in una richiesta di inferenza supportata, l'intelligenza artificiale generativa instrada la richiesta solo tra le aree di destinazione nel profilo.
Utilizzare i profili di instradamento per accedere a un modello selezionato in un ambito regionale approvato senza creare un instradamento tra più aree lato applicazione. Per la disponibilità regionale di ciascun modello, vedere Modelli di intelligenza artificiale generativa per area.
Utilizzare un profilo di instradamento per accedere a un modello su richiesta ospitato in un'altra area. L'API chat, l'API completamenti chat OCI e l'API risposte OCI sono supportati quando il modello selezionato supporta l'API. Per le aree senza elaborazione di modelli locali, tra cui UAE Central (Abu Dhabi), che ospita anche modelli dedicati, vedere Aree senza elaborazione di modelli locali.
I profili di instradamento sono disponibili anche nelle aree con elaborazione del modello locale. Ad esempio, se un modello su richiesta è disponibile nel Midwest degli Stati Uniti (Chicago) ma non nell'Est degli Stati Uniti (Ashburn), creare un profilo di instradamento in Ashburn e selezionare Chicago come area di destinazione. Selezionare il profilo nel Playground di Ashburn o fare riferimento a esso in una richiesta all'endpoint API Ashburn. L'inferenza tramite i profili di instradamento utilizza la modalità su richiesta.
Per creare e gestire i profili di instradamento, è possibile eseguire i task riportati di seguito.