Gestione degli endpoint
Per utilizzare un modello personalizzato AI generativa OCI per l'inferenza, è innanzitutto necessario creare un endpoint per tale modello. È inoltre possibile creare endpoint per i modelli pre-addestrati disponibili nell'area di gioco.
Un endpoint è un punto specificato in un cluster AI dedicato in cui un modello può accettare richieste utente e inviare risposte come il testo generato dal modello. È possibile creare un endpoint in un cluster AI dedicato hosting.
Per accedere a un modello tramite un endpoint privato, è necessario prima creare un endpoint privato, quindi tornare a questa pagina per creare un endpoint per il modello in un cluster AI dedicato.
- Dopo aver creato un endpoint attivo per un modello personalizzato, il modello viene elencato nell'elenco dei modelli del campo di gioco.
- Ogni modello personalizzato può avere più endpoint.
- Ogni cluster AI dedicato hosting può ospitare molti endpoint. Visualizza il numero di endpoint rimanenti nella pagina dei dettagli del cluster AI dedicato. Se non è più necessario l'endpoint di un modello personalizzato, è possibile eliminare tale endpoint e utilizzare il cluster AI dedicato associato per ospitare un nuovo endpoint.
È possibile eseguire i task riportati di seguito per creare e gestire gli endpoint per i modelli personalizzati.