Documentazione dell'infrastruttura Oracle Cloud

Aggiunta di un modello a un endpoint privato

Scopri come associare un endpoint modello per un modello pre-addestrato, personalizzato o importato a un endpoint privato in OCI Generative AI.

È possibile associare uno o più endpoint modello a un endpoint privato. Un endpoint privato fornisce il percorso di rete privato, mentre ogni endpoint del modello fornisce l'accesso a un modello su un cluster AI dedicato di hosting. Ogni endpoint del modello viene conteggiato in base alla capacità finale rimanente del cluster di hosting.

  • Crea l'endpoint

    1. Nella pagina della lista Endpoint privati selezionare l'endpoint privato da utilizzare. Se è necessaria assistenza per trovare la pagina della lista per gli endpoint privati, vedere Elenca endpoint privati.
    2. Selezionare Endpoint, quindi selezionare Crea endpoint.

    Informazioni sull'endpoint

    1. Selezionare un compartimento in cui creare l'endpoint. Il compartimento predefinito è uguale alla pagina di elenco, ma è possibile selezionare qualsiasi compartimento nel quale si è autorizzati a lavorare.
      Suggerimento

      Si consiglia di creare l'endpoint nello stesso compartimento del modello.
    2. (Facoltativo) Immettere un nome per l'endpoint. Iniziare il nome con una lettera o un carattere di sottolineatura seguito da lettere, numeri, trattini o caratteri di sottolineatura. La lunghezza può essere compresa tra 1 e 255 caratteri. Se non si immette un nome, il sistema genera un nome che è possibile modificare in seguito.
      Il nome generato ha il formato generativeaiendpoint<timestamp>. Esempio: generativeaiendpoint20250531235319
    3. (Facoltativo) Immettere una descrizione per il modello.

    Configurazione di hosting

    1. Selezionare il compartimento che ospita il modello a cui si desidera aggiungere un endpoint.
    2. Selezionare il modello a cui si desidera aggiungere un endpoint. Questo modello può essere un modello personalizzato, un modello importato o un modello di base pre-addestrato pronto all'uso disponibile nell'area in cui si sta lavorando.
    3. Se il modello selezionato dispone di più versioni, selezionare una versione del modello.
      Per i modelli di base pre-addestrati pronti all'uso, questo campo viene popolato quando si seleziona il modello.
    4. Selezionare un cluster AI dedicato hosting eseguendo una delle azioni riportate di seguito.
      • Selezionare un cluster AI dedicato dalla lista. Se è stato creato un cluster qualche minuto fa, attendere che diventi attivo. Assicurarsi che il cluster sia stato creato per il modello pre-addestrato o importato selezionato oppure per il modello di base utilizzato per creare il modello personalizzato selezionato.
      • Selezionare Crea nuovo cluster AI dedicato ed eseguire i passi riportati di seguito.
        1. (Facoltativo) Immettere un nome e un'indicazione.
        2. Per Modello base, selezionare il modello pre-addestrato in hosting, il modello di base utilizzato per creare il modello personalizzato selezionato o il modello importato selezionato.
        3. Se è stato selezionato un modello importato, selezionare una dimensione unità consigliata. Vedere Forme unità hardware per i modelli importati.
        4. Utilizzare almeno una replica del modello per il cluster di hosting. Le repliche del cluster servono gli endpoint del modello attivo. Aggiungere repliche per aumentare il throughput dell'inferenza per gli endpoint; la creazione di endpoint aggiuntivi da soli non aumenta il throughput.
        5. Rivedere le informazioni di fatturazione e impegno per il cluster AI dedicato hosting e, se richiesto, selezionare la casella di controllo per accettare l'impegno. I cluster di hosting per i modelli importati non richiedono l'impegno minimo di 744 ore che si applica AI modelli pre-addestrati e personalizzati di OCI Generative AI.
        6. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo cluster AI dedicato. Vedere Tag risorsa.
        7. Selezionare Crea e attendere che il cluster diventi attivo.
        8. Nell'elenco Cluster AI dedicato selezionare il cluster AI dedicato creato.

    Risorse di networking

    Endpoint privato preselezionato.

    Guardrail (per modelli pre-addestrati e personalizzati)

    I guardrail non sono disponibili per i modelli importati.

    1. Selezionare se abilitare il guardrail seguente.
      • Moderazione dei contenuti
        • Non attivo: non applica la moderazione del contenuto e non genera contenuto esplicito.
        • Blocca: consente di identificare e applicare la moderazione del contenuto.
        • Informativa: non applica la moderazione dei contenuti, ma cerca di informare l'utente se il modello rileva i contenuti che richiedono moderazione.
    2. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo endpoint. Vedere Tag risorsa.
    3. Selezionare Crea.
      Si è indirizzati alla pagina dei dettagli dell'endpoint in cui è possibile tenere traccia dello stato dell'endpoint. Il nuovo endpoint modello viene conteggiato in base alla capacità endpoint rimanente del cluster di hosting.

  • Utilizzare il comando endpoint create e i parametri richiesti per creare un endpoint:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. Puoi anche trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati offerti nell'intelligenza artificiale generativa.

  • Eseguire l'operazione CreateEndpoint per creare un endpoint.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. Puoi anche trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati offerti nell'intelligenza artificiale generativa.