Documentazione dell'infrastruttura Oracle Cloud

Aggiunta di un modello a un endpoint privato

Scopri come collegare un endpoint con un modello personalizzato o pre-addestrato a un endpoint privato in OCI Generative AI.

È possibile collegare uno o più endpoint a un endpoint privato.

  • Crea endpoint

    1. Nella pagina della lista Endpoint privati selezionare l'endpoint privato da utilizzare. Se è necessaria assistenza per trovare la pagina della lista per gli endpoint privati, vedere Elenca endpoint privati.
    2. Selezionare Endpoint, quindi selezionare Crea endpoint.

    Informazioni sull'endpoint

    1. Selezionare un compartimento in cui creare l'endpoint. Il compartimento predefinito è uguale alla pagina di elenco, ma è possibile selezionare qualsiasi compartimento nel quale si è autorizzati a lavorare.
      Suggerimento

      Si consiglia di creare l'endpoint nello stesso compartimento del modello.
    2. (Facoltativo) Immettere un nome per l'endpoint. Iniziare il nome con una lettera o un carattere di sottolineatura seguito da lettere, numeri, trattini o caratteri di sottolineatura. La lunghezza può essere compresa tra 1 e 255 caratteri. Se non si immette un nome, il sistema genera un nome che è possibile modificare in seguito.
      Il nome generato ha il formato generativeaiendpoint<timestamp>. Esempio: generativeaiendpoint20250531235319
    3. (Facoltativo) Immettere una descrizione per il modello.

    Configurazione di hosting

    1. Selezionare il compartimento che ospita il modello a cui si desidera aggiungere un endpoint.
    2. Selezionare il modello a cui si desidera aggiungere un endpoint. Questo modello può essere un modello personalizzato o un modello di base pre-addestrato pronto all'uso disponibile nell'area in cui si sta lavorando.
    3. Se il modello selezionato dispone di più versioni, selezionare una versione del modello.
      Per i modelli di base pre-addestrati pronti all'uso, questo campo viene popolato quando si seleziona il modello.
    4. Selezionare un cluster AI dedicato hosting eseguendo una delle azioni riportate di seguito.
      • Selezionare un cluster AI dedicato dalla lista. Se è stato creato un cluster qualche minuto fa, attendere che diventi attivo. Assicurarsi che il modello di base associato a questo cluster corrisponda al modello di base per il modello a cui si desidera aggiungere un endpoint.
      • Selezionare Crea nuovo cluster AI dedicato ed eseguire i passi riportati di seguito.
        1. (Facoltativo) Immettere un nome e un'indicazione.
        2. Selezionare un modello di base che corrisponda al modello di base del modello che si desidera ospitare.
        3. Aggiungere 1 replica del modello all'endpoint. Quando si crea un cluster, è necessaria almeno un'unità per un endpoint. Per un cluster esistente, è possibile utilizzare la stessa unità per ospitare nuovi endpoint. Ogni istanza ospita tutti gli endpoint attivi. Aumentando il conteggio delle istanze in un cluster, aumenta il numero di RPM supportati per tutti gli endpoint attivi ospitati in un cluster.
        4. Leggere le ore dell'unità di impegno per il cluster AI dedicato hosting e selezionare la casella di controllo per accettare l'impegno.
        5. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo cluster AI dedicato. Vedere Tag risorsa.
        6. Selezionare Crea e attendere che il cluster diventi attivo.
        7. Nell'elenco Cluster AI dedicato selezionare il cluster AI dedicato creato.

    Risorse di networking

    Endpoint privato preselezionato.

    Limiti

    1. Selezionare se abilitare i seguenti guardrail.
      • Moderazione dei contenuti
        • Non attivo: non applica la moderazione del contenuto e non genera contenuto esplicito.
        • Blocca: consente di identificare e applicare la moderazione del contenuto.
        • Informativa: non applica la moderazione dei contenuti, ma cerca di informare l'utente se il modello rileva i contenuti che richiedono moderazione.
      • Protezione da prompt injection (PI)
        • Non attivo: non applicare la protezione PI e consentire input illimitati.
        • Blocco: consente di identificare e proteggere da un'iniezione rapida.
        • Informativa: non applica la protezione PI, ma cerca di informare l'utente se il modello rileva il contenuto che richiede la protezione PI.
      • Protezione delle informazioni di identificazione personale (PII)
        • Non attivo: non applicare la protezione PII, ma il contenuto di output senza limitazioni di esposizione ai dati.
        • Blocco: consente di identificare e proteggere le informazioni di identificazione personale, ad esempio la Guida per la rimozione dei dati personali dalle risposte.
        • Informativa: non applica la protezione PII, ma mira a informare l'utente se il modello rileva il contenuto che richiede la protezione PII.
    2. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo endpoint. Vedere Tag risorsa.
    3. Selezionare Crea.
      Si è indirizzati alla pagina dei dettagli dell'endpoint in cui è possibile tenere traccia dello stato dell'endpoint.

  • Utilizzare il comando endpoint create e i parametri richiesti per creare un endpoint:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. È inoltre possibile trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati nell'intelligenza artificiale generativa.

  • Eseguire l'operazione CreateEndpoint per creare un endpoint.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. È inoltre possibile trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati nell'intelligenza artificiale generativa.