Documentazione dell'infrastruttura Oracle Cloud

Creazione di un endpoint

Crea un endpoint per un modello personalizzato, pre-addestrato o importato su un cluster AI dedicato all'hosting in OCI Generative AI.

Importante

Dichiarazione di non responsabilità

I nostri guardrail Content Moderation (CM) e Prompt Injection (PI) sono stati valutati su una serie di set di dati di benchmark multilingue. Tuttavia, le prestazioni effettive potrebbero variare a seconda delle lingue, dei domini, delle distribuzioni dei dati e dei pattern di utilizzo specifici presenti nei dati forniti dal cliente, poiché il contenuto viene generato dall'intelligenza artificiale e potrebbe contenere errori o omissioni. Pertanto, è destinato solo a scopo informativo, non deve essere considerato un consiglio professionale e OCI non garantisce che in tutte le implementazioni del mondo reale verranno osservate caratteristiche di prestazioni identiche. Il team di AI responsabile OCI sta migliorando continuamente questi modelli.

Le nostre funzionalità di moderazione dei contenuti sono state valutate rispetto a RTPLX, uno dei più grandi set di dati di benchmarking multilingue disponibili pubblicamente, che copre più di 38 lingue. Tuttavia, questi risultati dovrebbero essere interpretati con cautela appropriata in quanto il contenuto è generato dall'IA e potrebbe contenere errori o omissioni. Le valutazioni multilingue sono intrinsecamente vincolate dall'ambito, dalla rappresentatività e dalle pratiche di annotazione dei set di dati pubblici e le prestazioni osservate su RTPLX potrebbero non generalizzarsi completamente in tutti i contesti, i domini, i dialetti o i modelli di utilizzo del mondo reale. Pertanto, i risultati sono intesi solo a scopo informativo e non devono essere considerati una consulenza professionale.

Nota

Per aggiungere un modello a un endpoint privato, prima creare un endpoint privato, quindi tornare a questa pagina per i passi da seguire per allegare il modello.

Gli endpoint privati supportano solo modelli pre-addestrati e personalizzati. I modelli importati non sono supportati.

  • Nella pagina della lista Endpoint selezionare Crea endpoint. Se è necessaria assistenza per trovare la pagina della lista, vedere Elenca endpoint.

    Informazioni sull'endpoint

    1. Selezionare un compartimento in cui creare l'endpoint. Il compartimento predefinito è uguale alla pagina di elenco, ma è possibile selezionare qualsiasi compartimento nel quale si è autorizzati a lavorare.
      Suggerimento

      Si consiglia di creare l'endpoint nello stesso compartimento del modello.
    2. (Facoltativo) Immettere un nome per l'endpoint. Iniziare il nome con una lettera o un carattere di sottolineatura seguito da lettere, numeri, trattini o caratteri di sottolineatura. La lunghezza può essere compresa tra 1 e 255 caratteri. Se non si immette un nome, il sistema genera un nome che è possibile modificare in seguito.
      Il nome generato ha il formato generativeaiendpoint<timestamp>. Esempio: generativeaiendpoint20250531235319
    3. (Facoltativo) Immettere una descrizione per il modello.

    Configurazione di hosting

    1. Selezionare il compartimento che ospita il modello a cui si desidera aggiungere un endpoint.
    2. Selezionare il modello a cui si desidera aggiungere un endpoint. Questo modello può essere un modello personalizzato, un modello importato o un modello di base pre-addestrato pronto all'uso disponibile nell'area in cui si sta lavorando.
    3. Se il modello selezionato dispone di più versioni, selezionare una versione del modello.
      Per i modelli di base pre-addestrati pronti all'uso, questo campo viene popolato quando si seleziona il modello.
    4. Selezionare un cluster AI dedicato hosting eseguendo una delle azioni riportate di seguito.
      • Selezionare un cluster AI dedicato dalla lista. Se è stato creato un cluster qualche minuto fa, attendere che diventi attivo.
      • Selezionare Crea nuovo cluster AI dedicato ed eseguire i passi riportati di seguito.
        1. (Facoltativo) Immettere un nome e un'indicazione.
        2. Per Modello base, selezionare una delle opzioni riportate di seguito.
          • Il modello di base pre-addestrato che stai ospitando.
          • Se si utilizza un modello personalizzato, ottimizzato da un modello di base, selezionare il modello di base originale su cui è stato addestrato.
          • Se si utilizza un modello importato, selezionare il modello importato.
        3. Se è stato selezionato un modello importato, selezionare una dimensione dell'unità consigliata in base a questa guida.
        4. Per la replica del modello è necessaria almeno un'unità per un endpoint.
        5. Leggere le ore dell'unità di impegno per il cluster AI dedicato hosting e selezionare la casella di controllo per accettare l'impegno.
        6. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo cluster AI dedicato. Vedere Tag risorsa.
        7. Selezionare Crea e attendere che il cluster diventi attivo.
        8. Nell'elenco Cluster AI dedicato selezionare il cluster AI dedicato creato.

    Risorse di networking (per modelli pre-addestrati e personalizzati)

    Selezionare una delle opzioni seguenti.
    • Endpoint pubblico
    • Endpoint privato: se si seleziona questa opzione, selezionare il compartimento per l'endpoint privato, quindi l'endpoint privato che si desidera utilizzare. (Non disponibile per i modelli importati).
    Per impostazione predefinita, i modelli importati dispongono di endpoint pubblici.

    Guardrail (per modelli pre-addestrati e personalizzati)

    Nota

    I guardrail non sono disponibili per i modelli importati.
    1. Selezionare un'impostazione per ogni guardrail. Per informazioni di base, vedere Informazioni sui guardrail e prima di utilizzarli, vedere la dichiarazione di non responsabilità in questa pagina.
      • Moderazione dei contenuti
        • Non attivo: non viene applicata alcuna moderazione del contenuto.
        • Blocca: aiuta a rilevare contenuti che richiedono moderazione e mira a bloccare la richiesta o la risposta in base alla configurazione.
        • Informativa: non blocca il contenuto, ma mira a restituire un'indicazione quando viene rilevato il contenuto che richiede la moderazione
      • Protezione da prompt injection (PI)
        • Non attivo: non viene applicata alcuna protezione rapida per l'iniezione.
        • Blocco: aiuta a rilevare i tentativi di iniezione tempestivi e mira a bloccare la richiesta in base alla configurazione in uso.
        • Informativa: non blocca la richiesta, ma mira a restituire un'indicazione quando viene rilevato un rischio di iniezione tempestivo.
      • Protezione delle informazioni di identificazione personale (PII)
        • Non attivo: non viene applicata alcuna protezione PII.
        • Blocco: aiuta a rilevare le PII e mira a bloccare la richiesta o la risposta in base alla configurazione.
        • Informativa: non blocca il contenuto, ma mira a restituire un'indicazione quando vengono rilevate le informazioni di identificazione personale.
    2. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo endpoint. Vedere Tag risorsa.
    3. Selezionare Crea.
      Si è indirizzati alla pagina dei dettagli dell'endpoint in cui è possibile tenere traccia dello stato dell'endpoint.
    4. Dopo che l'endpoint è attivo, selezionare Visualizza in playground e iniziare a utilizzare il modello da questo endpoint.

  • Utilizzare il comando endpoint create e i parametri richiesti per creare un endpoint:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. Puoi anche trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati offerti nell'intelligenza artificiale generativa.

  • Eseguire l'operazione CreateEndpoint per creare un endpoint.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. Puoi anche trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati offerti nell'intelligenza artificiale generativa.