Documentazione di Oracle Cloud Infrastructure

Creazione di un endpoint

Creare un endpoint per un modello personalizzato o pre-addestrato su un cluster AI dedicato di hosting nell'AI generativa OCI.

Nota

Per le regole degli endpoint, vedere il modello di base del modello a cui si desidera aggiungere un endpoint.

  • Nella pagina della lista Endpoint selezionare Crea endpoint. Se è necessaria assistenza per trovare la pagina della lista, vedere Elenca endpoint.

    Informazioni sull'endpoint

    1. Selezionare un compartimento in cui creare il modello. Il compartimento predefinito è uguale alla pagina di elenco, ma è possibile selezionare qualsiasi compartimento nel quale si è autorizzati a lavorare.
      Suggerimento

      Si consiglia di creare l'endpoint nello stesso compartimento del modello.
    2. (Facoltativo) Immettere un nome per l'endpoint. Iniziare il nome con una lettera o un carattere di sottolineatura, seguito da lettere, numeri, trattini o caratteri di sottolineatura. La lunghezza può essere compresa tra 1 e 255 caratteri. Se non si immette un nome, il sistema genera un nome che potrà essere modificato in un secondo momento.
      Il nome generato ha il formato generativeaiendpoint<timestamp>. Esempio: generativeaiendpoint20250531235319
    3. (Facoltativo) Immettere una descrizione per il modello.

    Configurazione di hosting

    1. Selezionare il compartimento che ospita il modello a cui si desidera aggiungere un endpoint.
    2. Selezionare il modello a cui si desidera aggiungere un endpoint. Questo modello può essere un modello personalizzato o un modello di base pre-addestrato pronto all'uso disponibile nell'area in cui si sta lavorando.
    3. Se il modello selezionato dispone di più versioni, selezionare una versione del modello.
      Per i modelli di base pre-addestrati pronti all'uso, questo campo viene popolato quando si seleziona il modello.
    4. Selezionare un cluster AI dedicato hosting eseguendo una delle azioni riportate di seguito.
      • Selezionare un cluster AI dedicato dalla lista. Se è stato creato un cluster qualche minuto fa, attendere che diventi attivo. Assicurarsi che il modello di base associato a questo cluster corrisponda al modello di base per il modello a cui si desidera aggiungere un endpoint.
      • Selezionare Crea nuovo cluster AI dedicato ed eseguire i passi riportati di seguito.
        1. (Facoltativo) Immettere un nome e una descrizione.
        2. Selezionare un modello base che corrisponda al modello base del modello che si desidera ospitare.
        3. Aggiungere 1 replica del modello all'endpoint. Quando si crea un cluster, è necessaria almeno un'unità per un endpoint. Per un cluster esistente, è possibile utilizzare la stessa unità per ospitare nuovi endpoint. Ogni istanza ospita tutti gli endpoint attivi. Aumentando il conteggio delle istanze in un cluster, aumenta il numero di RPM supportati per tutti gli endpoint attivi ospitati in un cluster.
        4. Leggere le ore unità di impegno per il cluster AI dedicato di hosting e selezionare la casella di controllo per accettare l'impegno.
        5. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo cluster AI dedicato. Vedere Tag risorsa.
        6. Selezionare Crea e attendere che il cluster diventi attivo.
        7. Nell'elenco Cluster AI dedicato selezionare il cluster AI dedicato creato.

    Limiti

    1. Selezionare se abilitare i guardrail seguenti.
      • Moderazione dei contenuti
        • Non attivo: non applicare la moderazione del contenuto e non emettere contenuto esplicito.
        • Blocca: consente di identificare e applicare la moderazione del contenuto.
        • Informa: non applicare la moderazione del contenuto, ma cercare di informare l'utente se il modello rileva il contenuto che richiede moderazione.
      • Protezione da prompt injection (PI)
        • Non attivo: non applicare la protezione PI e consentire input illimitati.
        • Blocco: consente di identificare e proteggere dall'inserimento rapido.
        • Informa: non applicare la protezione PI, ma si propone di informare l'utente se il modello rileva il contenuto che richiede la protezione PI.
      • Protezione delle informazioni di identificazione personale (PII)
        • Non attivo: non applicare la protezione PII, ma eseguire l'output del contenuto senza limitazioni di esposizione dei dati.
        • Blocco: consente di identificare e proteggere le informazioni personali, ad esempio per rimuovere i dati personali dalle risposte.
        • Informa: non applica la protezione PII, ma mira a informare l'utente se il modello rileva il contenuto che richiede la protezione PII.
    2. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo endpoint. Vedere Tag risorsa.
    3. Selezionare Crea.
      Si viene indirizzati alla pagina dei dettagli dell'endpoint in cui è possibile tenere traccia dello stato dell'endpoint.
    4. Dopo aver attivato l'endpoint, selezionare Visualizza nell'area di gioco e iniziare a utilizzare il modello da questo endpoint.

  • Utilizzare il comando endpoint create e i parametri necessari per creare un modello personalizzato.

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. È inoltre possibile trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati nell'intelligenza artificiale generativa.

  • Eseguire l'operazione CreateEndpoint per creare un modello personalizzato.

    Nota

    Per i modelli pre-addestrati, anziché un OCID, è possibile utilizzare il nome del modello esattamente come elencato nell'area di gioco della console. È inoltre possibile trovare questo nome di modello OCI nella pagina dei dettagli del modello in Modelli di base pre-addestrati nell'intelligenza artificiale generativa.