Documentazione di Oracle Cloud Infrastructure

Creazione di un endpoint nell'AI generativa

Creare un endpoint per un modello personalizzato o pre-addestrato su un cluster AI dedicato di hosting nell'AI generativa OCI.

Per informazioni sulle regole di creazione degli endpoint per i modelli ospitati nei cluster, vedere Aggiunta di endpoint ai cluster di hosting.
  1. Nella barra di navigazione della console selezionare un'area con intelligenza artificiale generativa, ad esempio Midwest degli Stati Uniti (Chicago) o Sud del Regno Unito (Londra). Vedere quali modelli vengono offerti nella propria area.
  2. Aprire il menu di navigazione e selezionare Analytics & AI. In Servizi AI, selezionare AI generativa.
  3. Selezionare il compartimento che contiene il modello personalizzato a cui si desidera aggiungere un endpoint.
  4. Eseguire una delle azioni riportate di seguito.
    • Per creare un endpoint per un modello personalizzato con nome e versione precompilati:
      1. Selezionare Modelli personalizzati.
      2. Selezionare il nome del modello personalizzato per il quale si desidera aggiungere un endpoint.
      3. Trovare il modello di base di base per il modello personalizzato. Il modello di base viene selezionato quando si abbina il modello a un cluster nei passi riportati di seguito.
      4. In Risorse, selezionare Endpoint.
      5. Selezionare Crea endpoint.
    • Per creare un endpoint per un modello di base pre-addestrato pronto all'uso o un modello personalizzato, effettuare le operazioni riportate di seguito.
      1. Selezionare Endpoint.
      2. Selezionare Crea endpoint
  5. (Facoltativo) Immettere un nome per l'endpoint. Iniziare il nome con una lettera o un carattere di sottolineatura, seguito da lettere, numeri, trattini o caratteri di sottolineatura. La lunghezza può essere compresa tra 1 e 255 caratteri. Se non si immette un nome, il sistema genera un nome che potrà essere modificato in un secondo momento.

    Il nome generato ha il formato generativeaiendpoint<timestamp>.

    generativeaiendpoint20240531235319

  6. Se non è selezionata, selezionare il nome e la versione del modello per cui si desidera aggiungere un endpoint.
    Suggerimento

    • Se il modello si trova in un compartimento diverso da quello corrente, selezionare Modifica compartimento e selezionare il compartimento che ospita il modello. Si consiglia di creare l'endpoint nello stesso compartimento del modello.
    • Se il modello personalizzato che si sta cercando non è elencato, selezionare Annulla. Quindi, in AI generativa, selezionare Modelli personalizzati e assicurarsi che il modello personalizzato sia in stato attivo.
  7. Selezionare un cluster AI dedicato di hosting eseguendo una delle azioni riportate di seguito.
    • Se si dispone già di un cluster, selezionare un cluster AI dedicato dall'elenco a discesa. Se è stato appena creato un cluster, attendere che il cluster diventi attivo. Assicurarsi che il modello base associato a questo cluster corrisponda al modello base del modello personalizzato.
    • Per creare un cluster, nell'elenco a discesa Cluster AI dedicato selezionare Crea nuovo cluster AI dedicato ed eseguire i passi riportati di seguito.
      1. (Facoltativo) Immettere un nome e una descrizione.
      2. Selezionare un modello base che corrisponda al modello base del modello che si desidera ospitare.
      3. Aggiungere 1 replica del modello all'endpoint. Quando si crea un cluster, è necessaria almeno un'unità per un endpoint. Per un cluster esistente, è possibile utilizzare la stessa unità per ospitare nuovi endpoint. Ogni istanza ospita tutti gli endpoint attivi. Aumentando il conteggio delle istanze in un cluster, aumenta il numero di RPM supportati per tutti gli endpoint attivi ospitati in un cluster.
      4. Leggere le ore unità di impegno per il cluster AI dedicato di hosting e selezionare la casella di controllo per accettare l'impegno.
      5. Selezionare Crea e attendere che il cluster diventi attivo.
      6. Dall'elenco a discesa Cluster AI dedicato, selezionare il cluster AI dedicato creato.
  8. Selezionare se abilitare i guardrail seguenti.
    • Moderazione dei contenuti
      • Non attivo: non applicare la moderazione del contenuto e non emettere contenuto esplicito.
      • Blocca: consente di identificare e applicare la moderazione del contenuto.
      • Informa: non applicare la moderazione del contenuto, ma cercare di informare l'utente se il modello rileva il contenuto che richiede moderazione.
    • Protezione da prompt injection (PI)
      • Non attivo: non applicare la protezione PI e consentire input illimitati.
      • Blocco: consente di identificare e proteggere dall'inserimento rapido.
      • Informa: non applicare la protezione PI, ma si propone di informare l'utente se il modello rileva il contenuto che richiede la protezione PI.
    • Protezione delle informazioni di identificazione personale (PII)
      • Non attivo: non applicare la protezione PII, ma eseguire l'output del contenuto senza limitazioni di esposizione dei dati.
      • Blocco: consente di identificare e proteggere le informazioni personali, ad esempio per rimuovere i dati personali dalle risposte.
      • Informa: non applica la protezione PII, ma mira a informare l'utente se il modello rileva il contenuto che richiede la protezione PII.
  9. (Facoltativo) Selezionare Mostra opzioni avanzate e assegnare tag all'endpoint.
  10. Selezionare Crea endpoint.
    Si viene indirizzati alla pagina dei dettagli dell'endpoint in cui è possibile tenere traccia dello stato dell'endpoint.
  11. Dopo aver attivato l'endpoint, selezionare Visualizza nell'area di gioco e iniziare a utilizzare il modello da questo endpoint.