Documentazione di Oracle Cloud Infrastructure

Creazione di un cluster AI dedicato nell'AI generativa per i modelli di hosting

Crea una risorsa cluster AI dedicata nell'AI generativa OCI per ospitare gli endpoint per modelli di base e modelli personalizzati pre-addestrati.

Importante

  • Non disponibile on-demand: tutti i modelli pre-addestrati di base dell'AI generativa OCI supportati per la modalità di servizio su richiesta che utilizzano le API di generazione testo e riepilogo (incluso il parco giochi) sono ora ritirati. Si consiglia di utilizzare i modelli di chat.
  • Possono essere ospitati nei cluster: se si ospita un modello di generazione di riepilogo o un modello di generazione come cohere.command in un cluster AI dedicato (modalità di servizio dedicata), è possibile continuare a utilizzare tale modello fino a quando non viene ritirato. Questi modelli, se ospitati su un cluster AI dedicato, sono disponibili solo nel Midwest degli Stati Uniti (Chicago). Vedere Ritiro dei modelli per le date e le definizioni di smobilizzo.
  1. Nella barra di navigazione della console selezionare un'area con intelligenza artificiale generativa, ad esempio Midwest degli Stati Uniti (Chicago) o Sud del Regno Unito (Londra). Vedere quali modelli vengono offerti nella propria area.
  2. Aprire il menu di navigazione e selezionare Analytics & AI. In Servizi AI, selezionare AI generativa.
  3. Selezionare un compartimento in cui si desidera ospitare i modelli.
    Assicurarsi di disporre dell'autorizzazione per utilizzare o gestire le risorse generative-ai-family e object-family in questo compartimento.
  4. Nella navigazione a sinistra selezionare un compartimento in cui si dispone dell'autorizzazione per lavorare.
  5. Fare clic su Cluster AI dedicati.
  6. Fare clic su Crea cluster AI dedicato.
  7. Selezionare un compartimento in cui creare il cluster AI dedicato. Il compartimento predefinito è quello selezionato nel passo 3, ma è possibile selezionare qualsiasi compartimento in cui si dispone dell'autorizzazione per lavorare.
  8. (Facoltativo) Immettere un nome e una descrizione per il cluster. Se non si immette un nome, il sistema ne genera uno che sarà possibile modificare in un secondo momento.

    Il nome generato ha il formato generativeaidedicatedaicluster<timestamp>. Ad esempio: generativeaidedicatedaicluster20240601202357

  9. Per Tipo di cluster, fare clic su Hosting.
  10. Per Modello base, selezionare il modello base di base di base per i modelli che si desidera ospitare in questo cluster. L'elenco dei modelli include solo i modelli di base non ancora ritirati per la modalità su richiesta.
    Per le dimensioni delle unità cluster dedicate, vedere Corrispondenza dei modelli di base ai cluster. Per le regole sulla creazione di endpoint per i modelli ospitati nei cluster, vedere Aggiunta di endpoint ai cluster di hosting.
  11. (Facoltativo) Aumentare il numero di istanze nel campo Replica modello.
    Importante

    Quando si crea un cluster per l'hosting di modelli per l'inferenza, per impostazione predefinita viene creata un'unità per il modello di base selezionato. Per aumentare il throughput, è possibile aumentare il numero di istanze nel campo Replica del modello ora o in un secondo momento quando si modifica il cluster. Ad esempio, la creazione di due repliche del modello in questo cluster richiede due unità.
  12. Leggere le ore unità di impegno per il cluster hosting e selezionare la casella di controllo per accettare l'impegno.
  13. (Facoltativo) Fare clic su Mostra opzioni avanzate e assegnare tag a questo cluster.
  14. Fare clic su Crea.
    Nota

    La creazione dei cluster richiede alcuni minuti. Quando il cluster si trova in uno stato attivo, è possibile selezionare tale cluster per ospitare un modello quando si crea un endpoint per tale modello.