Documentazione di Oracle Cloud Infrastructure

Creazione di un cluster AI dedicato per i modelli di hosting

Crea una risorsa cluster AI dedicata nell'AI generativa OCI per ospitare gli endpoint per modelli di base e modelli personalizzati pre-addestrati.

Importante

  • Non disponibile on-demand: tutti i modelli pre-addestrati di base dell'AI generativa OCI supportati per la modalità di servizio su richiesta che utilizzano le API di generazione testo e riepilogo (incluso il parco giochi) sono ora ritirati. Si consiglia di utilizzare i modelli di chat.
  • Possono essere ospitati nei cluster: se si ospita un modello di generazione di riepilogo o un modello di generazione come cohere.command in un cluster AI dedicato (modalità di servizio dedicata), è possibile continuare a utilizzare tale modello fino a quando non viene ritirato. Questi modelli, se ospitati su un cluster AI dedicato, sono disponibili solo nel Midwest degli Stati Uniti (Chicago). Vedere Ritiro dei modelli per le date e le definizioni di smobilizzo.
    1. Nella pagina elenco Cluster AI dedicati, selezionare Crea cluster AI dedicato. Per assistenza nella ricerca della pagina elenco, vedere Elenca cluster AI dedicati.
    2. Selezionare un compartimento in cui creare il cluster AI dedicato. Il compartimento predefinito è uguale alla pagina di elenco, ma è possibile selezionare qualsiasi compartimento nel quale si è autorizzati a lavorare.
    3. (Facoltativo) Immettere un nome e una descrizione per il cluster. Se non si immette un nome, il sistema ne genera uno che sarà possibile modificare in un secondo momento.

      Il nome generato ha il formato generativeaidedicatedaicluster<timestamp>. Ad esempio: generativeaidedicatedaicluster20250922181431

    4. Per Tipo di cluster, selezionare Hosting.
    5. Per Modello base, selezionare il modello base di base di base per i modelli che si desidera ospitare in questo cluster. L'elenco dei modelli include solo i modelli di base non ancora ritirati per la modalità su richiesta.
      Per le dimensioni dell'unità cluster dedicata e le regole relative agli endpoint per i modelli ospitati nel cluster, selezionare il modello di base elencato nella pagina Modelli di base pre-addestrati nell'intelligenza artificiale generativa.
    6. (Facoltativo) Aumentare il numero di istanze nel campo Replica modello.
      Importante

      Quando si crea un cluster per l'hosting di modelli per l'inferenza, per impostazione predefinita viene creata un'unità per il modello di base selezionato. Per aumentare il throughput, è possibile aumentare il numero di istanze nel campo Replica del modello ora o in un secondo momento quando si modifica il cluster. Ad esempio, la creazione di due repliche del modello in questo cluster richiede due unità.
    7. Leggere le ore unità di impegno per il cluster hosting e selezionare la casella di controllo per accettare l'impegno.
    8. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo cluster.
    9. Selezionare Crea.
    Nota

    La creazione dei cluster richiede alcuni minuti. Quando il cluster si trova in uno stato attivo, è possibile selezionare tale cluster per ospitare un modello quando si crea un endpoint per tale modello.

  • Usare il comando dedicated-AI-cluster create e i parametri richiesti per creare un cluster AI dedicato:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

  • Eseguire l'operazione CreateDedicatedAiCluster per creare un cluster dedicato.