Documentazione di Oracle Cloud Infrastructure

Creazione di un cluster AI dedicato per i modelli di hosting

Crea una risorsa cluster AI dedicata in OCI Generative AI per ospitare endpoint per modelli di base pre-addestrati, modelli personalizzati o modelli importati.

Importante

  • Non disponibile on-demand: tutti i modelli pre-addestrati di base dell'AI generativa OCI supportati per la modalità di servizio su richiesta che utilizzano le API di generazione testo e riepilogo (incluso il parco giochi) sono ora ritirati. Si consiglia di utilizzare i modelli di chat.
  • Possono essere ospitati nei cluster: se si ospita un modello di generazione di riepilogo o un modello di generazione come cohere.command in un cluster AI dedicato (modalità di servizio dedicata), è possibile continuare a utilizzare tale modello fino a quando non viene ritirato. Questi modelli, se ospitati su un cluster AI dedicato, sono disponibili solo nel Midwest degli Stati Uniti (Chicago). Vedere API non più valide nell'intelligenza artificiale generativa per la data in cui le API non sono più disponibili.
    1. Nella pagina elenco Cluster AI dedicati, selezionare Crea cluster AI dedicato. Per assistenza nella ricerca della pagina elenco, vedere Elenca cluster AI dedicati.
    2. Selezionare un compartimento in cui creare il cluster AI dedicato. Il compartimento predefinito è uguale alla pagina di elenco, ma è possibile selezionare qualsiasi compartimento nel quale si è autorizzati a lavorare.
    3. (Facoltativo) Immettere un nome e una descrizione per il cluster. Se non si immette un nome, il sistema ne genera uno che sarà possibile modificare in un secondo momento.

      Il nome generato ha il formato generativeaidedicatedaicluster<timestamp>. Ad esempio: generativeaidedicatedaicluster20250922181431

    4. Per Tipo di cluster, selezionare Hosting.
    5. Per Modello base, selezionare una delle opzioni riportate di seguito.
      • Il modello di base pre-addestrato che stai ospitando.
      • Se si utilizza un modello personalizzato, ottimizzato da un modello di base, selezionare il modello di base originale su cui è stato addestrato.
      • Se si utilizza un modello importato, selezionare il modello importato.
    6. Se è stato selezionato un modello importato, selezionare una dimensione unità consigliata.
      Per suggerimenti sulle dimensioni delle unità, vedere Modelli supportati per l'importazione. È inoltre possibile utilizzare questa guida per i modelli memorizzati nei bucket.

      I nomi forma unità hanno due parti: il tipo di istanza e il numero di schede. Esempio: H100_X1 = H100 with 1 card. Per A100, sono disponibili sia A100-80G che A100-40G; la dimensione della memoria nel nome (80G o 40G) li distingue.

      Importante

      Non è possibile modificare la forma dell'unità dopo aver creato un cluster AI dedicato.
    7. (Facoltativo) Aumentare il numero di istanze nel campo Replica modello.
      Importante

      Quando si crea un cluster per l'hosting di modelli per l'inferenza, per impostazione predefinita viene creata un'unità per il modello di base selezionato. Per aumentare il throughput, è possibile aumentare il numero di istanze nel campo Replica del modello ora o in un secondo momento quando si modifica il cluster. Ad esempio, la creazione di due repliche del modello in questo cluster richiede due unità.
    8. Leggere le ore unità di impegno per il cluster hosting e selezionare la casella di controllo per accettare l'impegno.
    9. (Facoltativo) Selezionare Aggiungi tag e assegnare tag a questo cluster.
    10. Selezionare Crea.
    Nota

    La creazione dei cluster richiede alcuni minuti. Quando il cluster si trova in uno stato attivo, è possibile selezionare tale cluster per ospitare un modello quando si crea un endpoint per tale modello.

  • Usare il comando dedicated-AI-cluster create e i parametri richiesti per creare un cluster AI dedicato:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Per un elenco completo dei parametri e dei valori per i comandi CLI, consultare il manuale CLI Command Reference.

  • Eseguire l'operazione CreateDedicatedAiCluster per creare un cluster dedicato.