Documentazione di Oracle Cloud Infrastructure

Pagamento per cluster AI dedicati

Puoi ottenere i seguenti vantaggi per l'uso dei cluster AI dedicati nell'AI generativa OCI:

  • Prezzi prevedibili che non fluttuano con la domanda.
  • Ottimo per modelli di ottimizzazione o hosting.
  • Impegno minimo per l'hosting: 744 ore per unità per cluster di hosting.
  • Impegno minimo per il tuning: 1 unità di ora per ogni job di ottimizzazione. (A seconda del modello, la messa a punto richiede almeno 2 unità).

Gli esempi seguenti calcolano il costo del cluster AI dedicato in OCI Generative AI. Per il calcolo dei costi di inferenza su richiesta, vedere Pagamento di inferenze su richiesta.

Modelli corrispondenti ai prezzi delle unità cluster dedicate

Se stai ospitando i modelli di base o li stai fine-tuning su cluster AI dedicati, ti viene addebitato l'ora dell'unità piuttosto che la transazione.

Andare alla pagina Modelli pre-addestrati e selezionare il modello da utilizzare. Nella sezione Cluster AI dedicato per il modello, trovare la dimensione dell'unità per il cluster AI dedicato corrispondente al modello e alle informazioni sulla pagina di determinazione prezzi. Quindi, esaminare gli esempi in questa sezione per imparare a calcolare il costo per l'utilizzo di questi modelli.

Importante

Alcuni modelli di base pre-addestrati di base di AI generativa OCI supportati per la modalità di servizio dedicata sono ora non più validi e verranno ritirati non prima di 6 mesi dopo il rilascio del 1o modello di sostituzione. È possibile ospitare un modello di base o ottimizzare un modello di base e ospitare il modello ottimizzato in un cluster AI dedicato (modalità di servizio dedicata) fino a quando il modello di base non viene ritirato. Per le date di ritiro della modalità di servizio dedicata, vedere Ritiro dei modelli.

Hosting di un modello di base Esempio 1

John desidera ospitare un'istanza del modello Command R+ 08-2024 (cohere.command-r-plus-08-2024) sull'infrastruttura dedicata. John elimina il cluster dopo 40 giorni e desidera conoscere il costo del cluster. Per ospitare un modello cohere.command-r-plus-08-2024, John deve prima identificare la dimensione dell'unità che può ospitare il modello cohere.command-r-plus-08-2024. La dimensione dell'unità per il modello cohere.command-r-plus-08-2024 è un'unità Large Cohere V2_2. Vedere Cluster AI dedicato per il modello.

John richiede almeno un'unità Large Cohere V2_2 per ospitare il modello cohere.command-r-plus-08-2024. Di seguito sono riportati i passi per calcolare il costo di un cluster di hosting con un'unità Large Cohere V2_2.

  1. Calcolare le ore unità per 40 giorni. 
    40 days x 24 hours per day x 1 unit = 960 unit hours.
  2. Assicurarsi che le ore di unità superino l'impegno minimo per l'hosting dei modelli. 
    960 unit hours > 744 minimum unit hours
  3. Vai su Prezzi AI e in AI generativa OCI, per Oracle Cloud Infrastructure Generative AI- Large Cohere - Dedicated, trova <Large-Cohere-dedicated-unit-per-hour-price>.
  4. Nella sezione dedicata del cluster AI della sezione Cluster AI dedicato per il modello, trovare il moltiplicatore per il modello cohere.command-r-plus-08-2024: 
    
                                For Hosting, Multiply the Unit Price: x 2
  5. Calcola il prezzo per 40 giorni. 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

Hosting di un modello di base Esempio 2

Alice vuole ospitare un'istanza del modello Command R 08-2024 (cohere.command-r-08-2024) su un'infrastruttura dedicata. Per ospitare un modello cohere.command-r-08-2024, Alice deve prima identificare la dimensione dell'unità che può ospitare il modello Command R 08-2024. La dimensione unità per Command R 08-2024 è un'unità Small Cohere V2. Vedere Cluster AI dedicato per il modello.

Alice decide di acquistare tre unità di Small Cohere V2 per gestire un volume di chiamata più elevato al modello rispetto a quello fornito da una singola unità. Alice prevede di eliminare il cluster dopo cinque giorni. Ecco i passaggi per calcolare il costo di un cluster di hosting con tre unità Small Cohere V2 per cinque giorni.

  1. Calcolare le ore di unità. 
    5 days x 24 hours per day x 3 units = 360 unit hours.
  2. Confrontare le ore di unità con l'impegno minimo per l'hosting dei modelli. 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. Vai su Prezzi AI e in AI generativa OCI, per Oracle Cloud Infrastructure Generative AI- Small Cohere - Dedicated, trova <Small-Cohere-dedicated-unit-per-hour-price>.
  4. Nella sezione Cluster AI dedicato per il modello, individuare il moltiplicatore per il modello cohere.command-r-08-2024.

    Non è necessario moltiplicare il prezzo per l'hosting del modello cohere.command-r-08-2024.

  5. Calcolare il costo per cinque giorni. 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Ottimizzazione e hosting di un esempio di modello

Bob vuole perfezionare un modello Command R 08-2024 (cohere.command-r-08-2024). Bob crea un cluster AI fine-tuning dedicato con il valore preimpostato di otto unità Small Cohere V2. Bob crea un modello personalizzato sul cluster AI fine-tuning dedicato e perfeziona il modello di base Command R 08-2024 con i dati di addestramento. Il completamento del lavoro di messa a punto richiede 5 ore. Bob crea un cluster di messa a punto ogni settimana.

Per ospitare un modello cohere.command-r-08-2024, Bob deve identificare la dimensione dell'unità che può ospitare il modello cohere.command-r-08-2024. La dimensione dell'unità per il modello cohere.command-r-08-2024 è un'unità Small Cohere V2. Vedere Cluster AI dedicato per il modello. Bob può ospitare fino a 50 modelli ottimizzati su un singolo cluster di hosting. Ecco i passaggi per calcolare il costo mensile per la messa a punto e l'hosting dei modelli.

  1. Calcolare le ore di unità per ogni messa a punto. 
    Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours
  2. Confrontare le ore di unità con l'impegno minimo per la messa a punto dei modelli. 
    40 unit hours > 1 unit hour
  3. Calcolare le ore di unità per l'hosting. 
    31 days x 24 hours per day x 1 unit = 744 unit hours
  4. Confrontare le ore di unità con l'impegno minimo per l'hosting dei modelli. 
    744 unit hours = 744 minimum unit hours
  5. Vai su Prezzi AI e in AI generativa OCI, per Oracle Cloud Infrastructure Generative AI- Small Cohere - Dedicated, trova <Small-Cohere-dedicated-unit-per-hour-price>.
  6. Trova il prezzo mensile totale. 
    fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>
                                
    hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
                                
    total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
Suggerimento

Oltre a calcolare il prezzo, è possibile stimare il costo selezionando la categoria AI e Machine Learning e caricando il valutatore dei costi per l'AI generativa OCI.