Pagamento per cluster AI dedicati
Puoi ottenere i seguenti vantaggi per l'uso dei cluster AI dedicati nell'AI generativa OCI:
- Prezzi prevedibili che non fluttuano con la domanda.
- Ottimo per modelli di ottimizzazione o hosting.
- Impegno minimo per l'hosting: 744 ore per unità per cluster di hosting.
- Impegno minimo per il tuning: 1 unità di ora per ogni job di ottimizzazione. (A seconda del modello, la messa a punto richiede almeno 2 unità).
Gli esempi riportati di seguito calcolano il costo del cluster AI dedicato nell'AI generativa OCI. Per calcolare il costo di inferenza su richiesta, vedere Pagamento per inferenza su richiesta.
Modelli corrispondenti ai prezzi delle unità cluster dedicate
Se stai ospitando i modelli di base o li stai fine-tuning su cluster AI dedicati, ti viene addebitato l'ora dell'unità piuttosto che la transazione.
Andare alla pagina Modelli pre-addestrati e selezionare il modello da utilizzare. Nella sezione Cluster AI dedicato per il modello, trovare la dimensione dell'unità per il cluster AI dedicato corrispondente al modello e alle informazioni sulla pagina di determinazione prezzi. Quindi, esaminare gli esempi in questa sezione per imparare a calcolare il costo per l'utilizzo di questi modelli.
Alcuni modelli di base pre-addestrati di base di AI generativa OCI supportati per la modalità di servizio dedicata sono ora non più validi e verranno ritirati non prima di 6 mesi dopo il rilascio del 1o modello di sostituzione. È possibile ospitare un modello di base o ottimizzare un modello di base e ospitare il modello ottimizzato in un cluster AI dedicato (modalità di servizio dedicata) fino a quando il modello di base non viene ritirato. Per le date di ritiro della modalità di servizio dedicata, vedere Ritiro dei modelli.
Hosting di un modello di base Esempio 1
John desidera ospitare un'istanza del modello Command R+ 08-2024 (cohere.command-r-plus-08-2024
) sull'infrastruttura dedicata. John elimina il cluster dopo 40 giorni e desidera conoscere il costo del cluster. Per ospitare un modello cohere.command-r-plus-08-2024
, John deve prima identificare la dimensione dell'unità che può ospitare il modello cohere.command-r-plus-08-2024
. La dimensione dell'unità per il modello cohere.command-r-plus-08-2024
è un'unità Large Cohere V2_2. Vedere Cluster AI dedicato per il modello.
John richiede almeno un'unità Large Cohere V2_2 per ospitare il modello cohere.command-r-plus-08-2024
. Di seguito sono riportati i passi per calcolare il costo di un cluster di hosting con un'unità Large Cohere V2_2.
Hosting di un modello di base Esempio 2
Alice vuole ospitare un'istanza del modello Command R 08-2024 (cohere.command-r-08-2024
) su un'infrastruttura dedicata. Per ospitare un modello cohere.command-r-08-2024
, Alice deve prima identificare la dimensione dell'unità che può ospitare il modello Command R 08-2024. La dimensione unità per Command R 08-2024 è un'unità Small Cohere V2. Vedere Cluster AI dedicato per il modello.
Alice decide di acquistare tre unità di Small Cohere V2 per gestire un volume di chiamata più elevato al modello rispetto a quello fornito da una singola unità. Alice prevede di eliminare il cluster dopo cinque giorni. Ecco i passaggi per calcolare il costo di un cluster di hosting con tre unità Small Cohere V2 per cinque giorni.
Ottimizzazione e hosting di un esempio di modello
Bob vuole perfezionare un modello Command R 08-2024 (cohere.command-r-08-2024
). Bob crea un cluster AI fine-tuning dedicato con il valore preimpostato di otto unità Small Cohere V2. Bob crea un modello personalizzato sul cluster AI fine-tuning dedicato e perfeziona il modello di base Command R 08-2024 con i dati di addestramento. Il completamento del lavoro di messa a punto richiede 5 ore. Bob crea un cluster di messa a punto ogni settimana.
Per ospitare un modello cohere.command-r-08-2024
, Bob deve identificare la dimensione dell'unità che può ospitare il modello cohere.command-r-08-2024
. La dimensione dell'unità per il modello cohere.command-r-08-2024
è un'unità Small Cohere V2. Vedere Cluster AI dedicato per il modello. Bob può ospitare fino a 50 modelli ottimizzati su un singolo cluster di hosting. Ecco i passaggi per calcolare il costo mensile per la messa a punto e l'hosting dei modelli.
Oltre a calcolare il prezzo, è possibile stimare il costo selezionando la categoria AI e Machine Learning e caricando il valutatore dei costi per l'AI generativa OCI.