Paiement pour les clusters d'IA dédiés
Vous bénéficiez des avantages suivants pour l'utilisation de clusters d'IA dédiés dans OCI Generative AI :
- Tarification prévisible qui ne fluctue pas avec la demande.
- Idéal pour le réglage fin ou l'hébergement de modèles.
- Engagement d'hébergement minimal : 744 heures-unités par cluster d'hébergement.
- Engagement d'affinage minimal : 1 unité-heure par tâche de affinage. (Selon le modèle, le réglage fin nécessite au moins 2 unités à exécuter).
Pour savoir quels modèles sont disponibles pour le réglage fin, reportez-vous à Correspondance des modèles de base avec les clusters.
Les exemples suivants calculent le coût du cluster d'IA dédié dans OCI Generative AI. Pour calculer le coût d'inférence à la demande, reportez-vous à la rubrique Paiement de l'inférence à la demande.
Mise en correspondance de modèles avec des prix unitaires de cluster dédiés
Si vous hébergez des modèles de base ou que vous les affinez sur des clusters d'IA dédiés, vous êtes facturé par heure d'unité plutôt que par transaction. Dans ce cas, reportez-vous au tableau suivant pour calculer le coût du cluster d'IA dédié pour les modèles de discussion.
Certains modèles de base préentraînés fondamentaux d'OCI Generative AI pris en charge pour le mode de service dédié sont désormais en phase d'abandon et seront mis hors service au plus tôt 6 mois après la publication du 1er modèle de remplacement. Vous pouvez héberger un modèle de base ou affiner un modèle de base et héberger le modèle affiné sur un cluster d'IA dédié (mode de service dédié) jusqu'à ce que le modèle de base soit retraité. Pour connaître les dates de retrait du mode de service dédié, voir Mise hors service des modèles.
Modèles de discussion
Modèle de base | Affinage du cluster | Cluster d'hébergement | Informations sur la page de tarification | Demander une augmentation de limite de cluster |
---|---|---|---|---|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
Vous devez demander une augmentation de limite pour utiliser les ressources suivantes :
Famille Meta Llama
-
Pour héberger un modèle Meta Llama 4 Maverick, vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4. -
Pour héberger un modèle Meta Llama 4 Scout, vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour héberger un modèle Meta Llama 3.3 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour affiner un modèle Meta Llama 3.3 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4. -
Pour héberger un modèle Meta Llama 3.2 11B Vision , vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 1. -
Pour héberger un modèle Meta Llama 3.2 90B Vision , vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour héberger un modèle Meta Llama 3.1 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour affiner un modèle Meta Llama 3.1 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4. -
Pour héberger un modèle Meta Llama 3.1 (405B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4.
Famille de commande de Cohere
-
Pour héberger un modèle Cohere Command A, vous devez demander à
dedicated-unit-large-cohere-count
d'augmenter de 1. -
Pour héberger un modèle Cohere Command R (en phase d'abandon), vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 1. -
Pour affiner un modèle Cohere Command R (en phase d'abandon), vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 8. -
Pour héberger un modèle Cohere Command R 08-2024, vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 1. -
Pour affiner un modèle Cohere Command R 08-2024, vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 8. -
Pour héberger un modèle Cohere Command R+ (en phase d'abandon), vous devez demander à
dedicated-unit-large-cohere-count
d'augmenter de 2. -
Pour héberger un modèle Cohere Command R+ 08-2024, vous devez demander à
dedicated-unit-large-cohere-count
d'augmenter de 2.
Références : Limites de service pour Generative AI et demande d'augmentation de limite de cluster
Pour la génération de texte, la synthèse et l'intégration de texte, reportez-vous aux tableaux de la section Correspondance des modèles de base avec les clusters.
Hébergement d'un modèle fondamental - Exemple 1
John souhaite héberger une instance du modèle Command R+ 08-2024 (cohere.command-r-plus-08-2024
) sur une infrastructure dédiée. John supprime le cluster après 40 jours et souhaite connaître le coût du cluster. Pour héberger un modèle cohere.command-r-plus-08-2024
, John doit d'abord identifier la taille d'unité pouvant héberger le modèle cohere.command-r-plus-08-2024
. La taille d'unité du modèle cohere.command-r-plus-08-2024
est une unité Large Cohere V2_2. Reportez-vous à Correspondance des modèles de base avec les clusters.
John a besoin d'au moins une unité Large Cohere V2_2 pour héberger le modèle cohere.command-r-plus-08-2024
. Voici les étapes permettant de calculer le coût d'un cluster d'hébergement avec une unité Large Cohere V2_2.
Hébergement d'un modèle fondamental - Exemple 2
Alice souhaite héberger une instance du modèle Command R 08-2024 (cohere.command-r-08-2024
) sur une infrastructure dédiée. Pour héberger un modèle cohere.command-r-08-2024
, Alice doit d'abord identifier la taille d'unité pouvant héberger le modèle Command R 08-2024. La taille d'unité pour Command R 08-2024 est une unité Small Cohere V2. Reportez-vous à Correspondance des modèles de base avec les clusters.
Alice décide d'acheter trois unités de Small Cohere V2 pour gérer un volume d'appels plus élevé que celui qu'une seule unité fournirait. Alice prévoit de supprimer le cluster au bout de cinq jours. Voici les étapes pour calculer le coût d'un cluster d'hébergement avec trois unités Small Cohere V2 pendant cinq jours.
Réglage fin et hébergement d'un modèle - Exemple
Bob souhaite affiner un modèle Command R 08-2024 (cohere.command-r-08-2024
). Bob crée un cluster d'IA dédié au réglage fin avec la valeur prédéfinie de huit unités Small Cohere V2. Bob crée un modèle personnalisé sur le cluster d'IA à réglage fin dédié et affine le modèle de base Command R 08-2024 avec des données d'entraînement. Le travail de réglage fin prend 5 heures. Bob crée un cluster de réglage fin chaque semaine.
Pour héberger un modèle cohere.command-r-08-2024
, Bob doit identifier la taille d'unité pouvant héberger le modèle cohere.command-r-08-2024
. La taille d'unité du modèle cohere.command-r-08-2024
est une unité Small Cohere V2. Reportez-vous à Correspondance des modèles de base avec les clusters. Bob peut héberger jusqu'à 50 modèles affinés sur un seul cluster d'hébergement. Voici les étapes à suivre pour calculer le coût mensuel d'affinage et d'hébergement des modèles.
Outre le calcul du prix, vous pouvez estimer le coût en sélectionnant la catégorie IA et apprentissage automatique et en chargeant l'estimateur de coût pour OCI Generative AI.