Paiement pour les clusters d'IA dédiés

Vous bénéficiez des avantages suivants pour l'utilisation de clusters d'IA dédiés dans OCI Generative AI :

Tarification prévisible qui ne fluctue pas avec la demande.
Idéal pour le réglage fin ou l'hébergement de modèles.
Engagement d'hébergement minimal : 744 heures-unités par cluster d'hébergement.
Engagement d'affinage minimal : 1 unité-heure par tâche de affinage. (Selon le modèle, le réglage fin nécessite au moins 2 unités à exécuter).

Remarque

Pour savoir quels modèles sont disponibles pour l'affinage, reportez-vous à Mise en correspondance de modèles de base avec des clusters.

Les exemples suivants calculent le coût du cluster d'IA dédié dans OCI Generative AI. Pour calculer le coût d'inférence à la demande, reportez-vous à la rubrique Paiement de l'inférence à la demande.

Mise en correspondance de modèles avec des prix unitaires de cluster dédiés

Si vous hébergez des modèles de base ou que vous les affinez sur des clusters d'IA dédiés, vous serez facturé par heure d'unité plutôt que par transaction. Dans ce cas, reportez-vous au tableau suivant pour calculer le coût du cluster d'IA dédié pour les modèles de discussion.

Modèles de discussion


Modèle de base	Affinage du cluster	Cluster d'hébergement	Informations sur la page de tarification	Demander une augmentation de limite de cluster
Nom du modèle : Cohere Command R Nom de modèle OCI : `cohere.command-r-16k`	Taille d'unité : Small Cohere V2 Unités requises : 8	Taille d'unité : Small Cohere V2 Unités requises : 1	Nom de produit de la page de tarification : Small Cohere - Dedicated Pour le réglage fin, multipliez le prix unitaire : x8	Nom de limite : `dedicated-unit-small-cohere-count` Pour l'hébergement, augmentation de limite de demande de : 1 Pour le réglage fin, demander une augmentation de limite de : 8
Nom du modèle : Cohere Command R+ Nom de modèle OCI : `cohere.command-r-plus`	Non disponible pour le réglage fin	Taille d'unité : Large Cohere V2_2 Unités requises : 1	Nom de produit de la page de tarification : Large Cohere - Dedicated Pour l'hébergement, multipliez le prix unitaire : x2	Nom de limite : `dedicated-unit-large-cohere-count` Pour l'hébergement, augmentation de limite de demande de : 2
Nom du modèle : Meta Llama 3 Nom de modèle OCI : `meta.llama-3-70b-instruct` (en phase d'abandon)	Taille d'unité : Large Generic Unités requises : 2	Taille d'unité : Large Generic Unités requises : 1	Nom de produit de la page de tarification : Large Meta - Dedicated Pour l'hébergement, multipliez le prix unitaire : x2 Pour le réglage fin, multipliez le prix unitaire : x4	Nom de limite : `dedicated-unit-llama2-70-count` Pour l'hébergement, augmentation de limite de demande de : 2 Pour le réglage fin, demander une augmentation de limite de : 4
Nom du modèle : Meta Llama 3.1 (70B) Nom de modèle OCI : `meta.llama-3.1-70b-instruct`	Taille d'unité : Large Generic Unités requises : 2	Taille d'unité : Large Generic Unités requises : 1	Nom de produit de la page de tarification : Large Meta - Dedicated Pour l'hébergement, multipliez le prix unitaire : x2 Pour le réglage fin, multipliez le prix unitaire : x4	Nom de limite : `dedicated-unit-llama2-70-count` Pour l'hébergement, augmentation de limite de demande de : 2 Pour le réglage fin, demander une augmentation de limite de : 4
Nom du modèle : Meta Llama 3.1 (405B) Nom de modèle OCI : `meta.llama-3.1-405b-instruct`	Non disponible pour le réglage fin	Taille d'unité : Large Generic 4 Unités requises : 1	Nom de produit de la page de tarification : Large Meta - Dedicated Pour l'hébergement, multipliez le prix unitaire : x8	Nom de limite : `dedicated-unit-llama2-70-count` Pour l'hébergement, augmentation de limite de demande de : 8

Important

Vous devez demander une augmentation de limite pour utiliser les ressources suivantes :

Famille Meta Llama

Pour héberger un modèle Meta Llama 3.1 (405B), vous devez demander à dedicated-unit-llama2-70-count d'augmenter de 8.
Pour héberger un modèle Meta Llama 3.1 (70B), vous devez demander à dedicated-unit-llama2-70-count d'augmenter de 2.
Pour affiner un modèle Meta Llama 3.1 (70B), vous devez demander à dedicated-unit-llama2-70-count d'augmenter de 4.

Famille Cohere Command R

Pour héberger un modèle Cohere Command R+, vous devez demander à dedicated-unit-large-cohere-count d'augmenter de 2.
Pour héberger un modèle Cohere Command R, vous devez demander à dedicated-unit-small-cohere-count d'augmenter de 1.
Pour affiner un modèle Cohere Command R, vous devez demander à dedicated-unit-small-cohere-count d'augmenter de 8.

Références : Limites de service pour Generative AI et demande d'augmentation de limite de cluster

Pour la génération de texte, l'agrégation et l'incorporation de texte, reportez-vous aux tableaux de la section Matching Base Models to Clusters.

Hébergement d'un modèle fondamental - Exemple 1

John souhaite héberger une instance du modèle Cohere Command R+ (cohere.command-r-plus) sur une infrastructure dédiée. John supprime le cluster au bout de 40 jours et souhaite connaître le coût du cluster. Pour héberger un modèle cohere.command-r-plus, John doit d'abord identifier la taille d'unité pouvant héberger le modèle cohere.command-r-plus. La taille d'unité pour le modèle cohere.command-r-plus est une unité Large Cohere V2_2. Reportez-vous à Mise en correspondance de modèles de base avec des clusters.

John a besoin d'au moins une unité Large Cohere V2_2 pour héberger le modèle cohere.command-r-plus. Voici les étapes permettant de calculer le coût d'un cluster d'hébergement avec une unité Large Cohere V2_2.

Calculez les heures unitaires pendant 40 jours.

40 days x 24 hours per day x 1 unit = 960 unit hours.

Assurez-vous que les heures d'unité dépassent l'engagement minimum pour l'hébergement des modèles.
```
960 unit hours > 744 minimum unit hours
```
Accédez à la tarification de l'IA et sous OCI Generative AI, pour Oracle Cloud Infrastructure Generative AI- Large Cohere - Dedicated, recherchez <Large-Cohere-dedicated-unit-per-hour-price>.
Sur la page Mise en correspondance de modèles de base avec des clusters, recherchez le multiplicateur pour le modèle cohere.command-r-plus :
```
For Hosting, Multiply the Unit Price: x 2
```

Calculez le prix pendant 40 jours.

price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

Hébergement d'un modèle fondamental - Exemple 2

Alice souhaite héberger une instance du modèle Cohere Command R (cohere.command-r-16k) sur une infrastructure dédiée. Pour héberger un modèle cohere.command-r-16k, Alice doit d'abord identifier la taille d'unité pouvant héberger le modèle Cohere Command R. La taille d'unité pour Cohere Command R est une unité Small Cohere V2. Reportez-vous à Mise en correspondance de modèles de base avec des clusters.

Alice décide d'acheter trois unités de Small Cohere V2 pour gérer un volume d'appels plus élevé que celui qu'une seule unité fournirait. Alice prévoit de supprimer le cluster au bout de cinq jours. Voici les étapes pour calculer le coût d'un cluster d'hébergement avec trois unités Small Cohere V2 pendant cinq jours.

Calculer les heures unitaires.

5 days x 24 hours per day x 3 units = 360 unit hours.

Comparez les heures unitaires à l'engagement minimum pour l'hébergement des modèles.
```
360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
```
Accédez à la tarification de l'IA et sous OCI Generative AI, pour Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated, recherchez <Small-Cohere-dedicated-unit-per-hour-price>.
Sur la page Mise en correspondance de modèles de base avec des clusters, recherchez le multiplicateur pour le modèle cohere.command-r-16k :

Vous n'avez pas besoin de multiplier le prix pour héberger le modèle cohere.command-r-16k.

Calculez le coût pendant cinq jours.

price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Réglage fin et hébergement d'un modèle - Exemple

Bob souhaite affiner un modèle Cohere Command R (cohere.command-r-16k). Bob crée un cluster d'IA dédié au réglage fin avec la valeur prédéfinie de huit unités Small Cohere V2. Bob crée un modèle personnalisé sur le cluster d'IA à réglage fin dédié et affine le modèle de base Cohere Command R avec des données d'entraînement. Le travail de réglage fin prend 5 heures. Bob crée un cluster de réglage fin chaque semaine.

Pour héberger un modèle cohere.command-r-16k, Bob doit identifier la taille d'unité pouvant héberger le modèle cohere.command-r-16k. La taille d'unité pour le modèle cohere.command-r-16k est une unité Small Cohere V2. Reportez-vous à Mise en correspondance de modèles de base avec des clusters. Bob peut héberger jusqu'à 50 modèles affinés sur un seul cluster d'hébergement. Voici les étapes pour calculer le coût mensuel pour affiner et héberger les modèles.

Calculez les heures unitaires pour chaque réglage fin.

Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours

Comparez les heures unitaires à l'engagement minimum pour affiner les modèles.
```
40 unit hours > 1 unit hour
```

Calculer les heures unitaires pour l'hébergement.

31 days x 24 hours per day x 1 unit = 744 unit hours

Comparez les heures unitaires à l'engagement minimum pour l'hébergement des modèles.
```
744 unit hours = 744 minimum unit hours
```
Accédez à la tarification de l'IA et sous OCI Generative AI, pour Oracle Cloud Infrastructure Generative AI - Small Cohere - Dedicated, recherchez <Small-Cohere-dedicated-unit-per-hour-price>.

Trouvez le prix mensuel total.

fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>

hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Conseil

Outre le calcul du prix, vous pouvez estimer le coût en sélectionnant la catégorie IA et apprentissage automatique et en chargeant l'estimateur de coût pour OCI Generative AI.