Paiement pour les grappes dédiées à l'IA
Vous bénéficiez des avantages suivants pour l'utilisation de grappes d'IA dédiées dans l'IA générative OCI :
- Tarification prévisible qui ne fluctue pas avec la demande.
- Idéal pour le réglage fin ou l'hébergement de modèles.
- Engagement d'hébergement minimal : 744 heures-unités par grappe d'hébergement.
- Engagement minimal de réglage fin : 1 unité-heure par tâche de réglage fin. (Selon le modèle, le réglage de précision nécessite au moins 2 unités à exécuter).
Pour savoir quels modèles sont disponibles pour le réglage de précision, voir Rapprochement des modèles de base aux grappes.
Les exemples suivants calculent le coût de la grappe d'IA dédiée dans l'IA générative OCI. Pour calculer le coût d'inférence de sur demande, voir Paiement de l'inférence sur demande.
Mise en correspondance de modèles avec les prix unitaires de grappe dédiés
Si vous hébergez des modèles de base d'hébergement ou que vous les réglez sur des grappes d'IA dédiées, vous êtes facturé en heure d'unité plutôt qu'en transaction. Dans ce cas, consultez le tableau suivant pour calculer le coût de la grappe d'intelligence artificielle dédiée pour les modèles de clavardage.
Certains modèles de base préentraînés de l'IA générative pour OCI pris en charge pour le mode de service dédié sont maintenant obsolètes et seront mis hors service au plus tôt 6 mois après la publication du 1er modèle de remplacement. Vous pouvez héberger un modèle de base ou ajuster un modèle de base et héberger le modèle ajusté sur une grappe dédiée à l'IA (mode de service dédié) jusqu'à ce que le modèle de base soit abandonné. Pour les dates de mise hors service du mode de service dédié, voir Mise hors service des modèles.
Modèles de clavardage
Modèle de base | Cluster à réglage fin | Grappe d'hébergement | Informations sur la page de tarification | Demander une augmentation de limite de grappe |
---|---|---|---|---|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
|
Non disponible pour le réglage fin |
|
|
|
|
|
|
|
|
Vous devez demander une augmentation de limite pour utiliser les ressources suivantes :
Famille Meta Llama
-
Pour héberger un modèle Meta Llama 4 Maverick, vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4. -
Pour héberger un modèle Meta Llama 4 Scout, vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour héberger un modèle Meta Llama 3.3 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour affiner un modèle Meta Llama 3.3 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4. -
Pour héberger un modèle Meta Llama 3.2 11B Vision , vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 1. -
Pour héberger un modèle Meta Llama 3.2 90B Vision , vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour héberger un modèle Meta Llama 3.1 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 2. -
Pour affiner un modèle Meta Llama 3.1 (70B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4. -
Pour héberger un modèle Meta Llama 3.1 (405B), vous devez demander à
dedicated-unit-llama2-70-count
d'augmenter de 4.
Famille de commandement Cohere
-
Pour héberger un modèle Cohere Command A, vous devez demander à
dedicated-unit-large-cohere-count
d'augmenter de 1. -
Pour héberger un modèle Cohere Command R (obsolète), vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 1. -
Pour ajuster un modèle Cohere Command R (obsolète), vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 8. -
Pour héberger un modèle Cohere Command R 08-2024, vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 1. -
Pour affiner un modèle Cohere Command R 08-2024, vous devez demander à
dedicated-unit-small-cohere-count
d'augmenter de 8. -
Pour héberger un modèle Cohere Command R+ (obsolète), vous devez demander à
dedicated-unit-large-cohere-count
d'augmenter de 2. -
Pour héberger un modèle Cohere Command R+ 08-2024, vous devez demander à
dedicated-unit-large-cohere-count
d'augmenter de 2.
Références : Limites de service pour l'IA générative et Demander une augmentation de limite de grappe
Pour la génération de texte, la récapitulation et les modèles d'intégration de texte, voir les tableaux sous Rapprochement des modèles de base aux grappes.
Hébergement d'un modèle fondamental - Exemple 1
John veut héberger une instance du modèle Command R+ 08-2024 (cohere.command-r-plus-08-2024
) sur une infrastructure dédiée. John supprime le cluster après 40 jours et souhaite connaître le coût du cluster. Pour héberger un modèle cohere.command-r-plus-08-2024
, John doit d'abord identifier la taille d'unité qui peut héberger le modèle cohere.command-r-plus-08-2024
. La taille d'unité pour le modèle cohere.command-r-plus-08-2024
est une unité Large Cohere V2_2. Voir Correspondance des modèles de base avec des grappes.
John a besoin d'au moins une unité Large Cohere V2_2 pour héberger le modèle cohere.command-r-plus-08-2024
. Voici les étapes pour calculer le coût d'une grappe d'hébergement avec une unité Large Cohere V2_2.
Hébergement d'un modèle fondamental - Exemple 2
Alice souhaite héberger une instance du modèle Command R 08-2024 (cohere.command-r-08-2024
) sur une infrastructure dédiée. Pour héberger un modèle cohere.command-r-08-2024
, Alice doit d'abord identifier la taille d'unité qui peut héberger le modèle Command R 08-2024. La taille d'unité pour Command R 08-2024 est une unité Small Cohere V2. Voir Correspondance des modèles de base avec des grappes.
Alice décide d'acheter trois unités de Small Cohere V2 pour gérer un volume d'appels au modèle supérieur à celui fourni par une seule unité. Alice prévoit de supprimer la grappe après cinq jours. Voici les étapes pour calculer le coût d'une grappe d'hébergement avec trois unités Small Cohere V2 pendant cinq jours.
Réglage fin et hébergement d'un exemple de modèle
Bob veut peaufiner un modèle Command R 08-2024 (cohere.command-r-08-2024
). Bob crée une grappe d'intelligence artificielle à réglage fin dédiée avec la valeur prédéfinie de huit unités Small Cohere V2. Bob crée un modèle personnalisé sur la grappe d'intelligence artificielle à réglage fin dédiée et peaufine le modèle fondamental Command R 08-2024 avec les données d'entraînement. Le travail de réglage de précision prend 5 heures. Bob crée une grappe de réglage fin chaque semaine.
Pour héberger un modèle cohere.command-r-08-2024
, Bob doit identifier la taille d'unité qui peut héberger le modèle cohere.command-r-08-2024
. La taille d'unité pour le modèle cohere.command-r-08-2024
est une unité Small Cohere V2. Voir Correspondance des modèles de base avec des grappes. Bob peut héberger jusqu'à 50 modèles affinés sur un seul cluster d'hébergement. Voici les étapes à suivre pour calculer le coût mensuel du réglage et de l'hébergement des modèles.
En plus de calculer le prix, vous pouvez estimer le coût en sélectionnant la catégorie IA et apprentissage automatique et en chargeant l'estimateur de coûts pour l'IA générative OCI.