Documentation Oracle Cloud Infrastructure

Limites de service pour Generative AI

Découvrez les limites des ressources de cluster d'IA dédié dans OCI Generative AI.

Par défaut, vous obtenez 0 cluster d'IA dédié par location. Afin de connaître le nom des ressources pour lesquelles vous demandez une augmentation, reportez-vous au tableau et à l'exemple suivants.

Ressource Nom de la limite Nombre par défaut par location
Nombre d'unités de cluster AI dédiées pour l'hébergement ou le réglage fin des modèles meta.llama-3-70b-instruct dedicated-unit-llama2-70-count 0
Nombre d'unités de cluster AI dédiées pour l'hébergement ou le réglage fin des modèles meta.llama-3.1-70b-instruct dedicated-unit-llama2-70-count 0
Nombre d'unités de cluster d'IA dédiées pour l'hébergement des modèles meta.llama-3.1-405b-instruct dedicated-unit-llama2-70-count 0
Nombre d'unités de cluster d'IA dédiées pour l'hébergement des modèles cohere.command-r-plus dedicated-unit-large-cohere-count 0
Nombre d'unités de cluster AI dédiées pour l'hébergement ou le réglage fin des modèles cohere.command-r-16k dedicated-unit-small-cohere-count 0
Nombre d'unités de cluster AI dédiées pour l'hébergement ou le réglage fin des modèles cohere.command-light dedicated-unit-small-cohere-count 0
Nombre d'unités de cluster AI dédiées pour l'hébergement ou le réglage fin des modèles cohere.command dedicated-unit-large-cohere-count 0
Nombre d'unités de cluster d'IA dédiées pour l'hébergement des modèles cohere.embed dedicated-unit-embed-cohere-count 0
Nombre d'unités de cluster d'IA dédiées pour l'hébergement des modèles meta.llama-2-70b-chat dedicated-unit-llama2-70-count 0
Important

Vous devez demander une augmentation de limite pour utiliser les ressources suivantes :

Famille Meta Llama

  • Pour héberger un modèle Meta Llama 3.1 (405B), vous devez demander à dedicated-unit-llama2-70-count d'augmenter de 8.

  • Pour héberger un modèle Meta Llama 3.1 (70B), vous devez demander à dedicated-unit-llama2-70-count d'augmenter de 2.

  • Pour affiner un modèle Meta Llama 3.1 (70B), vous devez demander à dedicated-unit-llama2-70-count d'augmenter de 4.

Famille Cohere Command R

  • Pour héberger un modèle Cohere Command R+, vous devez demander à dedicated-unit-large-cohere-count d'augmenter de 2.

  • Pour héberger un modèle Cohere Command R, vous devez demander à dedicated-unit-small-cohere-count d'augmenter de 1.

  • Pour affiner un modèle Cohere Command R, vous devez demander à dedicated-unit-small-cohere-count d'augmenter de 8.

Pour obtenir la liste complète des modèles et leurs limites de cluster AI dédié correspondantes, reportez-vous à Mise en correspondance de modèles de base avec des clusters.

Afin de demander des clusters d'IA dédiés pour votre location, reportez-vous à Demande d'augmentation de limite de service.