Documentation Oracle Cloud Infrastructure

Méta-modèles pris en charge

Vous pouvez importer des modèles de langage volumineux à partir de buckets Hugging Face et OCI Object Storage dans OCI Generative AI, créer des adresses pour ces modèles et les utiliser dans le service d'IA générative.

Ces modèles sont une version améliorée des modèles Meta Llama avec Grouped Query Attention (GQA). Pour plus d'informations, reportez-vous aux documents Llama 3.3 et Llama 4 dans la documentation Hugging Face.

Meta Llama

Modèles Meta Llama pris en charge
ID modèle Hugging Face Capacité du modèle Forme d'unité de cluster d'IA dédiée recommandée
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruction IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.2-3B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-1B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-8B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-8B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
Important

  • Bien que vous puissiez importer n'importe quel modèle de discussion, d'intégration (et de réglage fin) pris en charge par Open Model Engine (avec exécution vLLM ou SGLang), seuls les modèles explicitement répertoriés sur cette page sont pris en charge pour cette famille de modèles. Les modèles non répertoriés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tous les modèles non répertoriés avant leur utilisation en production. Découvrez l'architecture de modèle importée d'OCI Generative AI.

  • Les modèles importés prennent en charge la longueur de contexte native indiquée par le fournisseur de modèle. Cependant, la longueur maximale effective du contexte est également limitée par la configuration matérielle sous-jacente d'OCI Generative AI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner davantage de ressources matérielles.
  • Les modèles affinés ne sont pris en charge que s'ils correspondent à la version de transformateur du modèle de base pris en charge et ont un nombre de paramètres inférieur à ±10 % de l'original.
  • Pour connaître le matériel disponible et connaître les étapes de déploiement des modèles importés, reportez-vous à Gestion des modèles importés.
  • Si la forme d'unité recommandée n'est pas disponible dans la région, sélectionnez une option de niveau supérieur. Par exemple, si A100 n'est pas disponible, sélectionnez H100.