Documentation Oracle Cloud Infrastructure

Méta-modèles pris en charge

Vous pouvez importer des modèles de langage volumineux à partir de buckets Hugging Face et OCI Object Storage dans OCI Generative AI, créer des adresses pour ces modèles et les utiliser dans le service d'IA générative.

Ces modèles sont une version améliorée des modèles Meta Llama avec Grouped Query Attention (GQA). Pour plus d'informations, reportez-vous aux documents Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3, Llama 4 dans la documentation Hugging Face.

Meta Llama

Modèles Meta Llama pris en charge
Hugging Face Model - ID Capacité du modèle Forme d'unité de cluster d'IA dédiée recommandée
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Meta-Llama-3-8B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-8B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-405B-Instruct-FP8 TEXT_TO_TEXT H100_X8
meta-llama/Llama-3.2-1B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-3B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-11B-Vision-Instruction IMAGE_TEXT_TO_TEXT A100_80G_X1
RedHatAI/Llama-3.2-90B-Vision-Instruct-FP8-dynamique IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruction IMAGE_TEXT_TO_TEXT H100_X4
Remarque

  • Pour importer une version affinée d'un modèle, seuls les modèles affinés qui utilisent la même version des transformateurs que le modèle d'origine et dont le nombre de paramètres est inférieur à ±10 % de celui de l'original sont pris en charge.
  • Si le type d'instance de la forme d'unité recommandée n'est pas disponible dans votre région, sélectionnez une instance de niveau supérieur (par exemple, sélectionnez une forme H100 au lieu d'une forme A100-80G).
  • Pour connaître les prérequis et savoir comment importer des modèles, reportez-vous à Gestion des modèles importés (nouveau).