Documentation sur Oracle Cloud Infrastructure

Modèles de métadonnées pris en charge

Vous pouvez importer de grands modèles de langage à partir de seaux de stockage d'objets Hugging Face et OCI dans le service d'intelligence artificielle générative pour OCI, créer des points d'extrémité pour ces modèles et les utiliser dans le service d'intelligence artificielle générative.

Ces modèles sont une version améliorée des modèles Meta Llama avec Grouped Query Attention (GQA). Pour plus d'informations, voir Llama 3.3 et Llama 4 dans la documentation sur Hugging Face.

Meta Llama

Modèles Meta Llama pris en charge
ID modèle de visage Hugging Capacité du modèle Forme d'unité de grappe dédiée à l'IA recommandée
meta-llama/Llama-4-Maverick-17B-128E-Instruction-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruction IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.2-3B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-1B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-8B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-8B-Instruction TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruction TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
Important

  • Bien que vous puissiez importer n'importe quel modèle de clavardage, d'intégration (et de réglage fin) pris en charge par Open Model Engine (avec vLLM ou l'exécution SGLang), seuls les modèles explicitement répertoriés dans cette page sont pris en charge pour cette famille de modèles. Les modèles non listés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tout modèle non listé avant l'utilisation en production. En savoir plus sur l'architecture de modèle importée par l'intelligence artificielle générative pour OCI.

  • Les modèles importés prennent en charge la longueur du contexte natif spécifiée par le fournisseur de modèle. Toutefois, la longueur de contexte maximale en vigueur est également limitée par la configuration matérielle sous-jacente d'OCI Generative AI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner plus de ressources matérielles.
  • Les modèles affinés ne sont pris en charge que s'ils correspondent à la version du transformateur du modèle de base pris en charge et ont un nombre de paramètres inférieur à ± 10 % de l'original.
  • Pour le matériel disponible et les étapes de déploiement des modèles importés, voir Gestion des modèles importés.
  • Si la forme d'unité recommandée n'est pas disponible dans la région, sélectionnez une option de niveau supérieur. Par exemple, si A100 n'est pas disponible, sélectionnez H100.