Documentation sur Oracle Cloud Infrastructure

Modèle erroné validé

Vous pouvez importer de grands modèles de langage à partir de seaux de stockage d'objets Hugging Face et OCI dans le service d'intelligence artificielle générative pour OCI, créer des points d'extrémité pour ces modèles et les utiliser dans le service d'intelligence artificielle générative.

Ces modèles sont dotés d'une architecture de transformateur haute performance à décodeur unique, dotée d'une fonction SWA (Sliding Window Attention) pour une manipulation efficace du contexte long et d'une fonction GQA (Grouped Query Attention) en option pour une évolutivité améliorée. Pour plus de détails, voir Mistral dans la documentation sur Hugging Face.

Mistral

Modèles Mistral validés
ID modèle de visage Hugging Capacité du modèle Forme d'unité de grappe dédiée à l'IA recommandée
mistralai/Mixtral-8x7B-Instruct-v0.1 TEXT_TO_TEXT A100_80G_X2
mistralai/Mistral-Nemo-Instruct-2407 TEXT_TO_TEXT A100_80G_X1
mistralai/Mistral-7B-Instruct-v0.3 TEXT_TO_TEXT A100_80G_X1
mistralai/Mistral-7B-Instruct-v0.2 TEXT_TO_TEXT A100_80G_X1
mistralai/Mistral-7B-Instruct-v0.1 TEXT_TO_TEXT A100_80G_X1
intfloat/e5-mistral-7b-instruct INTÉGRATION A10_X1
Important

  • Bien que vous puissiez importer n'importe quel modèle de clavardage, d'intégration (et de réglage fin) validé au moyen d'Open Model Engine (avec l'exécution vLLM ou SGLang), seuls les modèles explicitement répertoriés dans cette page sont validés pour cette famille de modèles. Les modèles non listés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tout modèle non listé avant l'utilisation en production. En savoir plus sur l'architecture de modèle importée par l'intelligence artificielle générative pour OCI.

  • Pour les modèles importés, vous pouvez utiliser la longueur du contexte natif spécifiée par le fournisseur de modèle. Toutefois, la longueur de contexte maximale en vigueur est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour les grappes d'IA dédiées à l'hébergement dans l'IA générative OCI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner davantage de ressources matérielles.
  • Utilisez les modèles affinés uniquement s'ils correspondent à la version du transformateur du modèle de base validé et ont un nombre de paramètres inférieur à ± 10 % de l'original.
  • Pour le matériel disponible et les étapes de déploiement des modèles importés, voir Gestion des modèles importés.
  • Si la forme d'unité validée n'est pas disponible dans la région, sélectionnez une option de niveau supérieur. Par exemple, si A100 n'est pas disponible, sélectionnez H100.