Modèle Mistral validé
Vous pouvez importer des modèles de langage volumineux à partir de buckets Hugging Face et OCI Object Storage dans OCI Generative AI, créer des adresses pour ces modèles et les utiliser dans le service d'IA générative.
Ces modèles disposent d'une architecture de transformateur haute performance, décodeur uniquement, dotée de Sliding Window Attention (SWA) pour une gestion efficace du contexte à long terme et d'une option Grouped Query Attention (GQA) pour une évolutivité améliorée. Pour plus d'informations, reportez-vous à Mistral dans la documentation Hugging Face.
Mistral
| ID modèle Hugging Face | Capacité du modèle | Forme d'unité de cluster d'IA dédiée recommandée |
|---|---|---|
| mistralai/Mixtral-8x7B-Instruct-v0.1 | TEXT_TO_TEXT | A100_80G_X2 |
| mistralai/Mistral-Nemo-Instruct-2407 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.3 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.2 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.1 | TEXT_TO_TEXT | A100_80G_X1 |
| intfloat/e5-mistral-7b-instruct | INCORPORATION | A10_X1 |
-
Bien que vous puissiez importer n'importe quel modèle de discussion, d'intégration (et de réglage fin) validé via Open Model Engine (avec exécution vLLM ou SGLang), seuls les modèles explicitement répertoriés sur cette page sont validés pour cette famille de modèles. Les modèles non répertoriés peuvent présenter des problèmes de compatibilité et nous vous recommandons de tester tous les modèles non répertoriés avant leur utilisation en production. Découvrez l'architecture de modèle importée d'OCI Generative AI.
- Pour les modèles importés, vous pouvez utiliser la longueur de contexte native indiquée par le fournisseur de modèle. Cependant, la longueur de contexte maximale effective est limitée par la configuration matérielle sous-jacente que vous sélectionnez pour l'hébergement de clusters d'IA dédiés dans OCI Generative AI. Pour tirer pleinement parti de la longueur du contexte natif d'un modèle, vous devrez peut-être provisionner davantage de ressources matérielles.
- Utilisez les modèles affinés uniquement s'ils correspondent à la version du transformateur du modèle de base validé et ont un nombre de paramètres inférieur à ±10 % de l'original.
- Pour connaître le matériel disponible et connaître les étapes de déploiement des modèles importés, reportez-vous à Gestion des modèles importés.
- Si la forme d'unité validée n'est pas disponible dans la région, sélectionnez une option de niveau supérieur. Par exemple, si A100 n'est pas disponible, sélectionnez H100.