Modèle Mistral pris en charge
Vous pouvez importer des modèles de langage volumineux à partir de buckets Hugging Face et OCI Object Storage dans OCI Generative AI, créer des adresses pour ces modèles et les utiliser dans le service d'IA générative.
Ces modèles disposent d'une architecture de transformateur haute performance, décodeur uniquement, dotée de Sliding Window Attention (SWA) pour une gestion efficace du contexte à long terme et d'une option Grouped Query Attention (GQA) pour une évolutivité améliorée. Pour plus d'informations, reportez-vous à Mistral dans la documentation Hugging Face.
Mistral
| Hugging Face Model - ID | Capacité du modèle | Forme d'unité de cluster d'IA dédiée recommandée |
|---|---|---|
| intfloat/e5-mistral-7b-instruct | INCORPORATION | A10_X1 |
Remarque
- Pour importer une version affinée d'un modèle, seuls les modèles affinés qui utilisent la même version des transformateurs que le modèle d'origine et dont le nombre de paramètres est inférieur à ±10 % de celui de l'original sont pris en charge.
- Si le type d'instance de la forme d'unité recommandée n'est pas disponible dans votre région, sélectionnez une instance de niveau supérieur (par exemple, sélectionnez une forme H100 au lieu d'une forme A100-80G).
- Pour connaître les prérequis et savoir comment importer des modèles, reportez-vous à Gestion des modèles importés (nouveau).