Modèle Mistral pris en charge
Vous pouvez importer de grands modèles de langage à partir de seaux de stockage d'objets Hugging Face et OCI dans le service d'intelligence artificielle générative pour OCI, créer des points d'extrémité pour ces modèles et les utiliser dans le service d'intelligence artificielle générative.
Ces modèles sont dotés d'une architecture de transformateur haute performance à décodeur unique, dotée d'une fonction SWA (Sliding Window Attention) pour une manipulation efficace du contexte long et d'une fonction GQA (Grouped Query Attention) en option pour une évolutivité améliorée. Pour plus de détails, voir Mistral dans la documentation sur Hugging Face.
Mistral
| ID modèle de visage Hugging | Capacité du modèle | Forme d'unité de grappe dédiée à l'IA recommandée |
|---|---|---|
| intfloat/e5-mistral-7b-instruct | INTÉGRATION | A10_X1 |
Note
- Pour importer une version affinée d'un modèle, seuls les modèles affinés qui utilisent la même version de transformateur que le modèle d'origine et dont le nombre de paramètres se situe à ±10 % de l'original sont pris en charge.
- Si le type d'instance pour la forme d'unité recommandée n'est pas disponible dans votre région, sélectionnez une instance de niveau supérieur (par exemple, sélectionnez une forme H100 au lieu d'une forme A100-80G).
- Pour les préalables et la façon d'importer des modèles, voir Gestion des modèles importés (nouveaux).