Unterstütztes Mistral-Modell
Sie können große Sprachmodelle aus Hugging Face- und OCI Object Storage-Buckets in OCI Generative AI importieren, Endpunkte für diese Modelle erstellen und im generativen KI-Service verwenden.
Diese Modelle verfügen über eine leistungsstarke Transformer-Architektur, die nur auf Decoder basiert und Sliding Window Attention (SWA) für eine effiziente Verarbeitung mit langem Kontext und eine optionale Grouped Query Attention (GQA) für eine verbesserte Skalierbarkeit bietet. Weitere Informationen finden Sie unter Mistral in der Hugging Face-Dokumentation.
Mistral
| Umarmende Gesichtsmodell-ID | Modellfähigkeit | Empfohlene Ausprägung der dedizierten KI-Clustereinheit |
|---|---|---|
| intfloat/e5-mistral-7b-instruct | EINBETTEN | A10_X1 |
Hinweis
- Um eine fein abgestimmte Version eines Modells zu importieren, werden nur fein abgestimmte Modelle unterstützt, die dieselbe Transformatorversion wie das Originalmodell verwenden und eine Parameteranzahl innerhalb von ±10% des Originals haben.
- Wenn der Instanztyp für die empfohlene Einheitenausprägung in Ihrer Region nicht verfügbar ist, wählen Sie eine Instanz der höheren Ebene aus (Beispiel: Wählen Sie eine Ausprägung H100 anstelle einer Ausprägung A100-80G aus).
- Voraussetzungen und das Importieren von Modellen finden Sie unter Importierte Modelle verwalten (Neu).