Unterstützte Microsoft-Modelle
Sie können große Sprachmodelle aus Hugging Face- und OCI Object Storage-Buckets in OCI Generative AI importieren, Endpunkte für diese Modelle erstellen und im generativen KI-Service verwenden.
Microsoft Phi-3-Modelle, die für ihre Effizienz und Kompaktheit bekannt sind, sind auf skalierbare und flexible Leistung ausgelegt. Weitere Informationen finden Sie in der Phi-3-Dokumentation zu Hugging Face.
Phi 3
| Hugging Face-Modell-ID | Modellfähigkeit | Empfohlene Größe der dedizierten KI-Clustereinheit |
|---|---|---|
| Microsoft/Phi-4 | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-4k-Anweisung | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-128k-Anweisung | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-small-8k-Anweisung | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-small-128k-Anweisung | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-medium-4k-Einrichtung | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-medium-128k-Anweisung | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-vision-128k-Anweisung | IMAGE_TEXT_TO_TEXT | H100_X1 |
-
Sie können zwar beliebige Chats, Einbettungs- und Feinoptimierungsmodelle importieren, die von der Open Model Engine (mit vLLM- oder SGLang-Laufzeit) unterstützt werden, nur explizit aufgeführte Modelle auf dieser Seite werden für diese Modellfamilie unterstützt. Nicht aufgelistete Modelle können Kompatibilitätsprobleme aufweisen. Wir empfehlen, alle nicht aufgelisteten Modelle vor der Verwendung in der Produktion zu testen. Erfahren Sie mehr über die importierte Modellarchitektur von OCI Generative AI.
- Importierte Modelle unterstützen die vom Modellprovider angegebene native Kontextlänge. Die effektive maximale Kontextlänge ist jedoch auch durch das zugrunde liegende Hardwaresetup von OCI Generative AI begrenzt. Um die native Kontextlänge eines Modells voll auszuschöpfen, müssen Sie möglicherweise mehr Hardwareressourcen bereitstellen.
- Fein abgestimmte Modelle werden nur unterstützt, wenn sie mit der Transformatorversion des unterstützten Basismodells übereinstimmen und eine Parameteranzahl innerhalb von ±10% des Originals aufweisen.
- Verfügbare Hardware und Schritte zum Deployment der importierten Modelle finden Sie unter Importierte Modelle verwalten.
- Wenn die empfohlene Einheitenausprägung in der Region nicht verfügbar ist, wählen Sie eine übergeordnete Option aus. Beispiel: Wenn A100 nicht verfügbar ist, wählen Sie H100 aus.