Kompatible Google-Modelle
Sie können große Sprachmodelle aus Hugging Face- und OCI Object Storage-Buckets in OCI Generative AI importieren, Endpunkte für diese Modelle erstellen und im generativen KI-Service verwenden.
Die Google Gemma-Serie, einschließlich Gemma2- und Gemma3-Open-Source-Modelle, wurde für breite Anforderungen an die Sprachverarbeitung und hohe Vielseitigkeit entwickelt. Weitere Informationen finden Sie in der Hugging Face-Dokumentation unter Gemma2 und Gemma3.
Gemma
| Hugging Face-Modell-ID | Modellfähigkeit | Empfohlene Ausprägung der dedizierten KI-Clustereinheit |
|---|---|---|
| google/gemma-3-4b-it | IMAGE_TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-3-270m-it | TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-3-27b-it | IMAGE_TEXT_TO_TEXT | A100_80G_X2 |
| google/gemma-3-12b-it | IMAGE_TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-3-1b-it | TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-2-9b-it | TEXT_TO_TEXT | A100_80G_X1 |
| google/gemma-2-27b-it | TEXT_TO_TEXT | A100_80G_X2 |
| google/gemma-2-2b-it | TEXT_TO_TEXT | A100_80G_X1 |
-
Während Sie alle Chats, Einbettungs- und Feinoptimierungsmodelle importieren können, die mit der Open Model Engine (mit vLLM- oder SGLang-Laufzeit) validiert wurden, wurden nur explizit aufgeführte Modelle auf dieser Seite von Oracle anhand von Open-Source-Modelllaufzeiten für diese Modellfamilie bewertet und auf von Oracle unterstützten GPU-Konfigurationen getestet. Ungeachtet des Vorstehenden ist Oracle nicht für Probleme im Zusammenhang mit der Leistung, Verfügbarkeit, dem Betrieb oder der Sicherheit kompatibler Modelle verantwortlich. Nicht aufgelistete Modelle können Kompatibilitätsprobleme aufweisen. Wir empfehlen, alle nicht aufgelisteten Modelle vor der Verwendung in der Produktion zu testen. Erfahren Sie mehr über die importierte Modellarchitektur von OCI Generative AI.
- Bei importierten Modellen können Sie die vom Modellprovider angegebene native Kontextlänge verwenden. Die effektive maximale Kontextlänge wird jedoch durch das zugrunde liegende Hardwaresetup begrenzt, das Sie für das Hosting dedizierter KI-Cluster in OCI Generative AI auswählen. Um die native Kontextlänge eines Modells voll auszuschöpfen, müssen Sie möglicherweise mehr Hardwareressourcen bereitstellen.
- Verwenden Sie die fein abgestimmten Modelle nur, wenn sie mit der Transformatorversion des kompatiblen Basismodells übereinstimmen und eine Parameteranzahl innerhalb von ±10% des Originals aufweisen.
- Verfügbare Hardware und Schritte zum Deployment der importierten Modelle finden Sie unter Importierte Modelle verwalten.
- Wenn die kompatible Einheitenausprägung in der Region nicht verfügbar ist, wählen Sie eine übergeordnete Option aus. Beispiel: Wenn A100 nicht verfügbar ist, wählen Sie H100 aus.