Optimierte Modelle importieren
Bereiten Sie ein Modell vor, das Sie außerhalb von OCI Generative AI für den Import optimiert haben, und hosten Sie es dann in einem dedizierten KI-Cluster.
Sie können eine optimierte Version eines kompatiblen Hugging Face-Basismodells in OCI Generative AI importieren. Laden Sie die vollständigen Modelldateien in einen Object Storage-Bucket oder ein Hugging Face-Repository hoch, und befolgen Sie dann die Standardschritte für den Import und das Hosting, um das Modell in einem dedizierten KI-Cluster bereitzustellen.
Suchen Sie die benötigten Informationen:
- Mein optimiertes Modell ist bereit für den Import.
- Ich muss ein kompatibles Modell und eine kompatible Hardware auswählen.
- Ich muss einen LoRA-Adapter zusammenführen.
- Ich muss die Modelldateien vorbereiten.
- Ich muss Konfigurationsmetadaten verstehen.
- Mein Import ist mit einem Architekturfehler fehlgeschlagen.
Modelle und Hardware
- Welche fein abgestimmten Modelle kann ich importieren?
-
Sie können eine optimierte Version eines Modells importieren, das unter Kompatible Modelle für Import aufgeführt ist. Auf der Modellfamilienseite werden die Anforderungen und die kompatible Hardware aufgeführt.
Der fein abgestimmte Export muss eine kompatible Architektur beibehalten, die Anforderungen der Transformers-Version des Basismodells erfüllen und eine Gesamtparameteranzahl innerhalb von ±10% des ursprünglichen Basismodells aufweisen. Diese Anzahl umfasst das gesamte Modell, nicht nur die trainierbaren Adapterparameter.
Bei Low-Rank-Anpassungen (LoRA) müssen Sie vor dem Import einen Adapter mit dem Basismodell zusammenführen. Jedes importierte Fine-Tuning-Modell kann die zusammengeführten Gewichtungen von nur einem LoRA-Adapter enthalten.
- Welche Hardware kann ich für mein optimiertes Modell verwenden?
-
Verwenden Sie die gleichen kompatiblen Hardwareoptionen wie das Basismodell. In den Modellfamilientabellen wird die minimale Einheitenausprägung für jede unterstützte Hardwarefamilie aufgeführt. Wählen Sie aus den in Ihrer Region verfügbaren Optionen eine kompatible Ausprägung mit mindestens dieser Ausprägung aus. Siehe Hardwareeinheitsausprägungen nach Region.
Beispiel: Unter Kompatible Alibaba-Modelle wird
H100_X1als Mindestausprägung H100 fürQwen/Qwen3.8-27Baufgeführt. Sie können auchH100_X2auswählen, wenn es als kompatible Option angeboten wird. - Kann ich ein importiertes Modell in generativer KI optimieren?
-
OCI Generative AI optimiert importierte Modelle nicht. Die Feinabstimmung der vom Service unterstützten vortrainierten Modelle ist ein separater Workflow. Das einzige Modell, das für die Feinabstimmung im Service verfügbar ist, ist das Meta Llama 3.3 (70B)-Standardmodell in unterstützten kommerziellen (OC1)-Regionen. Siehe Basismodelle in generativer KI optimieren.
Um auf OCI zu trainieren, lesen Sie Fine-Tuning with OCI Data Science AI Quick Actions für die unterstützten Modelle und Voraussetzungen. Ein in einem anderen Service trainiertes Modell muss weiterhin die Importanforderungen für generative KI erfüllen.
LoRA-Gewichte zusammenführen und exportieren
- Wie mache ich einen LoRA-Adapter zu einem importierbaren Modell?
-
Fügen Sie den Adapter in das Basismodell ein, um ein vollständiges Modell zu erstellen. Nur Adapterdateien, wie
adapter_model.safetensorsundadapter_config.json, hängen vom Basismodell ab.- Laden Sie die für das Training verwendete Basismodellrevision und den Adapter.
- Fügen Sie den Adapter in das Basismodell ein. Verwenden Sie bei Hugging Face PEFT
merge_and_unload()für eine unterstützte LoRA-Konfiguration. Siehe Gewichte zusammenführen. - Speichern Sie das vollständige Modell und den zugehörigen Tokenizer in einem neuen Exportverzeichnis. Verwenden Sie dabei eine für das kompatible Basismodell unterstützte Genauigkeit. Behalten Sie das ursprüngliche Basismodell und den ursprünglichen Adapter für zukünftige Exporte bei.
- Wie gehe ich mit der Präzision des exportierten Modells um?
-
Verwenden Sie eine für das kompatible Basismodell unterstützte Genauigkeit. Training und Zusammenführung können den gespeicherten Tensor-Datentyp ändern. Prüfen Sie die gespeicherten Gewichtungen, bevor Sie sie mit einer Datentypkonvertierung laden.
Um die Genauigkeit zu ändern, konvertieren Sie die tatsächlichen Tensoren und speichern Sie einen neuen Export. Wenn Sie
torch_dtypeoderdtypeinconfig.jsonbearbeiten, werden die Gewichtungen nicht konvertiert. Befolgen Sie für quantisierte Modelle die vom Modell und Tool unterstützte Zusammenführungs- und Exportprozedur.
Vorbereiten der Modelldateien
- Welche Dateien muss ich importieren?
-
Verwenden Sie einen vollständigen Export im Hugging Face-Format. Das Modellartefaktverzeichnis enthält
config.jsonund die Dateien, die zum Laden des Modells erforderlich sind:- Vollständige Modellgewichtungen wie
model.safetensorsoder jedes Gewichtungs-Shard, das von einem Index wiemodel.safetensors.index.jsonreferenziert wird. - Der übereinstimmende Tokenizer, die Tokenizer-Konfiguration, spezielle Tokendefinitionen und die Chatvorlage, sofern zutreffend.
- Generierungskonfiguration und alle vom Modell benötigten Prozessordateien.
Behalten Sie jeden Export in einem eigenen Verzeichnis bei, damit Konfigurations- und Gewichtungsdateien aus verschiedenen Ausführungen nicht gemischt werden. Informationen zu Chatmodellen finden Sie unter Anleitung für Hugging Face-Chatvorlagen.
- Vollständige Modellgewichtungen wie
- Wo stelle ich die Modelldateien ein?
-
Laden Sie den vollständigen Export in ein Modellartefaktverzeichnis in einem Object Storage-Bucket hoch, oder stellen Sie ihn in einem Hugging Face-Modell-Repository zur Verfügung. Verwenden Sie dieses Verzeichnis oder Repository, wenn Sie das optimierte Modell importieren.
Konfigurationsmetadaten
- Was bedeutet transformers_version?
-
Das Feld
transformers_versioninconfig.jsonzeichnet die Version der Hugging Face Transformers-Bibliothek auf, die beim Speichern der Konfiguration verwendet wird. Dieser Wert ist getrennt von der Bibliothek, die derzeit in Ihrer Schulungsumgebung installiert ist, und dem Modellversionslabel, das Sie in der Konsole eingeben.Der exportierte Wert muss die Versionsanforderung erfüllen, die auf der Familienseite des kompatiblen Modells beschrieben ist. Vergleichen Sie es mit der Konfiguration für die Basismodellrevision, die für das Training verwendet wird.
Tipp
Das Speichern mit einer neueren Transformers-Bibliothek kanntransformers_versionändern, selbst wenn die Modellarchitektur gleich bleibt. Eine nicht übereinstimmende Metadatenversion kann dazu führen, dass der Import mit einem Architekturvalidierungsfehler nicht erfolgreich verläuft. - Was beschreibt die Modellkonfiguration?
-
In der folgenden Tabelle werden die für den Import relevanten Konfigurationsfelder beschrieben. Vergleichen Sie die exportierte
config.jsonmit der Konfiguration des Basismodells sowie die gespeicherten Gewichtungen und den Tokenizer. Die Konfiguration muss die Modelldateien in Ihrem Export beschreiben.Modellkonfigurationsfelder Feld oder Einstellung Erwarteter Inhalt architecturesundmodel_typeModellklasse und -familie, die mit den exportierten Gewichtungen übereinstimmen. transformers_versionEine aufgezeichnete Version, die den Anforderungen der Transformers-Version des kompatiblen Basismodells entspricht. torch_dtypeoderdtypeDie Genauigkeit der gespeicherten Gewichte. Wenn Sie diesen Wert ändern, werden die Tensoren nicht konvertiert. Ebenenanzahl, ausgeblendete Größen, Aufmerksamkeitseinstellungen und Vokabulargröße Einstellungen, die mit den gespeicherten Tensoren und dem Tokenizer übereinstimmen. Bei einer LoRA-Zusammenführung, die nur die ursprünglichen Gewichtungsmatrizen aktualisiert, bleiben diese Architektureinstellungen unverändert. quantization_config, falls vorhandenDie Quantisierungseinstellungen für das exportierte Modell. Durch das Entfernen dieser Metadaten wird kein quantisierter Checkpoint konvertiert.
Modell importieren und hosten
- Wie stelle ich mein optimiertes Modell bereit?
-
Befolgen Sie den Standardworkflow für den Modellimport, und verwenden Sie den optimierten Export als Quelle:
- Vervollständigen Sie die Quellvoraussetzungen unter Importierte Modelle verwalten, und richten Sie die erforderlichen importierten Modellberechtigungen ein.
- Importieren Sie das optimierte Modell aus einem Object Storage-Bucket oder aus Hugging Face.
- Warten Sie, bis der Import abgeschlossen ist. Siehe Details eines importierten Modells abrufen.
- Für das Hosting dediziertes KI-Cluster erstellen. Wählen Sie eine kompatible Einheitenausprägung für das Modell aus den in Ihrer Region verfügbaren Optionen aus, wie unter Modelle und Hardware beschrieben.
- Erstellen Sie einen Endpunkt für das importierte Modell, und senden Sie dann Anforderungen an den Endpunkt.
Verwenden Sie einen beschreibenden Namen und eine beschreibende Version, um das optimierte Modell von seinem Basismodell und anderen Exporten zu unterscheiden.
Fehlerbehebung bei Importfehlern
- Warum meldet der Import einen Architekturvalidierungsfehler?
-
Ein Import kann mit dieser Meldung nicht erfolgreich sein, wenn das exportierte Modell eine Kompatibilitätsanforderung nicht erfüllt:
The imported model architecture is not yet validated for serving.Die Nachricht identifiziert den spezifischen Unterschied nicht. Eine Unstimmigkeit bei den
transformers_version-Metadaten kann diesen Fehler verursachen, selbst wenn die Architektur nicht geändert wurde.- Vergleichen Sie die Basis- und exportierten
config.json-Dateien mit Konfigurationsmetadaten und den Anforderungen auf der Familienseite des kompatiblen Modells. - Prüfen Sie den Export auf Datentypänderungen, fehlende Gewichtungs-Shards oder Tokenizer-Dateien aus einem anderen Modell. Verwenden Sie für LoRA das vollständige zusammengeführte Modell und nicht den reinen Adapter-Checkpoint.
- Nachdem Sie den Export korrigiert haben, speichern Sie ihn in einem separaten Artefaktverzeichnis, und importieren Sie diese Version.
- Vergleichen Sie die Basis- und exportierten