Optimierte Modelle importieren

Bereiten Sie ein Modell vor, das Sie außerhalb von OCI Generative AI für den Import optimiert haben, und hosten Sie es dann in einem dedizierten KI-Cluster.

Sie können eine optimierte Version eines kompatiblen Hugging Face-Basismodells in OCI Generative AI importieren. Laden Sie die vollständigen Modelldateien in einen Object Storage-Bucket oder ein Hugging Face-Repository hoch, und befolgen Sie dann die Standardschritte für den Import und das Hosting, um das Modell in einem dedizierten KI-Cluster bereitzustellen.

Suchen Sie die benötigten Informationen:

Modelle und Hardware

Welche fein abgestimmten Modelle kann ich importieren?

Sie können eine optimierte Version eines Modells importieren, das unter Kompatible Modelle für Import aufgeführt ist. Auf der Modellfamilienseite werden die Anforderungen und die kompatible Hardware aufgeführt.

Der fein abgestimmte Export muss eine kompatible Architektur beibehalten, die Anforderungen der Transformers-Version des Basismodells erfüllen und eine Gesamtparameteranzahl innerhalb von ±10% des ursprünglichen Basismodells aufweisen. Diese Anzahl umfasst das gesamte Modell, nicht nur die trainierbaren Adapterparameter.

Bei Low-Rank-Anpassungen (LoRA) müssen Sie vor dem Import einen Adapter mit dem Basismodell zusammenführen. Jedes importierte Fine-Tuning-Modell kann die zusammengeführten Gewichtungen von nur einem LoRA-Adapter enthalten.

Welche Hardware kann ich für mein optimiertes Modell verwenden?

Verwenden Sie die gleichen kompatiblen Hardwareoptionen wie das Basismodell. In den Modellfamilientabellen wird die minimale Einheitenausprägung für jede unterstützte Hardwarefamilie aufgeführt. Wählen Sie aus den in Ihrer Region verfügbaren Optionen eine kompatible Ausprägung mit mindestens dieser Ausprägung aus. Siehe Hardwareeinheitsausprägungen nach Region.

Beispiel: Unter Kompatible Alibaba-Modelle wird H100_X1 als Mindestausprägung H100 für Qwen/Qwen3.8-27B aufgeführt. Sie können auch H100_X2 auswählen, wenn es als kompatible Option angeboten wird.

Kann ich ein importiertes Modell in generativer KI optimieren?

OCI Generative AI optimiert importierte Modelle nicht. Die Feinabstimmung der vom Service unterstützten vortrainierten Modelle ist ein separater Workflow. Das einzige Modell, das für die Feinabstimmung im Service verfügbar ist, ist das Meta Llama 3.3 (70B)-Standardmodell in unterstützten kommerziellen (OC1)-Regionen. Siehe Basismodelle in generativer KI optimieren.

Um auf OCI zu trainieren, lesen Sie Fine-Tuning with OCI Data Science AI Quick Actions für die unterstützten Modelle und Voraussetzungen. Ein in einem anderen Service trainiertes Modell muss weiterhin die Importanforderungen für generative KI erfüllen.

LoRA-Gewichte zusammenführen und exportieren

Wie mache ich einen LoRA-Adapter zu einem importierbaren Modell?

Fügen Sie den Adapter in das Basismodell ein, um ein vollständiges Modell zu erstellen. Nur Adapterdateien, wie adapter_model.safetensors und adapter_config.json, hängen vom Basismodell ab.

  1. Laden Sie die für das Training verwendete Basismodellrevision und den Adapter.
  2. Fügen Sie den Adapter in das Basismodell ein. Verwenden Sie bei Hugging Face PEFT merge_and_unload() für eine unterstützte LoRA-Konfiguration. Siehe Gewichte zusammenführen.
  3. Speichern Sie das vollständige Modell und den zugehörigen Tokenizer in einem neuen Exportverzeichnis. Verwenden Sie dabei eine für das kompatible Basismodell unterstützte Genauigkeit. Behalten Sie das ursprüngliche Basismodell und den ursprünglichen Adapter für zukünftige Exporte bei.
Wie gehe ich mit der Präzision des exportierten Modells um?

Verwenden Sie eine für das kompatible Basismodell unterstützte Genauigkeit. Training und Zusammenführung können den gespeicherten Tensor-Datentyp ändern. Prüfen Sie die gespeicherten Gewichtungen, bevor Sie sie mit einer Datentypkonvertierung laden.

Um die Genauigkeit zu ändern, konvertieren Sie die tatsächlichen Tensoren und speichern Sie einen neuen Export. Wenn Sie torch_dtype oder dtype in config.json bearbeiten, werden die Gewichtungen nicht konvertiert. Befolgen Sie für quantisierte Modelle die vom Modell und Tool unterstützte Zusammenführungs- und Exportprozedur.

Vorbereiten der Modelldateien

Welche Dateien muss ich importieren?

Verwenden Sie einen vollständigen Export im Hugging Face-Format. Das Modellartefaktverzeichnis enthält config.json und die Dateien, die zum Laden des Modells erforderlich sind:

  • Vollständige Modellgewichtungen wie model.safetensors oder jedes Gewichtungs-Shard, das von einem Index wie model.safetensors.index.json referenziert wird.
  • Der übereinstimmende Tokenizer, die Tokenizer-Konfiguration, spezielle Tokendefinitionen und die Chatvorlage, sofern zutreffend.
  • Generierungskonfiguration und alle vom Modell benötigten Prozessordateien.

Behalten Sie jeden Export in einem eigenen Verzeichnis bei, damit Konfigurations- und Gewichtungsdateien aus verschiedenen Ausführungen nicht gemischt werden. Informationen zu Chatmodellen finden Sie unter Anleitung für Hugging Face-Chatvorlagen.

Wo stelle ich die Modelldateien ein?

Laden Sie den vollständigen Export in ein Modellartefaktverzeichnis in einem Object Storage-Bucket hoch, oder stellen Sie ihn in einem Hugging Face-Modell-Repository zur Verfügung. Verwenden Sie dieses Verzeichnis oder Repository, wenn Sie das optimierte Modell importieren.

Konfigurationsmetadaten

Was bedeutet transformers_version?

Das Feld transformers_version in config.json zeichnet die Version der Hugging Face Transformers-Bibliothek auf, die beim Speichern der Konfiguration verwendet wird. Dieser Wert ist getrennt von der Bibliothek, die derzeit in Ihrer Schulungsumgebung installiert ist, und dem Modellversionslabel, das Sie in der Konsole eingeben.

Der exportierte Wert muss die Versionsanforderung erfüllen, die auf der Familienseite des kompatiblen Modells beschrieben ist. Vergleichen Sie es mit der Konfiguration für die Basismodellrevision, die für das Training verwendet wird.

Tipp

Das Speichern mit einer neueren Transformers-Bibliothek kann transformers_version ändern, selbst wenn die Modellarchitektur gleich bleibt. Eine nicht übereinstimmende Metadatenversion kann dazu führen, dass der Import mit einem Architekturvalidierungsfehler nicht erfolgreich verläuft.
Was beschreibt die Modellkonfiguration?

In der folgenden Tabelle werden die für den Import relevanten Konfigurationsfelder beschrieben. Vergleichen Sie die exportierte config.json mit der Konfiguration des Basismodells sowie die gespeicherten Gewichtungen und den Tokenizer. Die Konfiguration muss die Modelldateien in Ihrem Export beschreiben.

Modellkonfigurationsfelder
Feld oder Einstellung Erwarteter Inhalt
architectures und model_type Modellklasse und -familie, die mit den exportierten Gewichtungen übereinstimmen.
transformers_version Eine aufgezeichnete Version, die den Anforderungen der Transformers-Version des kompatiblen Basismodells entspricht.
torch_dtype oder dtype Die Genauigkeit der gespeicherten Gewichte. Wenn Sie diesen Wert ändern, werden die Tensoren nicht konvertiert.
Ebenenanzahl, ausgeblendete Größen, Aufmerksamkeitseinstellungen und Vokabulargröße Einstellungen, die mit den gespeicherten Tensoren und dem Tokenizer übereinstimmen. Bei einer LoRA-Zusammenführung, die nur die ursprünglichen Gewichtungsmatrizen aktualisiert, bleiben diese Architektureinstellungen unverändert.
quantization_config, falls vorhanden Die Quantisierungseinstellungen für das exportierte Modell. Durch das Entfernen dieser Metadaten wird kein quantisierter Checkpoint konvertiert.

Modell importieren und hosten

Wie stelle ich mein optimiertes Modell bereit?

Befolgen Sie den Standardworkflow für den Modellimport, und verwenden Sie den optimierten Export als Quelle:

  1. Vervollständigen Sie die Quellvoraussetzungen unter Importierte Modelle verwalten, und richten Sie die erforderlichen importierten Modellberechtigungen ein.
  2. Importieren Sie das optimierte Modell aus einem Object Storage-Bucket oder aus Hugging Face.
  3. Warten Sie, bis der Import abgeschlossen ist. Siehe Details eines importierten Modells abrufen.
  4. Für das Hosting dediziertes KI-Cluster erstellen. Wählen Sie eine kompatible Einheitenausprägung für das Modell aus den in Ihrer Region verfügbaren Optionen aus, wie unter Modelle und Hardware beschrieben.
  5. Erstellen Sie einen Endpunkt für das importierte Modell, und senden Sie dann Anforderungen an den Endpunkt.

Verwenden Sie einen beschreibenden Namen und eine beschreibende Version, um das optimierte Modell von seinem Basismodell und anderen Exporten zu unterscheiden.

Fehlerbehebung bei Importfehlern

Warum meldet der Import einen Architekturvalidierungsfehler?

Ein Import kann mit dieser Meldung nicht erfolgreich sein, wenn das exportierte Modell eine Kompatibilitätsanforderung nicht erfüllt:

The imported model architecture is not yet validated for serving.

Die Nachricht identifiziert den spezifischen Unterschied nicht. Eine Unstimmigkeit bei den transformers_version-Metadaten kann diesen Fehler verursachen, selbst wenn die Architektur nicht geändert wurde.

  1. Vergleichen Sie die Basis- und exportierten config.json-Dateien mit Konfigurationsmetadaten und den Anforderungen auf der Familienseite des kompatiblen Modells.
  2. Prüfen Sie den Export auf Datentypänderungen, fehlende Gewichtungs-Shards oder Tokenizer-Dateien aus einem anderen Modell. Verwenden Sie für LoRA das vollständige zusammengeführte Modell und nicht den reinen Adapter-Checkpoint.
  3. Nachdem Sie den Export korrigiert haben, speichern Sie ihn in einem separaten Artefaktverzeichnis, und importieren Sie diese Version.