Modelle in dedizierten KI-Clustern wechseln

Wechseln Sie ein vortrainiertes oder importiertes Modell, das in einem dedizierten KI-Cluster in OCI Generative AI gehostet wird. Verwenden Sie das Cluster wieder, wenn das neue Modell seine vollständige Einheitenausprägung in derselben Region unterstützt, oder erstellen Sie ein neues Cluster, wenn eine andere Ausprägung erforderlich ist.

Sie können zwischen Modellen wechseln, um die Bildunterstützung hinzuzufügen, die Argumentations- oder Antwortqualität für eine Anwendung zu verbessern oder ein Modell zu ersetzen, das ausläuft. Wenn Sie das aktuelle Modell bereits in einem dedizierten KI-Cluster hosten, vergleichen Sie die unterstützten Einheitenausprägungen des neuen Modells mit der Ausprägung des vorhandenen Clusters, bevor Sie ein anderes Cluster erstellen. Dieser Prozess gilt auch, wenn Sie zwischen importierten Modellen wechseln.

Entscheidung, ob ein dediziertes KI-Cluster wiederverwendet werden soll

Sie wählen eine Einheitenausprägung aus, wenn Sie ein dediziertes KI-Cluster erstellen. Sie können diese Ausprägung nach der Erstellung nicht mehr ändern. Um das Cluster wiederverwenden zu können, muss das neue Modell dieselbe Einheitenausprägung in der Clusterregion unterstützen.

Vergleichen Sie vollständige Einheitenausprägungsnamen, wie Cohere_H100_X2 und Cohere_H100_X4, und nicht nur den Hardwaretyp, wie H100. Ausprägungen können je nach Modell und Region unterschiedlich sein.

  • Suchen Sie bei vortrainierten OCI Generative AI-Modellen die vollständigen providerspezifischen Ausprägungsnamen für Einheiten unter Hardwareeinheitenausprägungen für OCI-Modelle.
  • Suchen Sie bei importierten Modellen auf der Seite des neuen Modells unter Kompatible Modelle nach einer unterstützten Einheitenausprägung. Stellen Sie dann sicher, dass die zugehörige Hardwareausprägung in der Region des Clusters unter Hardwareeinheitenausprägungen für importierte Modelle verfügbar ist. Die Ausprägungsnamen der importierten Modelleinheit haben keine Providerpräfixe. Beispiel: H100_X2 und H100_X4 sind verschiedene Ausprägungen.
  • Wenn das neue Modell die vorhandene Einheitenausprägung unterstützt, löschen Sie die Endpunkte des aktuellen Modells, und erstellen Sie einen Endpunkt für das neue Modell in demselben dedizierten KI-Cluster. Das Cluster bleibt Ihnen zugewiesen.
  • Wenn für das neue Modell eine andere Einheitenausprägung erforderlich ist, erstellen Sie ein neues dediziertes Hosting-KI-Cluster mit dieser Ausprägung, und erstellen Sie einen Endpunkt für das neue Modell. Sie müssen das ursprüngliche Cluster nicht löschen, um das neue Cluster zu erstellen, solange in der Region genügend Servicelimits für das zusätzliche Cluster verfügbar sind.

Stellen Sie vor dem Hinzufügen eines neuen Clusters sicher, dass genügend verfügbare Servicelimits in der Region vorhanden sind. Begrenzungsnamen wie dedicated-unit-h100-count und die Anzahl der erforderlichen AI-Einheiten finden Sie unter Hardwareeinheitenausprägungen, Servicelimits und AI-Einheitenanzahl.

Standardmäßig kann ein Cluster bis zu 50 Endpunkte für dasselbe gehostete Modell enthalten. Diese Endpunkte verwenden die Modellreplikate des Clusters gemeinsam, die dem aktuellen Modell dienen. Um das Cluster zu einem anderen Modell zu wechseln, löschen Sie jeden Endpunkt für das aktuelle Modell, bevor Sie einen Endpunkt für das Ersatzmodell erstellen. Anforderungen an die gelöschten Endpunkte werden gestoppt. Nachdem der neue Endpunkt aktiv wird, aktualisieren Sie die Anwendungen, um ihn zu verwenden.

Beispiele: Vorgeschulte OCI Generative AI-Modelle in Ashburn wechseln

Angenommen, Sie hosten Cohere-Befehl A in einem dedizierten KI-Cluster mit der Ausprägung Cohere_H100_X2 in US East (Ashburn). In der Tabelle Baselineausprägungen für Nordamerika werden diese Optionen zum Umschalten von Modellen in derselben Region angezeigt.

Wechsel von Cohere Command A in Ashburn
Szenario Aktuelles Model Aktuelle Clusterausprägung Neues Modell Zielclusterausprägung Aktion
Szenario 1 Cohere-Befehl A Cohere_H100_X2 Cohere Command A Vision Cohere_H100_X2

Verwenden Sie das vorhandene Cluster erneut. Beide Modelle unterstützen Cohere_H100_X2. Löschen Sie alle Command A-Endpunkte im Cluster, und erstellen Sie dann einen Command A Vision-Endpunkt im selben Cluster.

Szenario 2 Cohere-Befehl A Cohere_H100_X2 Cohere Command A Reasoning Cohere_H100_X4

Neues Cluster erstellen. Für Befehl A Reasoning ist Cohere_H100_X4 erforderlich, und Sie können die Ausprägung Cohere_H100_X2 des vorhandenen Clusters nicht ändern. Erstellen Sie ein neues Hostingcluster mit der erforderlichen Ausprägung, und erstellen Sie einen Endpunkt für Befehl A Reasoning. Möglicherweise müssen Sie ein Servicelimit erhöhen für die zusätzlichen GPUs.

Beispiele: Umschalten importierter Qwen-Modelle

Angenommen, Sie hosten Qwen/Qwen3.6-35B-A3B in einem dedizierten AI-Cluster mit der Ausprägung H100_X2. In diesen Beispielen sind H100_X1, H100_X2 und H100_X4 für die Zielregion verfügbar. Auf der Seite Kompatible Alibaba-Modelle wird H100_X1 als Mindestausprägung der Einheit H100 für Qwen/Qwen3.8-27B und H100_X4 für Qwen/Qwen3-Next-80B-A3B-Instruct aufgeführt. Das Modell Qwen/Qwen3.8-27B unterstützt in diesen Beispielen auch H100_X2.

Wechsel von Qwen/Qwen3.6-35B-A3B
Szenario Aktuelles Model Aktuelle Clusterausprägung Neues Modell Zielclusterausprägung Aktion
Szenario 1 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X2

Verwenden Sie das vorhandene Cluster erneut. Das neue Modell unterstützt H100_X2, obwohl die minimale H100-Ausprägung H100_X1 ist. Löschen Sie alle Endpunkte für das aktuelle Modell, und erstellen Sie dann einen Endpunkt für das neue Modell im selben Cluster.

Szenario 2 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3.8-27B H100_X1

Erstellen Sie ein neues Cluster, um eine kleinere Ausprägung zu verwenden. Das neue Modell kann das vorhandene H100_X2-Cluster verwenden. Um stattdessen die Mindestausprägung H100_X1 zu verwenden, erstellen Sie ein neues Hostingcluster, weil Sie die Ausprägung des vorhandenen Clusters nicht ändern können. Erstellen Sie einen Endpunkt im neuen Cluster, und wechseln Sie zur Anwendung. Löschen Sie die Endpunkte und das Cluster des alten Modells, wenn Sie sie nicht mehr benötigen.

Szenario 3 Qwen/Qwen3.6-35B-A3B H100_X2 Qwen/Qwen3-Next-80B-A3B-Instruct H100_X4

Neues Cluster erstellen. Das neue Modell erfordert mindestens H100_X4, sodass das vorhandene H100_X2-Cluster nicht über genügend Hardwareeinheiten verfügt. Erstellen Sie ein neues Hostingcluster mit H100_X4, und erstellen Sie einen Endpunkt für das neue Modell. Möglicherweise müssen Sie ein Servicelimit erhöhen für die zusätzlichen GPUs.

Vor dem Löschen des ursprünglichen dedizierten KI-Clusters

Die Erstellung eines neuen dedizierten KI-Clusters unterscheidet sich von der Entscheidung, ob das ursprüngliche Cluster gelöscht werden soll. Die Abrechnungsbedingungen hängen vom Modelltyp ab:

  • Hosting-Cluster für vortrainierte und benutzerdefinierte OCI Generative AI-Modelle haben eine Mindestverpflichtung von 744 Stunden pro Einheit. Wenn Sie ein Cluster löschen, bevor dieses Minimum erreicht ist, wird die Mindestgebühr nicht entfernt.
  • Hosting-Cluster für importierte Modelle erfordern keine 744-Stunden-Verpflichtung. Stattdessen haben sie eine abrechenbare Mindestdauer von einer Stunde. Siehe Hardwareeinheitsausprägungen für importierte Modelle.

Bevor Sie entscheiden, ob oder wann das ursprüngliche Cluster gelöscht werden soll, prüfen Sie dessen Nutzung, die anwendbare Mindestabrechnung und ob Sie es weiterhin für andere Endpunkte oder ein kompatibles Modell benötigen. Wenn Sie ein zugewiesenes Cluster beibehalten, wird die Nutzung weiterhin kumuliert. Berücksichtigen Sie auch die Abrechnungsbedingungen des neuen Clusters. Siehe Kosten berechnen und die Seite "Preise".

Modelle wechseln

Sie haben einen Endpunkt für das aktuelle Modell in einem dedizierten KI-Hostcluster und das Modell ausgewählt, das Sie stattdessen verwenden möchten.

  1. Prüfen Sie die Details des vorhandenen dedizierten KI-Clusters, und notieren Sie sich die Region und die vollständige Einheitenausprägung.
    Beispiel: Ein Cohere Command A-Cluster in Ashburn verwendet Cohere_H100_X2. In den Beispielen des importierten Modells verwendet ein Cluster, das Qwen/Qwen3.6-35B-A3B hostet, H100_X2.
  2. Suchen Sie die unterstützten Einheitenausprägungen des neuen Modells in der Clusterregion, und vergleichen Sie ihre vollständigen Namen mit der Ausprägung des vorhandenen Clusters.

    Verwenden Sie für vortrainierte OCI Generative AI-Modelle Hardwareeinheitenausprägungen für OCI-Modelle. In Ashburn verwendet Command A Vision Cohere_H100_X2, das dem Beispielcluster entspricht. Befehl A Reasoning verwendet Cohere_H100_X4, was ein neues Cluster erfordert.

    Suchen Sie bei importierten Modellen auf der Seite des neuen Modells unter Kompatible Modelle eine kompatible Ausprägung, und prüfen Sie die regionale Verfügbarkeit unter Hardwareeinheitenausprägungen für importierte Modelle. Beispiel: Ein Cluster mit H100_X2 kann für ein anderes importiertes Modell wiederverwendet werden, das H100_X2 in derselben Region unterstützt.

  3. Wenn das neue Modell die vorhandene Einheitenausprägung unterstützt, verwenden Sie das Cluster erneut:
    1. Alle Endpunkte löschen für das aktuelle Modell im Cluster.
    2. Erstellen Sie einen neuen Endpunkt für das neue Modell mit demselben dedizierten KI-Cluster.
    Das dedizierte KI-Cluster bleibt Ihnen zugewiesen. Sie müssen sie nicht löschen, wenn die Einheitenausprägung unverändert ist.
  4. Wenn für das neue Modell eine andere Einheitenausprägung erforderlich ist, erstellen Sie ein neues Cluster und einen neuen Endpunkt:
    1. Erstellen Sie ein neues dediziertes Hosting-KI-Cluster mit der Ausprägung, die vom neuen Modell in Ihrer Region erforderlich ist.
    2. Nachdem das neue Cluster aktiv wird, erstellen Sie einen Endpunkt für das neue Modell darauf.
  5. Aktualisieren Sie die Anwendung, um den neuen Endpunkt zu verwenden, und prüfen Sie die zugehörigen Antworten.
    Der neue Endpunkt hat eine eigene OCID. Aktualisieren Sie alle Anwendungskonfigurationen, die sich auf den alten Endpunkt beziehen.

Wenn Sie ein neues Cluster erstellt haben, prüfen Sie Bevor Sie das ursprüngliche dedizierte KI-Cluster löschen, bevor Sie entscheiden, ob oder wann die alten Ressourcen eingestellt werden sollen. Wenn Sie das ursprüngliche Cluster löschen möchten, löschen Sie zunächst seine Endpunkte, und löschen Sie das Cluster.