Modelle in dedizierten KI-Clustern wechseln
Wechseln Sie ein vortrainiertes oder importiertes Modell, das in einem dedizierten KI-Cluster in OCI Generative AI gehostet wird. Verwenden Sie das Cluster wieder, wenn das neue Modell seine vollständige Einheitenausprägung in derselben Region unterstützt, oder erstellen Sie ein neues Cluster, wenn eine andere Ausprägung erforderlich ist.
Sie können zwischen Modellen wechseln, um die Bildunterstützung hinzuzufügen, die Argumentations- oder Antwortqualität für eine Anwendung zu verbessern oder ein Modell zu ersetzen, das ausläuft. Wenn Sie das aktuelle Modell bereits in einem dedizierten KI-Cluster hosten, vergleichen Sie die unterstützten Einheitenausprägungen des neuen Modells mit der Ausprägung des vorhandenen Clusters, bevor Sie ein anderes Cluster erstellen. Dieser Prozess gilt auch, wenn Sie zwischen importierten Modellen wechseln.
Entscheidung, ob ein dediziertes KI-Cluster wiederverwendet werden soll
Sie wählen eine Einheitenausprägung aus, wenn Sie ein dediziertes KI-Cluster erstellen. Sie können diese Ausprägung nach der Erstellung nicht mehr ändern. Um das Cluster wiederverwenden zu können, muss das neue Modell dieselbe Einheitenausprägung in der Clusterregion unterstützen.
Vergleichen Sie vollständige Einheitenausprägungsnamen, wie Cohere_H100_X2 und Cohere_H100_X4, und nicht nur den Hardwaretyp, wie H100. Ausprägungen können je nach Modell und Region unterschiedlich sein.
- Suchen Sie bei vortrainierten OCI Generative AI-Modellen die vollständigen providerspezifischen Ausprägungsnamen für Einheiten unter Hardwareeinheitenausprägungen für OCI-Modelle.
- Suchen Sie bei importierten Modellen auf der Seite des neuen Modells unter Kompatible Modelle nach einer unterstützten Einheitenausprägung. Stellen Sie dann sicher, dass die zugehörige Hardwareausprägung in der Region des Clusters unter Hardwareeinheitenausprägungen für importierte Modelle verfügbar ist. Die Ausprägungsnamen der importierten Modelleinheit haben keine Providerpräfixe. Beispiel:
H100_X2undH100_X4sind verschiedene Ausprägungen.
- Wenn das neue Modell die vorhandene Einheitenausprägung unterstützt, löschen Sie die Endpunkte des aktuellen Modells, und erstellen Sie einen Endpunkt für das neue Modell in demselben dedizierten KI-Cluster. Das Cluster bleibt Ihnen zugewiesen.
- Wenn für das neue Modell eine andere Einheitenausprägung erforderlich ist, erstellen Sie ein neues dediziertes Hosting-KI-Cluster mit dieser Ausprägung, und erstellen Sie einen Endpunkt für das neue Modell. Sie müssen das ursprüngliche Cluster nicht löschen, um das neue Cluster zu erstellen, solange in der Region genügend Servicelimits für das zusätzliche Cluster verfügbar sind.
Stellen Sie vor dem Hinzufügen eines neuen Clusters sicher, dass genügend verfügbare Servicelimits in der Region vorhanden sind. Begrenzungsnamen wie dedicated-unit-h100-count und die Anzahl der erforderlichen AI-Einheiten finden Sie unter Hardwareeinheitenausprägungen, Servicelimits und AI-Einheitenanzahl.
Standardmäßig kann ein Cluster bis zu 50 Endpunkte für dasselbe gehostete Modell enthalten. Diese Endpunkte verwenden die Modellreplikate des Clusters gemeinsam, die dem aktuellen Modell dienen. Um das Cluster zu einem anderen Modell zu wechseln, löschen Sie jeden Endpunkt für das aktuelle Modell, bevor Sie einen Endpunkt für das Ersatzmodell erstellen. Anforderungen an die gelöschten Endpunkte werden gestoppt. Nachdem der neue Endpunkt aktiv wird, aktualisieren Sie die Anwendungen, um ihn zu verwenden.
Beispiele: Vorgeschulte OCI Generative AI-Modelle in Ashburn wechseln
Angenommen, Sie hosten Cohere-Befehl A in einem dedizierten KI-Cluster mit der Ausprägung Cohere_H100_X2 in US East (Ashburn). In der Tabelle Baselineausprägungen für Nordamerika werden diese Optionen zum Umschalten von Modellen in derselben Region angezeigt.
| Szenario | Aktuelles Model | Aktuelle Clusterausprägung | Neues Modell | Zielclusterausprägung | Aktion |
|---|---|---|---|---|---|
| Szenario 1 | Cohere-Befehl A | Cohere_H100_X2 |
Cohere Command A Vision | Cohere_H100_X2 |
Verwenden Sie das vorhandene Cluster erneut. Beide Modelle unterstützen |
| Szenario 2 | Cohere-Befehl A | Cohere_H100_X2 |
Cohere Command A Reasoning | Cohere_H100_X4 |
Neues Cluster erstellen. Für Befehl A Reasoning ist |
Beispiele: Umschalten importierter Qwen-Modelle
Angenommen, Sie hosten Qwen/Qwen3.6-35B-A3B in einem dedizierten AI-Cluster mit der Ausprägung H100_X2. In diesen Beispielen sind H100_X1, H100_X2 und H100_X4 für die Zielregion verfügbar. Auf der Seite Kompatible Alibaba-Modelle wird H100_X1 als Mindestausprägung der Einheit H100 für Qwen/Qwen3.8-27B und H100_X4 für Qwen/Qwen3-Next-80B-A3B-Instruct aufgeführt. Das Modell Qwen/Qwen3.8-27B unterstützt in diesen Beispielen auch H100_X2.
| Szenario | Aktuelles Model | Aktuelle Clusterausprägung | Neues Modell | Zielclusterausprägung | Aktion |
|---|---|---|---|---|---|
| Szenario 1 | Qwen/Qwen3.6-35B-A3B | H100_X2 |
Qwen/Qwen3.8-27B | H100_X2 |
Verwenden Sie das vorhandene Cluster erneut. Das neue Modell unterstützt |
| Szenario 2 | Qwen/Qwen3.6-35B-A3B | H100_X2 |
Qwen/Qwen3.8-27B | H100_X1 |
Erstellen Sie ein neues Cluster, um eine kleinere Ausprägung zu verwenden. Das neue Modell kann das vorhandene |
| Szenario 3 | Qwen/Qwen3.6-35B-A3B | H100_X2 |
Qwen/Qwen3-Next-80B-A3B-Instruct | H100_X4 |
Neues Cluster erstellen. Das neue Modell erfordert mindestens |
Vor dem Löschen des ursprünglichen dedizierten KI-Clusters
Die Erstellung eines neuen dedizierten KI-Clusters unterscheidet sich von der Entscheidung, ob das ursprüngliche Cluster gelöscht werden soll. Die Abrechnungsbedingungen hängen vom Modelltyp ab:
- Hosting-Cluster für vortrainierte und benutzerdefinierte OCI Generative AI-Modelle haben eine Mindestverpflichtung von 744 Stunden pro Einheit. Wenn Sie ein Cluster löschen, bevor dieses Minimum erreicht ist, wird die Mindestgebühr nicht entfernt.
- Hosting-Cluster für importierte Modelle erfordern keine 744-Stunden-Verpflichtung. Stattdessen haben sie eine abrechenbare Mindestdauer von einer Stunde. Siehe Hardwareeinheitsausprägungen für importierte Modelle.
Bevor Sie entscheiden, ob oder wann das ursprüngliche Cluster gelöscht werden soll, prüfen Sie dessen Nutzung, die anwendbare Mindestabrechnung und ob Sie es weiterhin für andere Endpunkte oder ein kompatibles Modell benötigen. Wenn Sie ein zugewiesenes Cluster beibehalten, wird die Nutzung weiterhin kumuliert. Berücksichtigen Sie auch die Abrechnungsbedingungen des neuen Clusters. Siehe Kosten berechnen und die Seite "Preise".
Modelle wechseln
Sie haben einen Endpunkt für das aktuelle Modell in einem dedizierten KI-Hostcluster und das Modell ausgewählt, das Sie stattdessen verwenden möchten.
Wenn Sie ein neues Cluster erstellt haben, prüfen Sie Bevor Sie das ursprüngliche dedizierte KI-Cluster löschen, bevor Sie entscheiden, ob oder wann die alten Ressourcen eingestellt werden sollen. Wenn Sie das ursprüngliche Cluster löschen möchten, löschen Sie zunächst seine Endpunkte, und löschen Sie das Cluster.