Dediziertes KI-Cluster für Hostingmodelle erstellen

Erstellen Sie eine dedizierte KI-Clusterressource in OCI Generative AI, um Endpunkte für vortrainierte Basismodelle, benutzerdefinierte Modelle oder importierte Modelle zu hosten.

Ein dediziertes KI-Hostingcluster stellt die Compute-Ressourcen für Modellinferenz bereit. Das Modell oder Basismodell und die Einheitenausprägung, die beim Erstellen des Clusters ausgewählt wurden, bestimmen, welche Modelle damit kompatibel sind. Nachdem das Cluster aktiv wurde, erstellen Sie mindestens einen Modellendpunkt, um auf das gehostete Modell zuzugreifen.

Wichtig

Auf Anforderung nicht verfügbar: Alle vortrainierten OCI Generative AI-Grundmodelle, die für den On-Demand-Serving-Modus unterstützt werden und die Textgenerierungs- und Zusammenfassungs-APIs (einschließlich Playground) verwenden, werden jetzt eingestellt. Wir empfehlen, stattdessen die chat-modelle zu verwenden.
Kann auf Clustern gehostet werden: Wenn Sie eine Zusammenfassung oder ein Generierungsmodell wie cohere.command in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, können Sie dieses Modell weiter verwenden, bis es abgelaufen ist. Diese Modelle, wenn sie in einem dedizierten KI-Cluster gehostet werden, sind nur in US Midwest (Chicago) verfügbar. Das Datum, an dem die APIs nicht mehr verfügbar sind, finden Sie unter Veraltete APIs in generativer KI.

1. Wählen Sie auf der Listenseite Dedizierte KI-Cluster die Option Dediziertes KI-Cluster erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, finden Sie weitere Informationen unter Dedizierte KI-Cluster auflisten.
2. Wählen Sie ein Compartment aus, in dem das dedizierte KI-Cluster erstellt werden soll. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
3. (Optional) Geben Sie einen Namen und die Beschreibung für das Cluster ein. Wenn Sie keinen Namen eingeben, generiert das System einen Namen, den Sie später ändern können.
  
  Der generierte Name hat das Format generativeaidedicatedaicluster<timestamp>. Beispiel: generativeaidedicatedaicluster20250922181431
4. Wählen Sie unter Clustertyp die Option Hosting aus.
5. Wählen Sie unter Basismodell eine der folgenden Optionen aus:
  
  Das vortrainierte Basismodell, das Sie hosten.
  
  Wenn Sie ein benutzerdefiniertes Modell verwenden, das anhand eines Basismodells verfeinert wurde, wählen Sie das ursprüngliche Basismodell aus, auf dem es trainiert wurde.
  
  Wenn Sie ein importiertes Modell verwenden, wählen Sie dieses importierte Modell aus.
6. Wenn Sie ein importiertes Modell ausgewählt haben, wählen Sie eine empfohlene Einheitsgröße aus.
  Für Empfehlungen zur Einheitengröße gehen Sie zu Kompatible Modelle für Import, und wählen Sie das Modell aus.
  
  Einheitenausprägungsnamen haben zwei Teile: Instanztyp und Anzahl der Karten. Beispiel: H100_X1 = H100 with 1 card. Für A100 sind sowohl A100-80G als auch A100-40G verfügbar. Die Speichergröße im Namen (80G oder 40G) unterscheidet sie.
  
  Wichtig
  
  Nach dem Erstellen eines dedizierten KI-Clusters können Sie die Einheitenausprägung nicht mehr ändern.
7. (Optional) Erhöhen Sie die Anzahl der Instanzen im Feld Modellreplikat.
  
  Wichtig
  
  Wenn Sie ein Cluster für das Hosting von Modellen für Inferenz erstellen, wird standardmäßig eine Einheit für das ausgewählte Modell erstellt. Um den Durchsatz zu erhöhen, erhöhen Sie die Anzahl der Instanzen im Feld Modellreplikat jetzt oder später, wenn Sie das Cluster bearbeiten. Beispiel: Das Erstellen von zwei Modellreplikaten in diesem Cluster erfordert zwei Einheiten. Durch das Erstellen zusätzlicher Modellendpunkte werden keine Replikate hinzugefügt oder der Durchsatz erhöht.
8. Lesen Sie die Stunden der Verpflichtungseinheit für das Hosting-Cluster, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
  
  Wichtig
  
  Fakturierung für dedizierte KI-Cluster, die importierte Modelle hosten
  
  Dedizierte KI-Cluster, die ein importiertes Modell hosten, erfordern nicht die Mindestverpflichtung von 744 Einheiten, die für dedizierte KI-Cluster gilt, die vortrainierte Modelle hosten, die in OCI Generative AI verfügbar sind. Stattdessen hat ein dediziertes KI-Cluster mit importiertem Modell eine fakturierbare Mindestdauer von einer Stunde. Beispiel: Ein Cluster, das eine KI-Einheit verwendet und 30 Minuten lang ausgeführt wird, wird eine KI-Einheitsstunde in Rechnung gestellt.
  
  Nach der ersten Stunde basieren die Gebühren auf der tatsächlichen Laufzeit des Clusters und werden anteilig auf die Millisekunde verteilt. Beispiel: Ein Cluster, das eine Stunde und eine Minute lang ausgeführt wird, wird für diese Dauer statt für zwei volle Stunden in Rechnung gestellt.
  
  OCI sendet Nutzungsdatensätze alle fünf Minuten an Metering and Billing, während das Cluster ausgeführt wird. Wenn das Cluster gelöscht wird, bevor das einstündige Minimum erreicht ist, meldet OCI weiterhin abrechenbare Nutzung, bis das Minimum erreicht ist. Wenn das Cluster mehr als eine Stunde lang ausgeführt wird, sendet OCI weiterhin alle fünf Minuten Nutzungsdatensätze, bis das Cluster gelöscht wird.
9. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Cluster Tags zu.
10. Wählen Sie Erstellen aus.
Hinweis

Die Erstellung von Clustern dauert einige Minuten. Nachdem das Cluster aktiv ist, wählen Sie es aus, wenn Sie einen Endpunkt erstellen für das Modell. Standardmäßig kann ein Hostingcluster bis zu 50 Modellendpunkte aufweisen. Siehe Endpunktkapazität.
Verwenden Sie den Befehl dedicated-AI-cluster create und die erforderlichen Parameter, um ein dediziertes KI-Cluster zu erstellen:
```
oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]
```
Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.
Führen Sie den Vorgang CreateDedicatedAiCluster aus, um ein dediziertes Cluster zu erstellen.

Oracle Cloud Infrastructure-Dokumentation

Dediziertes KI-Cluster für Hostingmodelle erstellen