Oracle Cloud Infrastructure-Dokumentation

Dediziertes KI-Cluster für Hostingmodelle erstellen

Erstellen Sie eine dedizierte KI-Clusterressource in OCI Generative AI, um Endpunkte für vortrainierte Basismodelle, benutzerdefinierte Modelle oder importierte Modelle zu hosten.

Wichtig

  • Auf Anforderung nicht verfügbar: Alle vortrainierten OCI Generative AI-Grundmodelle, die für den On-Demand-Serving-Modus unterstützt werden und die Textgenerierungs- und Zusammenfassungs-APIs (einschließlich Playground) verwenden, werden jetzt eingestellt. Wir empfehlen, stattdessen die chat-modelle zu verwenden.
  • Kann auf Clustern gehostet werden: Wenn Sie eine Zusammenfassung oder ein Generierungsmodell wie cohere.command in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, können Sie dieses Modell weiter verwenden, bis es abgelaufen ist. Diese Modelle, wenn sie in einem dedizierten KI-Cluster gehostet werden, sind nur in US Midwest (Chicago) verfügbar. Das Datum, an dem die APIs nicht mehr verfügbar sind, finden Sie unter Veraltete APIs in generativer KI.
    1. Wählen Sie auf der Listenseite Dedizierte KI-Cluster die Option Dediziertes KI-Cluster erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, finden Sie weitere Informationen unter Dedizierte KI-Cluster auflisten.
    2. Wählen Sie ein Compartment aus, in dem das dedizierte KI-Cluster erstellt werden soll. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
    3. (Optional) Geben Sie einen Namen und eine Beschreibung für das Cluster ein. Wenn Sie keinen Namen eingeben, generiert das System einen Namen, den Sie später ändern können.

      Der generierte Name hat das Format generativeaidedicatedaicluster<timestamp>. Beispiel: generativeaidedicatedaicluster20250922181431

    4. Wählen Sie unter Clustertyp die Option Hosting aus.
    5. Wählen Sie unter Basismodell eine der folgenden Optionen aus:
      • Das vortrainierte Basismodell, das Sie hosten.
      • Wenn Sie ein benutzerdefiniertes Modell verwenden, das anhand eines Basismodells verfeinert wurde, wählen Sie das ursprüngliche Basismodell aus, auf dem es trainiert wurde.
      • Wenn Sie ein importiertes Modell verwenden, wählen Sie dieses importierte Modell aus.
    6. Wenn Sie ein importiertes Modell ausgewählt haben, wählen Sie eine empfohlene Einheitsgröße aus.
      Empfehlungen zur Einheitengröße finden Sie unter Unterstützte Modelle für Import. Sie können diese Anleitung auch für Modelle verwenden, die Sie in Buckets speichern.

      Einheitenausprägungsnamen haben zwei Teile: Instanztyp und Anzahl der Karten. Beispiel: H100_X1 = H100 with 1 card. Für A100 sind sowohl A100-80G als auch A100-40G verfügbar. Die Speichergröße im Namen (80G oder 40G) unterscheidet sie.

      Wichtig

      Nach dem Erstellen eines dedizierten KI-Clusters können Sie die Einheitenausprägung nicht mehr ändern.
    7. (Optional) Erhöhen Sie die Anzahl der Instanzen im Feld Modellreplikat.
      Wichtig

      Wenn Sie ein Cluster für das Hosting von Modellen für Inferenz erstellen, wird standardmäßig eine Einheit für das ausgewählte Basismodell erstellt. Um den Durchsatz zu erhöhen, können Sie die Anzahl der Instanzen im Feld Modellreplikat jetzt oder später erhöhen, wenn Sie das Cluster bearbeiten. Wenn Sie beispielsweise zwei Modellreplikate in diesem Cluster erstellen, sind zwei Einheiten erforderlich.
    8. Lesen Sie die Stunden der Verpflichtungseinheit für das Hosting-Cluster, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
    9. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Cluster Tags zu.
    10. Wählen Sie Erstellen aus.
    Hinweis

    Die Erstellung von Clustern dauert einige Minuten. Wenn sich das Cluster in einem aktiven Status befindet, können Sie dieses Cluster auswählen, um ein Modell zu hosten, wenn Sie einen Endpunkt für dieses Modell erstellen.

  • Verwenden Sie den Befehl dedicated-AI-cluster create und die erforderlichen Parameter, um ein dediziertes KI-Cluster zu erstellen:

    oci generative-ai dedicated-ai-cluster create 
--compartment-id <compartment-OCID>
--type HOSTING
--unit-count [integer]
--unit-shape [text]
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

  • Führen Sie den Vorgang CreateDedicatedAiCluster aus, um ein dediziertes Cluster zu erstellen.