Oracle Cloud Infrastructure-Dokumentation

Dediziertes KI-Cluster in OCI Generative AI zum Hosten von Modellen erstellen

Erstellen Sie eine dedizierte KI-Clusterressource in OCI Generative AI, um Endpunkte für vortrainierte Basismodelle und benutzerdefinierte Modelle zu hosten.

Wichtig

  • Auf Anforderung nicht verfügbar: Alle vortrainierten OCI Generative AI-Grundmodelle, die für den On-Demand-Serving-Modus unterstützt werden und die Textgenerierungs- und Zusammenfassungs-APIs (einschließlich Playground) verwenden, werden jetzt eingestellt. Wir empfehlen, stattdessen die chat-modelle zu verwenden.
  • Kann auf Clustern gehostet werden: Wenn Sie eine Zusammenfassung oder ein Generierungsmodell wie cohere.command in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, können Sie dieses Modell weiter verwenden, bis es abgelaufen ist. Diese Modelle, wenn sie in einem dedizierten KI-Cluster gehostet werden, sind nur in US Midwest (Chicago) verfügbar. Informationen zu Ablaufdaten und Definitionen finden Sie unter Modelle in den Ruhestand versetzen.
  1. Wählen Sie in der Navigationsleiste der Konsole eine Region mit generativer KI aus. Beispiel: US Midwest (Chicago) oder UK South (London). Siehe Welche Modelle in Ihrer Region angeboten werden.
  2. Öffnen Sie das Navigationsmenü , und wählen Sie Analysen und KI aus. Wählen Sie unter KI-Services die Option Generative KI aus.
  3. Wählen Sie ein Compartment aus, in dem Sie die Modelle hosten möchten.
    Stellen Sie sicher, dass Sie die Berechtigung haben, generative-ai-family- und object-family-Ressourcen in diesem Compartment zu verwenden oder zu verwalten.
  4. Wählen Sie in der linken Navigation ein Compartment aus, für das Sie die erforderlichen Berechtigungen haben.
  5. Klicken Sie auf Dedizierte KI-Cluster.
  6. Klicken Sie auf Dediziertes KI-Cluster erstellen.
  7. Wählen Sie ein Compartment aus, in dem das dedizierte KI-Cluster erstellt werden soll. Das Standard-Compartment ist das in Schritt 3 ausgewählte Compartment. Sie können jedoch jedes Compartment auswählen, für das Sie die erforderliche Berechtigung haben.
  8. (Optional) Geben Sie einen Namen und eine Beschreibung für das Cluster ein. Wenn Sie keinen Namen eingeben, generiert das System einen Namen, den Sie später ändern können.

    Der generierte Name hat das Format generativeaidedicatedaicluster<timestamp>. Beispiel: generativeaidedicatedaicluster20240601202357

  9. Klicken Sie unter Clustertyp auf Hosting.
  10. Wählen Sie unter Basismodell das grundlegende Basismodell für die Modelle aus, die auf diesem Cluster gehostet werden sollen. Die Modellliste enthält nur die Basismodelle, die für den On-Demand-Modus noch nicht eingestellt sind.
    Die Größe dedizierter Clustereinheiten finden Sie unter Basismodelle mit Clustern abgleichen. Regeln zum Erstellen von Endpunkten für die Modelle, die auf Clustern gehostet werden, finden Sie unter Endpunkte zu Hostingclustern hinzufügen.
  11. (Optional) Erhöhen Sie die Anzahl der Instanzen im Feld Modellreplikat.
    Wichtig

    Wenn Sie ein Cluster für das Hosting von Modellen für Inferenz erstellen, wird standardmäßig eine Einheit für das ausgewählte Basismodell erstellt. Um den Durchsatz zu erhöhen, können Sie die Anzahl der Instanzen im Feld Modellreplikat jetzt oder später erhöhen, wenn Sie das Cluster bearbeiten. Wenn Sie beispielsweise zwei Modellreplikate in diesem Cluster erstellen, sind zwei Einheiten erforderlich.
  12. Lesen Sie die Stunden der Verpflichtungseinheit für das Hosting-Cluster, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
  13. (Optional) Klicken Sie auf Erweiterte Optionen anzeigen, und weisen Sie diesem Cluster Tags zu.
  14. Klicken Sie auf Erstellen.
    Hinweis

    Die Erstellung von Clustern dauert einige Minuten. Wenn sich das Cluster in einem aktiven Status befindet, können Sie dieses Cluster auswählen, um ein Modell zu hosten, wenn Sie einen Endpunkt für dieses Modell erstellen.