Oracle Cloud Infrastructure-Dokumentation

Endpunkt in OCI Generative AI erstellen

Erstellen Sie einen Endpunkt für ein benutzerdefiniertes oder vortrainiertes Modell in einem dedizierten KI-Hostcluster in OCI Generative AI.

Regeln zum Erstellen von Endpunkten für die auf Clustern gehosteten Modelle finden Sie unter Endpunkte zu Hostingclustern hinzufügen.
  1. Wählen Sie in der Navigationsleiste der Konsole eine Region mit generativer KI aus. Beispiel: US Midwest (Chicago) oder UK South (London). Siehe Welche Modelle in Ihrer Region angeboten werden.
  2. Öffnen Sie das Navigationsmenü , und wählen Sie Analysen und KI aus. Wählen Sie unter KI-Services die Option Generative KI aus.
  3. Wählen Sie das Compartment mit dem benutzerdefinierten Modell aus, dem Sie einen Endpunkt hinzufügen möchten.
  4. Führen Sie einen der folgenden Schritte durch:
    • So erstellen Sie einen Endpunkt für ein benutzerdefiniertes Modell mit dem Modellnamen und der vorab ausgefüllten Version:
      1. Wählen Sie Benutzerdefinierte Modelle aus.
      2. Wählen Sie den Namen des benutzerdefinierten Modells aus, dem Sie einen Endpunkt hinzufügen möchten.
      3. Suchen Sie das Basismodell für das benutzerdefinierte Modell. Sie wählen das Basismodell aus, wenn Sie das Modell in den folgenden Schritten mit einem Cluster abgleichen.
      4. Wählen Sie unter Ressourcen die Option Endpunkte aus.
      5. Wählen Sie Endpunkt erstellen aus.
    • So erstellen Sie einen Endpunkt für ein einsatzbereites vortrainiertes Basismodell oder ein benutzerdefiniertes Modell:
      1. Wählen Sie Endpunkte aus.
      2. Wählen Sie Endpunkt erstellen aus.
  5. (Optional) Geben Sie einen Namen für den Endpunkt ein. Beginnen Sie den Namen mit einem Buchstaben oder Unterstrich, gefolgt von Buchstaben, Zahlen, Bindestrichen und Unterstrichen. Sie können zwischen 1 und 255 Zeichen lang sein. Wenn Sie keinen Namen eingeben, generiert das System einen Namen, den Sie später ändern können.

    Der generierte Name hat das Format generativeaiendpoint<timestamp>.

    generativeaiendpoint20240531235319

  6. Wenn diese Option nicht ausgewählt ist, wählen Sie den Modellnamen und die Version aus, für die Sie einen Endpunkt hinzufügen möchten.
    Tipp

    • Wenn sich das Modell in einem anderen Compartment als das aktuelle Compartment befindet, wählen Sie Compartment ändern aus, und wählen Sie das Compartment aus, das das das Modell hostet. Es wird empfohlen, den Endpunkt im selben Compartment wie das Modell zu erstellen.
    • Wenn das gewünschte benutzerdefinierte Modell nicht aufgeführt ist, wählen Sie Abbrechen aus. Wählen Sie dann unter Generative KI die Option Benutzerdefinierte Modelle aus, und stellen Sie sicher, dass das benutzerdefinierte Modell aktiv ist.
  7. Wählen Sie ein dediziertes Hosting-KI-Cluster aus, indem Sie eine der folgenden Aktionen ausführen:
    • Wenn Sie bereits über ein Cluster verfügen, wählen Sie in der Dropdown-Liste ein dediziertes KI-Cluster aus. Wenn Sie gerade ein Cluster erstellt haben, warten Sie, bis dieses Cluster aktiv wird. Stellen Sie sicher, dass das mit diesem Cluster verknüpfte Basismodell mit dem Basismodell des benutzerdefinierten Modells übereinstimmt.
    • Um ein Cluster zu erstellen, wählen Sie in der Dropdown-Liste Dediziertes KI-Cluster die Option Neues dediziertes KI-Cluster erstellen aus, und führen Sie die folgenden Schritte aus:
      1. (Optional) Geben Sie einen Namen und eine Beschreibung ein.
      2. Wählen Sie ein Basismodell aus, das dem Basismodell des Modells entspricht, das Sie hosten möchten.
      3. Fügen Sie dem Endpunkt 1 Modellreplikat hinzu. Wenn Sie ein Cluster erstellen, benötigen Sie mindestens eine Einheit für einen Endpunkt. Bei einem vorhandenen Cluster können Sie mit derselben Einheit neue Endpunkte hosten. Jede Instanz hostet alle aktiven Endpunkte. Wenn Sie die Instanzanzahl in einem Cluster erhöhen, erhöht sich die Anzahl der unterstützten RPMs für alle aktiven Endpunkte, die in einem Cluster gehostet werden.
      4. Lesen Sie die Stunden der Verpflichtungseinheit für das dedizierte KI-Cluster für das Hosting, und aktivieren Sie das Kontrollkästchen, um der Verpflichtung zuzustimmen.
      5. Wählen Sie Erstellen aus, und warten Sie, bis das Cluster aktiv wird.
      6. Wählen Sie in der Dropdown-Liste Dediziertes KI-Cluster das dedizierte KI-Cluster aus, das Sie erstellt haben.
  8. Wählen Sie, ob die folgenden Leitplanken aktiviert werden sollen.
    • Inhaltsmoderation
      • Aus: Wenden Sie keine Inhaltsmoderation an, und geben Sie keine expliziten Inhalte aus.
      • Blockieren: Helfen Sie dabei, die Moderation von Inhalten zu identifizieren und anzuwenden.
      • Informieren: Wenden Sie keine Inhaltsmoderation an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die moderiert werden müssen.
    • Schutz vor Prompt-Injection (PI)
      • Aus: Wenden Sie keinen PI-Schutz an, und lassen Sie uneingeschränkte Eingaben zu.
      • Blockieren: Helfen Sie bei der Identifizierung und dem Schutz vor Prompt Injection.
      • Informieren: Wenden Sie keinen PI-Schutz an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die PI-Schutz erfordern.
    • Schutz personenbezogener Daten
      • Aus: Wenden Sie keinen Schutz für personenbezogene Daten an, sondern geben Sie Inhalte ohne Einschränkungen für die Offenlegung von Daten aus.
      • Blockieren: Helfen Sie dabei, personenbezogene Daten zu identifizieren und zu schützen, wie z.B. Hilfe beim Entfernen personenbezogener Daten aus Antworten.
      • Informieren: Wenden Sie keinen PII-Schutz an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die personenbezogene Daten schützen müssen.
  9. (Optional) Wählen Sie Erweiterte Optionen anzeigen aus, und weisen Sie dem Endpunkt Tags zu.
  10. Wählen Sie Endpunkt erstellen aus.
    Sie werden zur Seite mit den Endpunktdetails weitergeleitet, auf der Sie den Status des Endpunkts verfolgen können.
  11. Nachdem der Endpunkt aktiv ist, wählen Sie Im Playground anzeigen aus, und verwenden Sie das Modell von diesem Endpunkt aus.