Oracle Cloud Infrastructure-Dokumentation

Modell zu einem privaten Endpunkt hinzufügen

Erfahren Sie, wie Sie einen Modellendpunkt für ein vortrainiertes, benutzerdefiniertes oder importiertes Modell mit einem privaten Endpunkt in OCI Generative AI verknüpfen.

Sie können einen oder mehrere Modellendpunkte mit einem privaten Endpunkt verknüpfen. Ein privater Endpunkt stellt den privaten Netzwerkpfad bereit, während jeder Modellendpunkt Zugriff auf ein Modell in einem dedizierten KI-Hostcluster bietet. Jeder Modellendpunkt wird auf die restliche Endpunktkapazität des zugehörigen Hostingclusters angerechnet.

  • Endpunkt erstellen

    1. Wählen Sie auf der Listenseite Private Endpunkte den privaten Endpunkt aus, mit dem Sie arbeiten möchten. Wenn Sie Hilfe beim Suchen der Listenseite für private Endpunkte benötigen, finden Sie weitere Informationen unter Private Endpunkte auflisten.
    2. Wählen Sie Endpunkte und dann Endpunkt erstellen aus.

    Endpunktinformationen

    1. Wählen Sie ein Compartment für die Erstellung des Endpunkts aus. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
      Tipp

      Es wird empfohlen, den Endpunkt in demselben Compartment wie das Modell zu erstellen.
    2. (Optional) Geben Sie einen Namen für den Endpunkt ein. Beginnen Sie den Namen mit einem Buchstaben oder Unterstrich, gefolgt von Buchstaben, Zahlen, Bindestrichen und Unterstrichen. Die Länge kann 1 bis 255 Zeichen betragen. Wenn Sie keinen Namen eingegeben haben, generiert das System einen Namen, der Sie später ändern können.
      Der generierte Name hat das Format generativeaiendpoint<timestamp>. Beispiel: generativeaiendpoint20250531235319
    3. (Optional) Geben Sie eine Beschreibung für das Modell an.

    Hostingkonfiguration

    1. Wählen Sie das Compartment aus, das das Modell hostet, dem Sie einen Endpunkt hinzufügen möchten.
    2. Wählen Sie das Modell aus, dem Sie einen Endpunkt hinzufügen möchten. Bei diesem Modell kann es sich um ein benutzerdefiniertes Modell, ein importiertes Modell oder ein einsatzbereites, vortrainiertes Basismodell handeln, das in der Region verfügbar ist, in der Sie arbeiten.
    3. Wenn das ausgewählte Modell mehrere Versionen aufweist, wählen Sie eine Modellversion aus.
      Für die einsatzbereiten, vortrainierten Basismodelle wird dieses Feld bei der Auswahl des Modells ausgefüllt.
    4. Wählen Sie ein dediziertes Hosting-KI-Cluster aus, indem Sie eine der folgenden Aktionen ausführen:
      • Wählen Sie ein dediziertes KI-Cluster aus der Liste aus. Wenn Sie vor einigen Minuten ein Cluster erstellt haben, warten Sie, bis dieses Cluster aktiv wird. Stellen Sie sicher, dass das Cluster für das ausgewählte vortrainierte oder importierte Modell oder für das Basismodell erstellt wurde, mit dem das ausgewählte benutzerdefinierte Modell erstellt wird.
      • Wählen Sie Neues dediziertes KI-Cluster erstellen aus, und führen Sie die folgenden Schritte durch:
        1. (Optional) Geben Sie einen Namen und eine Beschreibung ein.
        2. Wählen Sie unter Basismodell das vortrainierte Modell aus, das Sie hosten, das Basismodell, mit dem das ausgewählte benutzerdefinierte Modell erstellt wird, oder das ausgewählte importierte Modell.
        3. Wenn Sie ein importiertes Modell ausgewählt haben, wählen Sie eine empfohlene Einheitsgröße aus. Siehe Hardwareeinheitsausprägungen für importierte Modelle.
        4. Verwenden Sie mindestens ein Modellreplikat für das Hostingcluster. Die Replikate des Clusters dienen seinen aktiven Modellendpunkten. Fügen Sie Replikate hinzu, um den Inferenzdurchsatz für die Endpunkte zu erhöhen. Das Erstellen zusätzlicher Endpunkte allein erhöht den Durchsatz nicht.
        5. Prüfen Sie die Abrechnungs- und Verpflichtungsinformationen für das dedizierte Hosting-KI-Cluster, und aktivieren Sie bei entsprechender Aufforderung das Kontrollkästchen, um der Verpflichtung zuzustimmen. Hostingcluster für importierte Modelle erfordern nicht die Mindestverpflichtung von 744 Einheiten, die für vortrainierte und benutzerdefinierte OCI Generative AI-Modelle gilt.
        6. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem dedizierten KI-Cluster Tags zu. Siehe Ressourcentags.
        7. Wählen Sie Erstellen aus, und warten Sie, bis das Cluster aktiv wird.
        8. Wählen sie in der Liste Dediziertes KI-Cluster das dedizierte KI-Cluster, das Sie erstellt haben.

    Netzwerkressourcen

    Der private Endpunkt ist im Voraus ausgewählt.

    Leitschienen (für vortrainierte und kundenspezifische Modelle)

    Für importierte Modelle sind keine Leitplanken verfügbar.

    1. Wählen Sie, ob die folgende Leitplanke aktiviert werden soll.
      • Inhaltsmoderation
        • Aus: Wenden Sie keine Inhaltsmoderation an, und geben Sie expliziten Inhalt aus.
        • Blockieren: Helfen Sie dabei, die Inhaltsmoderation zu identifizieren und anzuwenden.
        • Informieren: Wenden Sie keine Inhaltsmoderation an, sondern informieren Sie den Benutzer, wenn das Modell Inhalte erkennt, die moderiert werden müssen.
    2. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem Endpunkt Tags zu. Siehe Ressourcentags.
    3. Wählen Sie Erstellen aus.
      Sie werden zur Seite mit den Endpunktdetails weitergeleitet, auf der Sie den Status des Endpunkts verfolgen können. Der neue Modellendpunkt wird auf die verbleibende Endpunktkapazität des Hostclusters angerechnet.

  • Verwenden Sie den Befehl endpoint create und die erforderlichen Parameter, um einen Endpunkt zu erstellen:

    oci generative-ai endpoint create 
--model-id <model-OCID>
--compartment-id <compartment-OCID> 
--dedicated-ai-cluster-id <hosting-dedicated-AI-cluster-OCID> 
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Grundlagenmodelle in generativer KI.

  • Führen Sie den Vorgang CreateEndpoint aus, um einen Endpunkt zu erstellen.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Grundlagenmodelle in generativer KI.