Oracle Cloud Infrastructure-Dokumentation

Privaten Endpunkt erstellen

Erstellen Sie einen privaten Endpunkt für ein benutzerdefiniertes oder vortrainiertes Modell in einem dedizierten KI-Hostcluster in OCI Generative AI.

Hinweis

Bevor Sie einen privaten Endpunkt erstellen, führen Sie die Voraussetzungen für private Endpunkte aus, und weisen Sie folgende Details auf:

  • Der Name des virtuellen Cloud-Netzwerks (VCN)
  • Der Name des privaten Subnetzes im VCN
  • (Optional, für Zero Trust Packet Routing (ZPR): Der Sicherheitsattribut-Namespace/Schlüssel/Wert, den Sie dem Endpunkt zuweisen möchten, und eine ZPR-Policy, die Traffic zum Endpunkt zulässt.

Achtung

Wenn Sie dem privaten Endpunkt ein ZPR-Sicherheitsattribut zuweisen, ist für den Zugriff auf den Endpunkt eine explizite ZPR-Policy-Zulassungsregel erforderlich. Andernfalls kann Traffic blockiert werden, auch wenn es Ihre Routingregeln, NSGs und Sicherheitslisten zulassen.

Standardmäßig hat ein Mandant ein maximales Limit von 5 privaten Endpunkten. Für mehr private Endpunkte mit generativer KI fordern Sie eine Erhöhung des Limits an, private-endpoint-count für den Service für generative KI.

  • Wählen Sie auf der Listenseite Private Endpunkte die Option Privaten Endpunkt erstellen aus. Wenn Sie Hilfe beim Suchen der Listenseite benötigen, lesen Sie Private Endpunkte auflisten.

    Allgemeine Informationen

    1. Wählen Sie ein Compartment, in dem der private Endpunkt erstellt werden soll. Das Standard-Compartment ist mit der Listenseite identisch. Sie können jedoch jedes Compartment auswählen, für das Sie die Berechtigung zur Arbeit haben.
      Es wird empfohlen, den privaten Endpunkt in demselben Compartment wie das Modell zu erstellen, das diesen Endpunkt verwendet.
    2. (Optional) Geben Sie einen Namen für den Endpunkt ein. Beginnen Sie den Namen mit einem Buchstaben oder Unterstrich, gefolgt von Buchstaben, Zahlen, Bindestrichen und Unterstrichen. Die Länge kann 1 bis 255 Zeichen betragen. Wenn Sie keinen Namen eingegeben haben, generiert das System einen Namen, der Sie später ändern können.
      Der generierte Name hat das Format generativeaiprivateendpoint<timestamp>. Beispiel: generativeaiprivateendpoint20250929212918
    3. (Optional) Geben Sie eine Beschreibung für den privaten Endpunkt an.

    VCN und Subnetz

    Wählen Sie die folgenden Informationen aus:

    • VCN-Compartment
    • VCN
    • Compartment des privaten Subnetzes
    • Privates Subnetz

    DNS- und Netzwerksicherheitsgruppen

    1. Geben Sie ein Domain-Namespace-(DNS-)Präfix für den FQDN ein.
      In einer Vorschau wird der FQDN mit diesem DNS-Präfix angezeigt. Ein vollqualifizierter Domainname ist ein vollständiger eindeutiger Name für eine Netzwerkressource, die in eine bestimmte IP-Adresse aufgelöst wird. Beispiel: 
      <DNS-prefix>.pe.inference.generativeai.us-chicago-1.oci.oraclecloud.com
    2. (Optional) Wählen Sie aus, ob eine oder mehrere Netzwerksicherheitsgruppen hinzugefügt werden sollen, indem Sie Netzwerksicherheitsgruppe hinzufügen für jede hinzuzufügende Gruppe auswählen.
      Weitere Informationen zu Sicherheitsregeln.
    3. (Optional) Wählen Sie eine Netzwerksicherheitsgruppe aus der Liste aus.
    4. (Optional) Fügen Sie weitere Netzwerksicherheitsgruppen hinzu.
    5. Blenden Sie im Erstellungsablauf Sicherheitsattribute anzeigen ein, und blenden Sie dann die Option Tags ein, die für die Sicherheitsattribute angezeigt wird.
    6. Wählen Sie Sicherheitsattribut hinzufügen aus.
    7. Geben Sie folgende Informationen ein:
      • Sicherheitsattribut-Namespace
      • Sicherheitsattributschlüssel
      • Sicherheitsattributwert
    8. Wählen Sie Sicherheitsattribut hinzufügen aus, um weitere Attribute hinzuzufügen (bis zu 3 insgesamt).

      Wenn Sie über Berechtigungen zum Erstellen von Ressourcen verfügen, sind Sie möglicherweise auch berechtigt, dieser Ressource Sicherheitsattribute hinzuzufügen. Um ein Sicherheitsattribut hinzuzufügen, benötigen Sie Berechtigungen zur Verwendung des Sicherheitsattribut-Namespace. Weitere Informationen zu Sicherheitsattributen und Sicherheitsattribut-Namespaces finden Sie unter Zero Trust Packet Routing. Wenn Sie nicht sicher sind, ob Sie Sicherheitsattribute hinzufügen möchten, überspringen Sie diese Option, oder fragen Sie einen Administrator. Sie können später Sicherheitsattribute hinzufügen.

      Hinweis

      Um einen unbeabsichtigten Sperrzugriff zu vermeiden, stellen Sie sicher, dass die ZPR-Policys so definiert sind, dass der beabsichtigte Trafficfluss zum Endpunkt zugelassen wird, bevor Sie den Endpunkt in der Produktion verwenden. Siehe Voraussetzungen.

    9. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem privaten Endpunkt Tags zu. Siehe Ressourcentags.
    10. Wählen Sie Erstellen aus.

    Diesen Endpunkt für On-Demand-Modelle verwenden

    Standardmäßig ist dieser private Endpunkt für Modelle verfügbar, die auf dedizierten KI-Clustern gehostet werden. Wenn dieser Endpunkt auch für On-Demand-Modelle verfügbar sein soll, die im Service für generative KI angeboten werden, führen Sie den folgenden Schritt aus:
    1. Wählen Sie Nutzung im On-Demand-Modus zulassen.
    2. Informationen zum Erreichen des On-Demand-Modells finden Sie im Tipp am Ende dieses Abschnitts.
    Wichtig

    Informationen zum Zugriff auf ein generatives KI-Modell über diesen privaten Endpunkt finden Sie unter Modell zu einem privaten Endpunkt hinzufügen.

    Endpunkt erstellen

    1. (Optional) Wählen Sie Tag hinzufügen aus, und weisen Sie diesem privaten Endpunkt Tags zu. Siehe Ressourcentags.
    2. Wählen Sie Erstellen aus.
    Tipp

    Um mit diesem privaten Endpunkt ein On-Demand-Modell zu erreichen, erstellen Sie eine Compute-Instanz im privaten Subnetz, das für den privaten Endpunkt zugewiesen ist, fügen Sie den Code zur Compute-Instanz hinzu, verwenden den FQDN für den privaten Endpunkt, und greifen Sie von dieser Compute-Instanz aus auf das Modell zu.

  • Verwenden Sie den Befehl generative-ai-private-endpoint create und die erforderlichen Parameter, um einen privaten Endpunkt zu erstellen:

    oci generative-ai generative-ai-private-endpoint create [OPTIONS] 
[OPTIONS]

    Eine vollständige Liste der Parameter und Werte für CLI-Befehle finden Sie in der CLI-Befehlsreferenz.

    Hinweis

    Bei vortrainierten Modellen können Sie anstelle einer OCID den Modellnamen genau wie auf dem Playground der Konsole verwenden. Sie finden diesen OCI-Modellnamen auch auf der Detailseite des Modells unter Offerte vortrainierte Grundlagenmodelle in generativer KI.

  • Führen Sie den Vorgang CreateGenerativeAiPrivateEndpoint aus, um einen privaten Endpunkt zu erstellen.