Oracle Cloud Infrastructure-Dokumentation

Private Endpoints verwalten

Private Endpunkte bieten einen sicheren privaten Zugriff auf OCI Generative AI-Modelle in einem virtuellen Cloud-Netzwerk (VCN). Sie können private Endpunkte für On-Demand-Modelle sowie für vortrainierte und benutzerdefinierte Modelle erstellen, die auf dedizierten KI-Clustern gehostet werden.

Info

Ein privater Endpunkt ist eine private IP-Adresse in einem VCN, die privaten Zugriff auf einen OCI-Service bietet. Bei generativer KI können Sie mit privaten Endpunkten von einem VCN aus auf große Sprachmodelle zugreifen. Der Service erstellt den privaten Endpunkt in einem privaten Subnetz, das Sie auswählen, und behält seine Verfügbarkeit bei. Sie steuern den Zugriff mit Routing, Sicherheitslisten und Netzwerksicherheitsgruppen (NSGs).

Weitere Informationen zu Private Endpunkte und Sicherheitsregeln.

Wenn Sie einen privaten Endpunkt in OCI Generative AI erstellen, erhalten Sie dafür einen vollqualifizierten Domainnamen (FQDN), unabhängig davon, ob Sie Nutzung im On-Demand-Modus zulassen auswählen. Verwenden Sie den privaten Endpunkt, um:

  • Hängen Sie sie an einen Endpunkt in einem dedizierten KI-Cluster an, um über den privaten Endpunkt auf das Cluster (und seine gehosteten Modelle) zuzugreifen.
  • Greifen Sie auf On-Demand-Modelle zu, wenn Sie Nutzung im On-Demand-Modus zulassen aktivieren.

Regionen

Private Endpunkte werden für alle Modelle unterstützt, die auf der Seite Generative KI-Modelle nach Region in den kommerziellen Regionen (OC1), der Regierung (OC4) und den souveränen Regionen (OC19) aufgeführt sind, in denen die Modelle verfügbar sind.

Zugriff

Um über einen privaten Endpunkt auf ein Modell zuzugreifen, führen Sie einen Client aus einem Netzwerk mit privater Konnektivität zum Endpunktsubnetz aus, und rufen Sie das Modell mit dem privaten Endpunkt-FQDN auf.

Zu den allgemeinen Zugriffspfaden gehören:

  • Identisches VCN: aus jedem Subnetz im VCN (vorbehaltlich Routing, Netzwerksicherheitsgruppe (NSG) und Sicherheitslisten).
  • Peering-VCNs: über lokales Peering-Gateway (LPG) oder dynamische Routinggateway-(DRG-basierte) Konnektivität (Hub-and-Spoke).
  • On-Premise/andere private Netzwerke: über Internetprotokollsicherheits-(IPSec-)VPN oder FastConnect für ein DRG.
  • Administration: Verwenden Sie OCI Bastion, um einen privaten Host im VCN zu erreichen, und rufen Sie dann den Endpunkt von dort aus auf.
Hinweis

Stellen Sie sicher, dass der private Endpunkt-FQDN in die private IP aufgelöst wird.

Voraussetzungen

Bevor Sie einen privaten Endpunkt erstellen, müssen Sie die Voraussetzungen für private Endpunkte erfüllen und sicherstellen, dass Sie ein VCN mit einem privaten Subnetz haben.