Routingprofile verwalten
Routingprofile definieren, wie OCI Generative AI On-Demand-Modellanforderungen über vom Benutzer ausgewählte OCI-Regionen hinweg leitet.
Ein Routingprofil gibt ein unterstütztes On-Demand-Modell und mindestens eine OCI-Zielregion innerhalb derselben Realm an, in der dieses Modell verfügbar ist. Wenn Sie das Routingprofil in einer unterstützten Inferenzanforderung referenzieren, leitet generative KI die Anforderung nur zwischen den Zielregionen im Profil weiter.
Verwenden Sie Routingprofile, um über einen genehmigten regionalen Geltungsbereich auf ein ausgewähltes Modell zuzugreifen, ohne anwendungsseitiges regionsübergreifendes Routing zu erstellen. Die regionale Verfügbarkeit jedes Modells finden Sie unter Generative KI-Modelle nach Region.
Verwenden Sie ein Routingprofil, um auf ein On-Demand-Modell zuzugreifen, das in einer anderen Region gehostet wird. Die Chat-API, die OCI Chat Completions-API und die OCI Responses-API werden unterstützt, wenn das ausgewählte Modell die API unterstützt. Regionen ohne lokale Modellverarbeitung, einschließlich UAE Central (Abu Dhabi), die auch dedizierte Modelle hostet, finden Sie unter Regionen ohne lokale Modellverarbeitung.
Routingprofile sind auch in Regionen mit lokaler Modellverarbeitung verfügbar. Beispiel: Wenn ein On-Demand-Modell in US Midwest (Chicago), aber nicht US East (Ashburn) verfügbar ist, erstellen Sie ein Routingprofil in Ashburn, und wählen Sie Chicago als Zielregion aus. Wählen Sie das Profil im Ashburn-Playground aus, oder referenzieren Sie es in einer Anforderung an den Ashburn-API-Endpunkt. Inferenz über Routingprofile verwendet On-Demand-Modus.
Sie können die folgenden Aufgaben ausführen, um Routingprofile zu erstellen und verwalten: