Modellanforderungen über OCI-Regionen hinweg weiterleiten
Erstellen Sie ein Routingprofil für ein On-Demand-Modell, und verwenden Sie dann die Routingprofil-OCID in Chatabschlüssen und -antwortenanforderungen aus Python-Anwendungen.
Überblick
Ein Routingprofil gibt ein unterstütztes On-Demand-Modell und mindestens eine OCI-Zielregion in derselben Realm an, in der dieses Modell verfügbar ist. Anwendungen senden Anforderungen an einen regionalen OCI Generative AI-API-Endpunkt und übergeben die Routingprofil-OCID als Wert model. Generative KI bedient jede Anforderung aus einer berechtigten Region im Profil.
Verwenden Sie ein Profil, wenn Anwendungen dasselbe Modell und eine genehmigte Gruppe von Serving-Regionen benötigen. Sie können die Konfiguration des Profils in OCI aktualisieren, anstatt eine Regionsliste in jeder Anwendung zu verwalten. Ein Profil mit mehreren Zielregionen bedeutet kein Round-Robin-Routing oder keine feste Regionspriorität.
In diesem Tutorial rufen zwei Python-Anwendungen den Chicago API-Endpunkt auf. Eine verwendet Chat-Abschlüsse und die andere verwendet Antworten. Beide verwenden ein Routingprofil für openai.gpt-oss-120b, das das Servieren aus Chicago, Frankfurt oder Osaka ermöglicht.
Sie erstellen ein Profil, installieren das Python-SDK OpenAI, führen beide Beispiele aus, und prüfen den Antwortheader x-genai-selected-region, um zu sehen, welche Region für jede Anforderung bereitgestellt wurde.
Sie können ein Profil mit beiden APIs nur verwenden, wenn das ausgewählte Modell sowohl die OCI Chat Completions API als auch die OCI Responses API unterstützt. Beide APIs sind über Routingprofile in Regionen ohne lokale Modellverarbeitung verfügbar. Verwenden Sie beim Aufruf aus einer dieser Regionen den API-Endpunkt dieser Region, und wählen Sie Zielregionen aus, in denen das Modell verfügbar ist.
Bevor Sie beginnen
Um dieses Tutorial abzuschließen, benötigen Sie:
- Zugriff auf OCI Generative AI, Berechtigung zum Erstellen eines Routingprofils im ausgewählten Compartment und Berechtigung zum Verwenden für Inferenz. Siehe Berechtigungen auf API-Ebene für Routingprofile.
- Ein unterstütztes On-Demand-Modell, das für Ihren Mandanten in den Zielregionen verfügbar ist. Um beide Beispiele mit einem Profil auszuführen, wählen Sie ein Modell aus, das beide APIs unterstützt. Siehe Generative KI-Modelle nach Region.
- Ein OCI Generative AI-API-Schlüssel, der für Anforderungen über den Chicago-Endpunkt autorisiert ist. Setzen Sie den Schlüssel nicht in den Quellcode, oder schreiben Sie ihn nicht in ein Repository fest.
- Python 3.11 oder höher und
uvauf macOS, Linux oder Windows-Subsystem für Linux installiert. Die Befehle in diesem Tutorial verwenden eine Bash-kompatible Shell.
In den Beispielen wird das Python-SDK OpenAI mit dem OpenAI-kompatiblen OCI-Endpunkt verwendet. Sie erfordern weder das OCI-Python-SDK noch die OCI-CLI.
1. Weiterleitungsprofil erstellen
In diesem Beispiel wird ein Profil in US Midwest (Chicago) erstellt. Die Zielregionen können sich von der API-Endpunktregion unterscheiden. Sie müssen jedoch für das ausgewählte Modell und in derselben Realm verfügbar sein. Wenn ein Modell oder eine Region in diesem Beispiel für Ihren Mandanten nicht verfügbar ist, wählen Sie eine verfügbare Option aus.
2. Python-Umgebung vorbereiten
3. Beispiel für Chatabschlüsse ausführen
4. Beispiel für Antworten ausführen
Verwenden Sie dieses Beispiel nur, wenn das im Routingprofil ausgewählte Modell die Responses-API unterstützt. Es verwendet dieselbe Profil-OCID und denselben regionalen Endpunkt wie das Beispiel für Chatabschlüsse.
Ergebnis prüfen und Fehler beheben
Geben Sie in jedem Skript einen Prompt wie Explain model routing in two sentences. ein. Die Antwort des Assistenten muss an das Terminal übertragen werden. Wenn OCI x-genai-selected-region zurückgibt, zeigt das Skript die Region an, die der Anforderung entsprochen hat. Sie kann sich von Chicago, der Region des API-Endpunkts, unterscheiden, muss jedoch eine der Zielregionen im Profil sein.
In beiden Beispielen werden leere Prompts übersprungen. Geben Sie exit oder quit ein, drücken Sie Ctrl+C, oder senden Sie das Ende der Eingabe an der Eingabeaufforderung, um zu stoppen. Die Historie wird nur beibehalten, wenn das Skript ausgeführt wird.
| Symptom | Was zu überprüfen ist |
|---|---|
| Fehler bei Authentifizierung oder Autorisierung | Prüfen Sie den OCI Generative AI-API-Schlüssel, seine Region und den Zugriff, die Leseberechtigung für das Routingprofil und die Berechtigung für den Inferenzvorgang. |
| Profil nicht gefunden oder ungültiger Modellwert | Verwenden Sie die vollständige Profil-OCID in OCI_ROUTING_PROFILE_OCID. Stellen Sie sicher, dass das Profil aktiv ist und dass OCI_REGION auf die Endpunktregion verweist, die Sie aufrufen möchten. |
| Nicht unterstützter API- oder Anforderungsparameter | Bestätigen Sie, dass das ausgewählte Modell des Profils die vom Skript verwendete API unterstützt. Für dieses Tutorial ist kein modellspezifischer Parameter reasoning erforderlich. |
| Anforderung kann nicht bedient werden | Prüfen Sie, ob das ausgewählte Modell in den Zielregionen des Profils verfügbar ist, und prüfen Sie den zurückgegebenen Fehler. |
Serving-Region ist not reported |
Das Skript hat x-genai-selected-region nicht in den Antwortheadern gefunden. Prüfen Sie das Antwort- und Serviceverhalten. Ziehen Sie die Serving-Region nicht allein aus dem API-Endpunkt inferenziert. |
Die Beispiele zeigen profilbasierte Anforderungen und Streamingtext. Sie definieren oder prüfen keine Routingpriorität, keinen Load Balancing-Algorithmus oder keine Failover-Policy.