ルーティング・プロファイルの管理

ルーティング・プロファイルは、OCI Generative AIが、ユーザーが選択したOCIリージョン間でオンデマンド・モデル・リクエストをルーティングする方法を定義します。

ルーティング・プロファイルは、サポートされている1つのオンデマンド・モデルと、そのモデルが使用可能な同じレルム内の1つ以上のターゲットOCIリージョンを指定します。サポートされる推論リクエストでルーティング・プロファイルを参照する場合、生成AIはプロファイル内のターゲット・リージョン間でのみリクエストをルーティングします。

ルーティング・プロファイルを使用して、アプリケーション側のクロスリージョン・ルーティングを構築せずに、承認されたリージョン・スコープ全体で選択したモデルにアクセスします。各モデルのリージョンごとの可用性については、リージョン別の生成AIモデルを参照してください。

ルーティング・プロファイルは、ローカル・モデル処理のあるリージョンでも使用できます。たとえば、米国中西部(シカゴ)でオンデマンド・モデルを使用できるが、米国東部(アッシュバーン)では使用できない場合は、アッシュバーンでルーティング・プロファイルを作成し、ターゲット・リージョンとしてシカゴを選択します。Ashburn's Playgroundでプロファイルを選択するか、Ashburn APIエンドポイントへのリクエストでプロファイルを参照します。ルーティング・プロファイルによる推論では、オンデマンド・モードが使用されます。

次のタスクを実行して、ルーティング・プロファイルを作成および管理できます:

• ルーティング・プロファイルの作成
• ルーティング・プロファイルのリスト
• ルーティング・プロファイルの詳細の取得
• ルーティング・プロファイルの更新
• ルーティング・プロファイルの移動
• ルーティング・プロファイルの削除