ルーティング・プロファイルの管理

ルーティング・プロファイルは、OCI Generative AIが、ユーザーが選択したOCIリージョン間でオンデマンド・モデル・リクエストをルーティングする方法を定義します。

ルーティング・プロファイルは、サポートされている1つのオンデマンド・モデルと、そのモデルが使用可能な同じレルム内の1つ以上のターゲットOCIリージョンを指定します。サポートされる推論リクエストでルーティング・プロファイルを参照する場合、生成AIはプロファイル内のターゲット・リージョン間でのみリクエストをルーティングします。

ルーティング・プロファイルを使用して、アプリケーション側のクロスリージョン・ルーティングを構築せずに、承認されたリージョン・スコープ全体で選択したモデルにアクセスします。各モデルのリージョンごとの可用性については、リージョン別の生成AIモデルを参照してください。

ルーティング・プロファイルでは、現在のリージョンでホストされていないモデルにもアクセスできます。プロファイルの作成時にモデルとその使用可能なターゲット・リージョンを選択し、リージョンのプレイグラウンドでプロファイルを選択するか、サポートされている推論APIリクエストで参照します。ルーティング・プロファイルによる推論では、オンデマンド・モードが使用されます。

次のタスクを実行して、ルーティング・プロファイルを作成および管理できます:

• ルーティング・プロファイルの作成
• ルーティング・プロファイルのリスト
• ルーティング・プロファイルの詳細の取得
• ルーティング・プロファイルの更新
• ルーティング・プロファイルの移動
• ルーティング・プロファイルの削除