エンドポイントの管理
OCI生成AIカスタム・モデルを推論に使用するには、まずそのモデルのエンドポイントを作成する必要があります。プレイグラウンドで使用可能な事前トレーニング済モデルのエンドポイントを作成することもできます。
エンドポイントは、モデルがユーザー・リクエストを受け入れ、モデルの生成されたテキストなどのレスポンスを返信できる専用AIクラスタ上の指定されたポイントです。エンドポイントは、ホスティング専用AIクラスタに作成します。
プライベート・エンドポイントを介してモデルにアクセスするには、まずプライベート・エンドポイントを作成してからこのページに戻り、専用AIクラスタにモデルのエンドポイントを作成する必要があります。
ノート
- カスタム・モデルのアクティブ・エンドポイントを作成すると、モデルはプレイグラウンドのモデル・リストにリストされます。
- 各カスタム・モデルに複数のエンドポイントを含めることができます。
- 各ホスティング専用AIクラスタは、多数のエンドポイントをホストできます。専用AIクラスタの詳細ページで残りのエンドポイントの数を確認します。カスタム・モデルのエンドポイントする必要がなくなった場合は、そのエンドポイントを削除し、関連付けられた専用AIクラスタを使用して新しいエンドポイントをホストできます。
次のタスクを実行して、カスタム・モデルのエンドポイントを作成および管理できます: