エンドポイントの管理

OCI生成AIカスタム・モデルを推論に使用するには、まずそのモデルのエンドポイントを作成する必要があります。プレイグラウンドで使用可能な事前トレーニング済モデルのエンドポイントを作成することもできます。

エンドポイントは、モデルがユーザー・リクエストを受け入れ、モデルの生成されたテキストなどのレスポンスを返信できる専用AIクラスタ上の指定されたポイントです。エンドポイントは、ホスティング専用AIクラスタに作成します。

プライベート・エンドポイントを介してモデルにアクセスするには、まずプライベート・エンドポイントを作成してからこのページに戻り、専用AIクラスタにモデルのエンドポイントを作成する必要があります。

ノート

  • カスタム・モデルのアクティブ・エンドポイントを作成すると、モデルはプレイグラウンドのモデル・リストにリストされます。
  • 各カスタム・モデルに複数のエンドポイントを含めることができます。
  • ホスティング専用AIクラスタは、多数のエンドポイントをホストできます。専用AIクラスタの詳細ページで残りのエンドポイントの数を確認します。カスタム・モデルのエンドポイントする必要がなくなった場合は、そのエンドポイントを削除し、関連付けられた専用AIクラスタを使用して新しいエンドポイントをホストできます。

次のタスクを実行して、カスタム・モデルのエンドポイントを作成および管理できます: