専用AIクラスタの詳細な取得

ホスト・クラスタの詳細

ホスティング専用AIクラスタの場合は、次のフィールドを確認して、コンピュートおよびエンドポイントの容量を理解してください:

ユニット・サイズ

クラスタでホストされるモデルに対して選択された専用AIユニット・シェイプ。ユニット・シェイプは、モデルで使用されるコンピュート・リソースを識別します。

ユニット数

クラスタのモデル・レプリカ用にプロビジョニングされた専用AIユニット。モデル・レプリカを追加すると、クラスタの推論スループットが向上し、ユニットが追加で必要になります。

残りのエンドポイント容量

現在のエンドポイント制限の下でクラスタがサポートできる追加のモデル・エンドポイントの数。デフォルトでは、ホスティング・クラスタは最大50個のモデル・エンドポイントをサポートします。たとえば、クラスタにエンドポイントが1つある場合、残りのエンドポイント容量は49です。この値は、モデル・レプリカや推論リクエストではなく、モデル・エンドポイント・リソースをカウントします。

追加のモデル・エンドポイントを作成しても、クラスタの推論スループットは増加しません。Endpoint Capacityを参照してください。