Recupero dei dettagli del cluster AI dedicata

Dettagli cluster di hosting

Per un cluster AI dedicato all'hosting, esamina questi campi per comprenderne la capacità di computazione e gli endpoint:

Dimensione unità

Forma dell'unità AI dedicata selezionata per il modello ospitato nel cluster. La forma dell'unità identifica le risorse di computazione utilizzate dal modello.

Numero di unità

Unità AI dedicate di cui è stato eseguito il provisioning per le repliche del modello del cluster. L'aggiunta di repliche del modello aumenta il throughput di inferenza del cluster e richiede unità aggiuntive.

Capacità rimanente dell'endpoint

Numero di endpoint modello aggiuntivi che il cluster può supportare nel limite endpoint corrente. Per impostazione predefinita, un cluster di hosting supporta fino a 50 endpoint modello. Ad esempio, se un cluster dispone di un endpoint, la capacità endpoint rimanente è 49. Questo valore conta le risorse dell'endpoint del modello, non le repliche del modello o le richieste di inferenza.

La creazione di endpoint modello aggiuntivi non aumenta il throughput di inferenza del cluster. Vedere Capacità endpoint.