Obtendo Detalhes de um Cluster de IA Dedicado

Detalhes do Cluster de Hospedagem

Para um cluster de IA dedicado de hospedagem, revise estes campos para entender sua capacidade de computação e ponto final:

Tamanho da unidade

A forma de unidade de IA dedicada selecionada para o modelo hospedado no cluster. A forma da unidade identifica os recursos de computação usados pelo modelo.

Número de unidades

As unidades de IA dedicadas provisionadas para as réplicas de modelo do cluster. A adição de réplicas de modelo aumenta o throughput de inferência do cluster e requer unidades adicionais.

Capacidade restante do ponto final

O número de pontos finais de modelo adicionais que o cluster pode suportar abaixo de seu limite de ponto final atual. Por padrão, um cluster de hospedagem suporta até 50 pontos finais de modelo. Por exemplo, se um cluster tiver um ponto final, a capacidade restante do ponto final será 49. Este valor conta recursos do ponto final do modelo, não réplicas do modelo ou solicitações de inferência.

A criação de pontos finais de modelo adicionais não aumenta o throughput de inferência do cluster. Consulte Capacidade de Ponto Final.