Expansão da GPU
Para ativar cargas de trabalho aceleradas por GPU no data center local, uma instalação do Compute Cloud@Customer pode ser expandida com nós de servidor que têm GPUs instaladas.
Os nós GPU são fornecidos em um rack de expansão contendo unidades de distribuição de energia (PDUs) e componentes de rede para integrar os recursos físicos adicionais com o rack base. Um rack de expansão de GPU contém pelo menos 1 e no máximo 6 nós de GPU instalados na fábrica. Mais nós podem ser instalados após a implantação inicial. Até dois racks de expansão podem ser conectados a um rack base, para um máximo de 12 nós de GPU.
Um nó GPU é um servidor de 3 RU com arquitetura Intel Xeon Platinum 8480+, conectividade Ethernet de alta velocidade e quatro GPUs NVIDIA L40S com memória GDDR6 de 48 GB e TFLOPS de FP8 de pico de 1466. Depois que esses nós tiverem sido totalmente provisionados, seu uso será contínuo: ao iniciar uma nova instância de computação, os usuários selecionam uma forma de computação dedicada para alocar uma ou mais GPUs para a instância.
Para especificações detalhadas do componente, consulte o site do fabricante.
A expansão do Oracle Compute Cloud@Customer com GPU fornece uma plataforma escalável para criar aplicativos com IA e gráficos intensivos na borda. Ele foi desenvolvido para alimentar a próxima geração de cargas de trabalho de data center, incluindo:
-
Inferência de IA generativa: inferência em tempo real para pipelines de IA generativa multimodelo (texto, imagem, áudio, vídeo)
-
Treinamento e ajuste de LLM: desempenho acelerado para LLMs médios de ajuste fino e treinamento de LLMs pequenos com o mecanismo de transformador da NVIDIA e suporte FP8
-
Aplicativos gráficos e VDI intensivos: gráficos 3D e fluxos de trabalho de renderização com recursos de RTX e rastreamento de raios da NVIDIA
-
Gêmeos digitais usando o NVIDIA Omniverse: desenvolva e opere fluxos de trabalho complexos de digitalização industrial 3D
-
Streaming de mídia: maior densidade de codificação/decodificação e suporte a AV1 para streaming de vídeo 4K
-
HPC: análise de dados científicos e cargas de trabalho de simulação com suporte FP32
Requisitos de Instalação
- Preparação do site
-
Se você decidiu expandir seu ambiente Compute Cloud@Customer com nós GPU, planeje cuidadosamente a instalação do hardware adicional. O rack de expansão GPU tem as mesmas dimensões externas do rack base e contém o mesmo tipo de hardware. Portanto, os requisitos do local do rack base também se aplicam ao rack de expansão. Eles são descritos em detalhes na seção de instalação Preparando seu site.
- Cablagem da cremalheira
-
As conexões de cabo entre o rack de base e o rack de expansão GPU não devem exceder 25 metros. Aloque um espaço para o rack de expansão perto do rack de base, garantindo que o cabeamento entre rack esteja dentro do comprimento máximo especificado quando roteado pelo piso ou teto. O comprimento do cabo necessário deve ser especificado com a ordem.
- Armazenamento de alto desempenho
-
As formas de computação GPU são otimizadas para alta velocidade e baixa latência. Eles usam exclusivamente armazenamento de alto desempenho, o que significa que o ZFS Storage Appliance do sistema deve fornecer um pool de armazenamento de alto desempenho composto por uma ou mais bandejas de disco de desempenho. Caso nenhuma bandeja de desempenho esteja presente na instalação existente, uma é adicionada à ordem de expansão da GPU. Se o rack base não tiver unidades de rack disponíveis para adicionar a bandeja de desempenho, ele será instalado em um rack de expansão de armazenamento. O pool de armazenamento de alto desempenho deve ser configurado antes que o rack de expansão da GPU seja ativado.
Processo de Instalação
- Instalação Física
-
Todas as tarefas de instalação são executadas pela Oracle. Quando o rack de expansão da GPU estiver em seu espaço alocado, ele deverá ser conectado ao rack base. Os switches folha do rack de expansão são conectados cruzados aos switches coluna do rack de base para estender a rede de dados para o rack de expansão. Da mesma forma, os componentes do rack de expansão são adicionados à rede de gerenciamento interna por meio de uma conexão de cabo entre os switches de gerenciamento de ambos os racks. As portas necessárias para esta configuração foram reservadas em todos os switches conectados. Os nós GPU são conectados internamente aos switches de rack de expansão na fábrica.
- Ativação do rack
-
Quando as conexões físicas estão implantadas, o rack de expansão é ativado por meio da execução de um script de um dos nós de gerenciamento. O script liga os switches e ativa as portas necessárias para que os novos componentes de hardware possam ser detectados e registrados. Quando o script é concluído, os dados e as redes de gerenciamento estão operacionais nos racks interconectados. O sistema continua com a instalação e configuração do sistema operacional e software adicional nos novos nós, preparando-os para provisionamento. Quando os nós de GPU são provisionados, eles são totalmente integrados e prontos para uso.
Os nós de GPU são adicionados aos domínios de falha existentes junto com outros nós de computação, mas as famílias de servidores operam separadamente umas das outras e as migrações entre elas não são suportadas. Os domínios de falha podem se tornar desequilibrados porque, ao contrário dos nós de computação padrão, os nós de GPU podem ser adicionados um a um.