Expansão de GPU
Para ativar cargas de trabalho aceleradas por GPU no data center local, uma instalação do Compute Cloud@Customer pode ser expandida com nós de servidor que tenham GPUs instaladas.
Os nós de GPU são fornecidos em um rack de expansão que contém PDUs (Power Distribution Units) e componentes de rede para integrar os recursos físicos adicionais ao rack base. Um rack de expansão de GPU contém pelo menos 1 e um máximo de 6 nós de GPU instalados de fábrica. É possível instalar mais nós após a implantação inicial. Até dois racks de expansão podem ser conectados a um rack base, para um máximo de 12 nós de GPU.
Um nó de GPU é um servidor de 3 RU com arquitetura Intel Xeon Platinum 8480+, conectividade Ethernet de alta velocidade e quatro GPUs NVIDIA L40S com memória GDDR6 de 48 GB e 1466 TFLOPS de FP8 pico. Depois que esses nós forem totalmente provisionados, seu uso será contínuo: ao iniciar uma nova instância de computação, os usuários selecionam uma forma de computação dedicada para alocar uma ou mais GPUs à instância. Para obter descrições de formas disponíveis, consulte Formas de Computação.
Para especificações detalhadas do componente, consulte o site do fabricante.
O Oracle Compute Cloud@Customer com expansão de GPU fornece uma plataforma escalável para criar aplicações com uso intensivo de IA e gráficos na borda. Ele foi desenvolvido para potencializar a próxima geração de cargas de trabalho de data center, incluindo:
-
Inferência de IA generativa: inferência em tempo real para pipelines de IA generativa multimodelo (texto, imagem, áudio, vídeo)
-
Treinamento e ajuste fino de LLMs: desempenho acelerado para ajuste fino de LLMs médios e treinamento de LLMs pequenos com o motor de transformador da NVIDIA e suporte a FP8
-
Aplicativos gráficos intensivos e VDI: gráficos 3D e fluxos de trabalho de renderização com RTX da NVIDIA e recursos de rastreamento de raios
-
Gêmeos digitais usando o NVIDIA Omniverse: desenvolva e opere fluxos de trabalho complexos de digitalização industrial 3D
-
Streaming de mídia: maior densidade de codificação/decodificação e suporte a AV1 para streaming de vídeo 4K
-
HPC: análise de dados científicos e cargas de trabalho de simulação com suporte a FP32
Requisitos de Instalação
- Preparação do local
-
Se você decidiu expandir seu ambiente do Compute Cloud@Customer com nós de GPU, planeje com atenção a instalação do hardware adicional. O rack de expansão de GPU tem as mesmas dimensões externas do rack base e contém o mesmo tipo de hardware. Portanto, os requisitos do local do rack base também se aplicam ao rack de expansão. Eles são descritos em detalhes na seção de instalação Preparing the Installation Site.
- Cabos de Rack
-
As conexões de cabo entre o rack base e o rack de expansão de GPU não devem exceder 25 metros. Aloque um espaço para o rack de expansão perto do rack base, garantindo que o cabeamento entre racks esteja dentro do comprimento máximo especificado quando roteado pelo chão ou teto. O comprimento do cabo necessário deve ser especificado com o pedido.
- Armazenamento de Alto Desempenho
-
As formas de computação de GPU são otimizadas para alta velocidade e baixa latência. Elas utilizam armazenamento de alto desempenho exclusivamente, o que significa que o ZFS Storage Appliance do sistema deve fornecer um pool de armazenamento de alto desempenho composto por uma ou mais bandejas de disco de desempenho. Caso nenhuma bandeja de desempenho esteja presente na instalação existente, uma será adicionada à ordem de expansão da GPU. Se o rack base não tiver unidades de rack disponíveis para adicionar a bandeja de desempenho, ele será instalado em um rack de expansão de armazenamento. O pool de armazenamento de alto desempenho deve ser configurado para que o rack de expansão de GPU seja ativado.
Processo de Instalação
- Instalação Física
-
Todas as tarefas de instalação são executadas pela Oracle. Quando o rack de expansão de GPU estiver em seu espaço alocado, ele deverá estar conectado ao rack base. Os switches de folha de rack de expansão são conectados entre si aos switches de coluna de rack base para estender a rede de dados para o rack de expansão. Da mesma forma, os componentes do rack de expansão são adicionados à rede de gerenciamento interno por meio de um cabo entre os switches de gerenciamento de ambos os racks. As portas necessárias para esta configuração foram reservadas em todos os switches conectados. Os nós de GPU são conectados internamente aos switches de rack de expansão na fábrica.
- Ativação de rack
-
Quando as conexões físicas estão em vigor, o rack de expansão é ativado executando um script de um dos nós de gerenciamento. O script liga os switches e ativa as portas necessárias para que os novos componentes de hardware possam ser detectados e registrados. Quando o script é concluído, as redes de dados e gerenciamento estão operacionais nos racks interconectados. O sistema prossegue com a instalação e configuração do sistema operacional e software adicional nos novos nós, preparando-os para o provisionamento. Quando os nós de GPU são provisionados, eles são totalmente integrados e prontos para uso.
Os nós de GPU são adicionados aos domínios de falha existentes juntamente com outros nós de computação, mas as famílias de servidores operam separadamente umas das outras e as migrações entre elas não são suportadas. Os domínios de falha podem ficar desbalanceados porque, ao contrário dos nós de computação padrão, os nós de GPU podem ser adicionados um a um.