Extension de GPU
Pour activer les charges globales accélérées par GPU dans le centre de données local, une installation Compute Cloud@Customer peut être étendue avec des noeuds de serveur sur lesquels des GPU sont installés.
Les noeuds GPU sont fournis dans un rack d'extension contenant des unités de distribution de courant (PDU) et des composants réseau pour intégrer les ressources physiques supplémentaires au rack de base. Un rack d'extension GPU contient au moins 1 et au maximum 6 noeuds GPU installés en usine. D'autres noeuds peuvent être installés après le déploiement initial. Jusqu'à deux racks d'extension peuvent être connectés à un rack de base, pour un maximum de 12 noeuds GPU.
Un noeud de GPU est un serveur 3 RU avec architecture Intel Xeon Platinum 8480+, connectivité Ethernet haut débit et quatre GPU NVIDIA L40S avec 48 Go de mémoire GDDR6 et 1466 TFLOPS de pointe FP8. Une fois ces noeuds entièrement provisionnés, leur utilisation est transparente : lors du lancement d'une nouvelle instance de calcul, les utilisateurs sélectionnent une forme de calcul dédiée pour allouer des GPU à l'instance.
Pour obtenir des spécifications détaillées sur les composants, reportez-vous au site Web du fabricant.
Oracle Compute Cloud@Customer avec l'extension GPU fournit une plate-forme évolutive pour créer en périphérie des applications exigeantes en IA et en graphismes. Il est conçu pour alimenter la prochaine génération de charges de travail de datacenter, notamment :
-
Inférence d'IA générative : inférence en temps réel pour les pipelines d'IA générative multimodèle (texte, image, audio, vidéo)
-
Formation et affinage des LLM : performances accélérées pour affiner les LLM moyens et former les petits LLM avec le moteur de transformateur de NVIDIA et la prise en charge de FP8
-
Applications à forte intensité graphique et VDI : 3D graphiques et flux de travail de rendu avec les capacités RTX et ray tracing de NVIDIA
-
Jumeaux numériques utilisant NVIDIA Omniverse : développer et exploiter des workflows complexes de numérisation industrielle 3D
-
Streaming multimédia : augmentation de la densité d'encodage/décodage et prise en charge de AV1 pour le streaming vidéo 4K
-
HPC : analyse scientifique des données et simulation des charges de travail avec le support FP32
Exigences relatives à l'installation
- Préparation du site
-
Si vous avez décidé d'étendre votre environnement Compute Cloud@Customer avec des noeuds GPU, prévoyez soigneusement l'installation du matériel supplémentaire. Le rack d'extension GPU a les mêmes dimensions externes que le rack de base et contient le même type de matériel. Par conséquent, les conditions requises pour le site du rack de base s'appliquent également au rack d'extension. Elles sont décrites en détail dans la section d'installation Préparation de votre site.
- Câblage de rack
-
Les connexions de câbles entre le rack de base et le rack d'extension GPU ne doivent pas dépasser 25 mètres. Allouez un espace pour le rack d'extension à proximité du rack de base, en vous assurant que le câblage entre racks est compris dans la longueur maximale spécifiée lorsqu'il est acheminé par le sol ou le plafond. La longueur de câble requise doit être spécifiée avec la commande.
- Stockage hautes performances
-
Les formes de calcul de GPU sont optimisées pour une grande vitesse et une faible latence. Ils utilisent exclusivement un stockage hautes performances, ce qui signifie que ZFS Storage Appliance du système doit fournir un pool de stockage hautes performances composé d'un ou de plusieurs tiroirs de disques performants. Si aucun plateau de performances n'est présent dans l'installation existante, un plateau est ajouté à l'ordre d'extension du GPU. Si le rack de base ne dispose d'aucune unité de rack pour ajouter le plateau de performances, il sera installé dans un rack d'extension de stockage. Le pool de stockage hautes performances doit être configuré avant l'activation du rack d'extension GPU.
Processus d'installation
- Installation physique
-
Toutes les tâches d'installation sont effectuées par Oracle. Lorsque le rack d'extension GPU se trouve dans l'espace alloué, il doit être connecté au rack de base. Les commutateurs Leaf du rack d'extension sont interconnectés aux commutateurs Spine du rack de base pour étendre le réseau de données dans le rack d'extension. De même, les composants du rack d'extension sont ajoutés au réseau de gestion interne par le biais d'une connexion de câble entre les commutateurs de gestion des deux racks. Les ports requis pour cette configuration ont été réservés sur tous les commutateurs connectés. Les noeuds GPU sont connectés en interne aux commutateurs du rack d'extension en usine.
- Activation du rack
-
Lorsque les connexions physiques sont en place, le rack d'extension est activé en exécutant un script à partir de l'un des noeuds de gestion. Le script met sous tension les commutateurs et active les ports requis afin que les nouveaux composants matériels puissent être détectés et enregistrés. Une fois le script terminé, les réseaux de données et de gestion sont opérationnels dans les racks interconnectés. Le système procède à l'installation et à la configuration du système d'exploitation et des logiciels supplémentaires sur les nouveaux noeuds, en les préparant pour le provisionnement. Lorsque les noeuds GPU ont été provisionnés, ils sont entièrement intégrés et prêts à l'emploi.
Les noeuds GPU sont ajoutés aux domaines de pannes existants avec d'autres noeuds de calcul, mais les familles de serveurs fonctionnent séparément et les migrations entre eux ne sont pas prises en charge. Les domaines de pannes peuvent devenir déséquilibrés car, contrairement aux noeuds de calcul standard, les noeuds GPU peuvent être ajoutés un par un.