Espansione GPU
Per abilitare i carichi di lavoro accelerati dalla GPU nel data center locale, è possibile espandere un'installazione di Compute Cloud@Customer con i nodi server su cui sono installate le GPU.
I nodi GPU vengono forniti in un rack di espansione contenente le PDU (Power Distribution Unit) e i componenti di rete per integrare le risorse fisiche aggiuntive con il rack di base. Un rack di espansione GPU contiene almeno 1 e un massimo di 6 nodi GPU installati in fabbrica. È possibile installare più nodi dopo la distribuzione iniziale. È possibile collegare un massimo di due armadietti di espansione a un rack base, per un massimo di 12 nodi GPU.
Un nodo GPU è un server 3 RU con architettura Intel Xeon Platinum 8480+, connettività Ethernet ad alta velocità e quattro GPU NVIDIA L40S con memoria GDDR6 da 48 GB e 1466 TFLOPS FP8 di picco. Una volta completato il provisioning di questi nodi, il loro utilizzo è trasparente: quando si avvia una nuova istanza di computazione, gli utenti selezionano una forma di computazione dedicata per allocare una o più GPU all'istanza. Per una descrizione delle forme disponibili, vedere Forme di computazione.
Per le specifiche dettagliate dei componenti, consultare il sito Web del produttore.
Oracle Compute Cloud@Customer con espansione GPU offre una piattaforma scalabile per creare applicazioni a uso intensivo di intelligenza artificiale e grafica all'avanguardia. È progettato per alimentare la nuova generazione di carichi di lavoro dei data center, tra cui:
-
Inferenza AI generativa: inferenza in tempo reale per pipeline di AI generativa multimodello (testo, immagine, audio, video)
-
Formazione e ottimizzazione dei LLM: prestazioni accelerate per perfezionare LLM medi e addestrare piccoli LLM con il motore di trasformatori NVIDIA e il supporto di FP8
-
Applicazioni ad alta intensità grafica e VDI: grafica 3D e flussi di lavoro di rendering con le funzionalità RTX e ray tracing di NVIDIA
-
Gemelli digitali con NVIDIA Omniverse: sviluppa e gestisce complessi flussi di lavoro di digitalizzazione industriale 3D
-
Streaming multimediale: maggiore densità di codifica/decodifica e supporto AV1 per lo streaming video 4K
-
HPC: carichi di lavoro di analisi e simulazione dei dati scientifici con supporto FP32
Requisiti per l'installazione
- Preparazione sede
-
Se hai deciso di espandere l'ambiente Compute Cloud@Customer con nodi GPU, pianifica attentamente l'installazione dell'hardware aggiuntivo. Il rack di espansione GPU ha le stesse dimensioni esterne del rack di base e contiene lo stesso tipo di hardware. Di conseguenza, anche i requisiti del sito rack di base si applicano per il rack di espansione. Vengono descritte in dettaglio nella sezione Preparazione del sito di installazione.
- Cablaggio rack
-
I collegamenti via cavo tra il rack di base e il rack di espansione della GPU non devono superare i 25 metri. Allocare uno spazio per il rack di espansione vicino al rack di base, assicurando che il cablaggio tra rack si trovi entro la lunghezza massima specificata quando viene instradato attraverso il pavimento o il soffitto. La lunghezza del cavo richiesta deve essere specificata con l'ordine.
- Storage ad alte prestazioni
-
Le forme di computazione GPU sono ottimizzate per alta velocità e bassa latenza. Utilizza esclusivamente storage ad alte prestazioni, il che significa che ZFS Storage Appliance del sistema deve fornire un pool di storage ad alte prestazioni costituito da uno o più vassoi per dischi a prestazioni. Nel caso in cui nell'installazione esistente non sia presente alcun vassoio delle prestazioni, ne viene aggiunto uno all'ordine di espansione della GPU. Se non è disponibile alcuna unità rack per aggiungere il vassoio per le prestazioni, il rack di espansione di storage verrà installato in tale rack. Il pool di storage a elevate prestazioni deve essere configurato prima dell'attivazione del rack di espansione della GPU.
Processo di installazione
- Installazione fisica
-
Tutte le attività di installazione vengono eseguite da Oracle. Quando lo spazio allocato per l'espansione della GPU è tale, è necessario collegarlo al rack di base. Gli switch foglia del rack di espansione sono collegati tra loro agli switch dorsali del rack di base per estendere la rete di dati nel rack di espansione. Allo stesso modo, i componenti del rack di espansione vengono aggiunti alla rete di gestione interna tramite un collegamento via cavo tra gli switch di gestione di entrambi i rack. Le porte necessarie per questa impostazione sono state prenotate su tutti gli switch connessi. I nodi GPU sono collegati internamente agli switch del rack di espansione in fabbrica.
- Attivazione del rack
-
Quando sono in atto le connessioni fisiche, il rack di espansione viene attivato eseguendo uno script da uno dei nodi di gestione. Lo script accende gli switch e abilita le porte necessarie in modo che i nuovi componenti hardware possano essere rilevati e registrati. Al termine dello script, le reti di dati e di gestione sono operative nei rack interconnessi. Il sistema procede con l'installazione e la configurazione del sistema operativo e del software aggiuntivo sui nuovi nodi, preparandoli per il provisioning. Una volta eseguito il provisioning dei nodi GPU, questi sono completamente integrati e pronti all'uso.
I nodi GPU vengono aggiunti ai domini di errore esistenti insieme ad altri nodi di calcolo, ma le famiglie di server operano separatamente l'una dall'altra e le migrazioni tra di essi non sono supportate. I domini di errore potrebbero non essere bilanciati perché, a differenza dei nodi di calcolo standard, i nodi GPU possono essere aggiunti uno alla volta.