Documentazione dell'infrastruttura Oracle Cloud

Espansione GPU

Per abilitare i carichi di lavoro con accelerazione GPU nel data center locale, è possibile espandere un'installazione di Compute Cloud@Customer con nodi server con GPU installate.

I nodi GPU vengono forniti in un rack di espansione contenente PDU (Power Distribution Unit) e componenti di rete per integrare le risorse fisiche aggiuntive con il rack di base. Un rack di espansione GPU contiene almeno 1 e un massimo di 6 nodi GPU installati in fabbrica. È possibile installare più nodi dopo la distribuzione iniziale. È possibile collegare fino a due rack di espansione a un rack base, per un massimo di 12 nodi GPU.

Un nodo GPU è un server 3 RU con architettura Intel Xeon Platinum 8480+, connettività Ethernet ad alta velocità e quattro GPU NVIDIA L40S con memoria GDDR6 da 48 GB e TFLOPS FP8 con picco 1466. Dopo aver eseguito il provisioning completo di questi nodi, il loro utilizzo è semplice: quando avviano una nuova istanza di computazione, gli utenti selezionano una forma di computazione dedicata per allocare una o più GPU all'istanza.

Per informazioni dettagliate sulle specifiche dei componenti, consultare il sito Web del produttore.

Oracle Compute Cloud@Customer con espansione GPU offre una piattaforma scalabile per creare applicazioni a uso intensivo di intelligenza artificiale e grafica all'avanguardia. È progettato per alimentare la nuova generazione di carichi di lavoro dei data center, tra cui:

  • Inferenza AI generativa: inferenza in tempo reale per pipeline AI generativa multimodello (testo, immagine, audio, video)

  • Formazione LLM e perfezionamento: prestazioni accelerate per LLM medi perfezionati e formazione di LLM di piccole dimensioni con il motore trasformatore NVIDIA e il supporto FP8

  • Applicazioni a uso intensivo di grafica e VDI: flussi di lavoro grafici e di rendering 3D con le funzionalità RTX e ray tracing di NVIDIA

  • Gemelli digitali che utilizzano NVIDIA Omniverse: sviluppare e gestire complessi flussi di lavoro di digitalizzazione industriale 3D

  • Streaming multimediale: maggiore densità di codifica/decodifica e supporto AV1 per lo streaming video 4K

  • HPC: analisi dei dati scientifici e carichi di lavoro di simulazione con supporto FP32

Requisiti per l'installazione

Preparazione sede

Se hai deciso di espandere il tuo ambiente Compute Cloud@Customer con i nodi GPU, pianifica attentamente in anticipo l'installazione dell'hardware aggiuntivo. Il rack di espansione GPU ha le stesse dimensioni esterne del rack di base e contiene lo stesso tipo di hardware. Pertanto, i requisiti del sito del rack di base sono validi anche per il rack di espansione. Vengono descritte in dettaglio nella sezione di installazione Preparazione del sito.

Cablaggio rack

I collegamenti dei cavi tra il rack base e il rack di espansione GPU non devono superare i 25 metri. Allocare uno spazio per il rack di espansione vicino al rack di base, in modo che il cablaggio tra rack rientri nella lunghezza massima specificata quando viene instradato attraverso il pavimento o il soffitto. È necessario specificare la lunghezza del cavo richiesta in base all'ordine.

Storage a elevate prestazioni

Le forme di computazione GPU sono ottimizzate per alta velocità e bassa latenza. Vengono utilizzati esclusivamente storage ad alte prestazioni, ovvero ZFS Storage Appliance deve fornire un pool di storage ad alte prestazioni costituito da uno o più vassoi disco prestazioni. Se nell'installazione esistente non è presente alcun vassoio per le prestazioni, ne viene aggiunto uno all'ordine di espansione della GPU. Se il rack di base non dispone di unità rack disponibili per aggiungere il vassoio delle prestazioni, verrà installato in un rack di espansione dello storage. Prima di attivare il rack di espansione GPU, è necessario configurare il pool di memorizzazione ad alte prestazioni.

Processo di installazione

Installazione fisica

Tutte le attività di installazione vengono eseguite da Oracle. Quando il rack di espansione GPU si trova nello spazio allocato, deve essere collegato al rack di base. Gli switch foglia del rack di espansione sono interconnessi agli switch sul dorso del rack di base per estendere la rete dati nel rack di espansione. Allo stesso modo, i componenti del rack di espansione vengono aggiunti alla rete di gestione interna mediante un collegamento via cavo tra gli switch di gestione di entrambi i rack. Le porte necessarie per questa impostazione sono state prenotate su tutti gli switch connessi. I nodi GPU sono collegati internamente agli switch rack di espansione in fabbrica.

Attivazione del rack

Quando le connessioni fisiche sono in posizione, il rack di espansione viene attivato eseguendo uno script da uno dei nodi di gestione. Lo script accende gli switch e abilita le porte necessarie, in modo da consentire il rilevamento e la registrazione dei nuovi componenti hardware. Al termine dello script, le reti di dati e di gestione sono operative nei rack interconnessi. Il sistema procede con l'installazione e la configurazione del sistema operativo e del software aggiuntivo sui nuovi nodi, preparandoli per il provisioning. Una volta eseguito il provisioning dei nodi GPU, sono completamente integrati e pronti per l'uso.

I nodi GPU vengono aggiunti ai domini di errore esistenti insieme ad altri nodi di calcolo, ma le famiglie di server operano separatamente l'uno dall'altro e le migrazioni tra di essi non sono supportate. I domini di errore potrebbero non essere bilanciati perché, a differenza dei nodi di calcolo standard, i nodi GPU possono essere aggiunti uno alla volta.