Revisione e convalida della configurazione

Revisione e prestazioni di configurazione, GPU e rete.

Revisione della configurazione

Eseguire il login al bastion ed esaminare la configurazione.

Connettersi al bastion con ssh come utente opc (impostazione predefinita per le istanze Oracle Linux) utilizzando l'indirizzo IP e la chiave privata.
```
akua$ ssh -i ~/.ssh/cluster.key opc@139.87.214.247
[opc@epsilon-bastion ~]$
```

Il comando df mostra i file system attivati e le capacità:

[opc@epsilon-bastion ~]$ df -h | grep -v tmp
Filesystem                     Size  Used Avail Use% Mounted on
/dev/sda3                       92G   14G   79G  15% /                <- boot (home) volume
/dev/sda1                      200M  7.4M  193M   4% /boot/efi
/dev/sdb                        20T   58M   20T   1% /export/cluster  <- Additional volume
172.16.0.75:/export/cluster     20T   57M   20T   1% /nfs/cluster
172.16.6.4:/mnt/localdisk/nfs   13T   39G   13T   1% /nfs/scratch     <- worker node NVMe

Modificare la configurazione Slurm.

Per impostazione predefinita, Slurm rimuove automaticamente i contenitori alla fine di un job. Poiché è probabile che si desideri utilizzare di nuovo il contenitore, è molto più efficiente rendere i contenitori persistenti tra i job con l'argomento container_scope. Ciò accelererà notevolmente i riavvii successivi utilizzando lo stesso contenitore.

Nel file /etc/slurm/plugstack.conf aggiungere container_scope=global in modo che abbia l'aspetto seguente:
```
[opc@epsilon-bastion ~]$ cat /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global
```

Arrestare e riavviare Slurm su ciascuno dei nodi GPU e sul bastion.

Nell'output di sinfo viene visualizzato un elenco di nomi host dei nodi GPU. Utilizzare questo comando con il comando pdsh per eseguire systemctl su tutti i nodi: export PS1="$ ".

[opc@epsilon-bastion ~]$ export PS1="\n$ "

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
gpu*         up   infinite      2   idle gpu-permanent-node-[517,878]

$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl stop slurmd
$ sudo systemctl restart slurmctld slurmdbd
$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl start slurmd

$ /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global[opc@epsilon-bastion ~]$ export PS1="\n$ "

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
gpu*         up   infinite      2   idle gpu-permanent-node-[517,878]

$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl stop slurmd
$ sudo systemctl restart slurmctld slurmdbd
$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl start slurmd

$ /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global

Applicare gli aggiornamenti del sistema operativo.

Valutare la possibilità di aggiornare il sistema operativo ai package più recenti. Utilizzare pdsh come nel passo precedente per aggiornare in modo efficiente tutti i nodi:
```
# Oracle Linux 7:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo yum upgrade

# Oracle Linux 8:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo dnf upgrade
```

Modifica la configurazione Slurm

Per impostazione predefinita, Slurm rimuove automaticamente i contenitori alla fine di un job. Poiché è probabile che si desideri utilizzare di nuovo il contenitore, è molto più efficiente rendere i contenitori persistenti tra i job con l'argomento container_scope. Ciò accelererà notevolmente i riavvii successivi utilizzando lo stesso contenitore.

Nel file /etc/slurm/plugstack.conf aggiungere container_scope=global in modo che abbia l'aspetto seguente:

[opc@epsilon-bastion ~]$ cat /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global

Arrestare e riavviare Slurm su ciascuno dei nodi GPU e sul bastion.

Nell'output di sinfo viene visualizzato un elenco di nomi host dei nodi GPU. Utilizzare questo comando con il comando pdsh per eseguire systemctl su tutti i nodi: export PS1="$ "

[opc@epsilon-bastion ~]$ export PS1="\n$ "

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
gpu*         up   infinite      2   idle gpu-permanent-node-[517,878]

$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl stop slurmd
$ sudo systemctl restart slurmctld slurmdbd
$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl start slurmd

$ /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global

Applica gli aggiornamenti del sistema operativo

Valutare la possibilità di aggiornare il sistema operativo ai package più recenti.

Utilizzare pdsh come nel passo precedente per aggiornare in modo efficiente tutti i nodi:

# Oracle Linux 7:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo yum upgrade

# Oracle Linux 8:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo dnf upgrade

Pull o carica container

Il plugin NVIDIA Pyxis per Slurm con la utility container Enroot fornisce un ambiente di esecuzione dei container cluster integrato con il gestore dei carichi di lavoro Slurm. Questi componenti sono stati installati quando sono state selezionate le caselle Pyxis e Enroot durante la configurazione del software.

Per informazioni dettagliate sulle opzioni srun --container fornite da Pyxis, vedere https://github.com/NVIDIA/pyxis/ o srun --help.

Verificare che l'ambiente di esecuzione del contenitore funzioni come previsto nel cluster.
Questo esempio estrae il contenitore TensorFlow dal repository nvcr.io di Nvidia ed esegue un semplice comando. Ciò verificherà che l'ambiente di esecuzione del contenitore funzioni come previsto nel cluster. La prima volta che viene eseguito, un container di grandi dimensioni viene scaricato da una posizione remota e potrebbero essere necessari 25 minuti o più per caricare e avviare l'esecuzione.
```
$ srun -N 2 --ntasks-per-node 1 \
  --container-image=nvcr.io#nvidia/tensorflow:22.11-tf2-py3 \
  --container-name=tensorflow bash -c "hostname; grep PRETTY /etc/os-release"
pyxis: imported docker image: nvcr.io#nvidia/pytorch:21.09-py3
pyxis: imported docker image: nvcr.io#nvidia/pytorch:21.09-py3
gpu-permanent-node-517
PRETTY_NAME="Ubuntu 20.04.3 LTS"
gpu-permanent-node-878
```
I job successivi che utilizzano il contenitore denominato non richiedono un download e inizieranno immediatamente l'esecuzione.
```
$ time srun -N 2 --ntasks-per-node 1 --container-name=tensorflow bash -c "hostname"
gpu-permanent-node-878
gpu-permanent-node-517

real	0m0.394s
user	0m0.006s
sys	0m0.009s
```

È possibile scegliere di caricare container aggiuntivi prima dei job che li utilizzeranno.

Qui è possibile caricare il contenitore NVIDIA NeMo Framework in preparazione per un job LLM. Le informazioni sull'autenticazione NVIDIA in ~/.config/enroot/.credentials potrebbero essere necessarie per accedere ai container GA o EA.

$ cat .config/enroot/.credentials
machine nvcr.io login $oauthtoken password vbmVtc2<snip>zU6YTFjNm
$ time srun -N 2 --ntasks-per-node 1 \
  --container-image="nvcr.io/ea-bignlp/ga-participants/nemofw-training:23.08.03" \
  --container-name=nemo bash -c "hostname"
pyxis: imported docker image: nvcr.io/ea-bignlp/ga-participants/nemofw-training:23.08.03
pyxis: imported docker image: nvcr.io/ea-bignlp/ga-participants/nemofw-training:23.08.03
gpu-permanent-node-878
gpu-permanent-node-517

real	46m27.272s

Questo contenitore più grande ha richiesto quasi 47 minuti per l'importazione.

Convalida prestazioni GPU e rete

NVIDIA NCCL è una libreria standalone di routine di comunicazione standard per GPU. Nccl-tests segnala il tempo medio di funzionamento NCCL in ms, la larghezza di banda dell'algoritmo e la larghezza di banda del bus in GB/s. Questi test misurano le prestazioni delle GPU e della rete e convalidano anche la correttezza delle operazioni.

Per maggiori dettagli, vedere https://github.com/NVIDIA/nccl-tests/blob/master/doc/PERFORMANCE.md.

Ottenere NVIDIA nccl-tests da GitHub e generare gli eseguibili sul bastion eseguendo il comando seguente:

$ srun --container-name=tensorflow --container-mounts "/home/opc:/home/opc" \
  bash -c "cd /home/opc; git clone https://github.com/NVIDIA/nccl-tests.git; cd nccl-tests; make MPI=1 MPI_HOME=/usr/local/mpi CUDA_HOME=/usr/local/cuda NCCL_HOME=/usr/lib/x86_64-linux-gnu"

Eseguire nccl-test.

Di seguito viene eseguita l'operazione AllReduce NCCL su un nodo cluster utilizzando otto GPU.

$ srun --container-name=tensorflow --container-mounts "/home/opc:/home/opc" \
  --mpi pmi2 --gpus-per-node=8 bash -c "cd /home/opc/nccl-tests; \
  ./build/all_reduce_perf -b 10G -e 10G -t 1 -g 8"
# nThread 1 nGpus 8 minBytes 10737418240 maxBytes 10737418240 step: 1048576(bytes) warmup iters: 5 iters: 20 agg iters: 1 validation: 1 graph: 0
#
# Using devices
#  Rank  0 Group  0 Pid 226178 on gpu-permanent-node-517 device  0 [0x0f] NVIDIA A100-SXM4-40GB
#  Rank  1 Group  0 Pid 226178 on gpu-permanent-node-517 device  1 [0x15] NVIDIA A100-SXM4-40GB
#  Rank  2 Group  0 Pid 226178 on gpu-permanent-node-517 device  2 [0x50] NVIDIA A100-SXM4-40GB
#  Rank  3 Group  0 Pid 226178 on gpu-permanent-node-517 device  3 [0x53] NVIDIA A100-SXM4-40GB
#  Rank  4 Group  0 Pid 226178 on gpu-permanent-node-517 device  4 [0x8c] NVIDIA A100-SXM4-40GB
#  Rank  5 Group  0 Pid 226178 on gpu-permanent-node-517 device  5 [0x91] NVIDIA A100-SXM4-40GB
#  Rank  6 Group  0 Pid 226178 on gpu-permanent-node-517 device  6 [0xd6] NVIDIA A100-SXM4-40GB
#  Rank  7 Group  0 Pid 226178 on gpu-permanent-node-517 device  7 [0xda] NVIDIA A100-SXM4-40GB
#
#                                                              out-of-place                       in-place
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
 10737418240    2684354560     float     sum      -1    80130  134.00  234.50      0    80171  133.93  234.38      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 234.439
#

Eseguire NCCL AllReduce su due nodi cluster con 16 GPU.

Questo test utilizza la rete cluster tra nodi.

bastion$ srun --container-name=tensorflow --container-mounts "/home/opc:/home/opc" --mpi pmi2 --gpus-per-node=8 bash -c "cd /home/opc/nccl-tests; ./build/all_reduce_perf -b 10G -e 10G -t 1 -g 8"
srun -N 2 --ntasks-per-node 1 --container-name=tensorflow --container-mounts "/home/opc:/home/opc" --mpi pmi2 --gpus-per-node=8 bash -c "cd /home/opc/nccl-tests; export NCCL_IB_QPS_PER_CONNECTION=4; export NCCL_IB_GID_INDEX=3; ./build/all_reduce_perf -b 10G -e 10G -t 1 -g 8"
# nThread 1 nGpus 8 minBytes 10737418240 maxBytes 10737418240 step: 1048576(bytes) warmup iters: 5 iters: 20 agg iters: 1 validation: 1 graph: 0
#
# Using devices
#  Rank  0 Group  0 Pid 231185 on gpu-permanent-node-517 device  0 [0x0f] NVIDIA A100-SXM4-40GB
#  Rank  1 Group  0 Pid 231185 on gpu-permanent-node-517 device  1 [0x15] NVIDIA A100-SXM4-40GB
#  Rank  2 Group  0 Pid 231185 on gpu-permanent-node-517 device  2 [0x50] NVIDIA A100-SXM4-40GB
#  Rank  3 Group  0 Pid 231185 on gpu-permanent-node-517 device  3 [0x53] NVIDIA A100-SXM4-40GB
#  Rank  4 Group  0 Pid 231185 on gpu-permanent-node-517 device  4 [0x8c] NVIDIA A100-SXM4-40GB
#  Rank  5 Group  0 Pid 231185 on gpu-permanent-node-517 device  5 [0x91] NVIDIA A100-SXM4-40GB
#  Rank  6 Group  0 Pid 231185 on gpu-permanent-node-517 device  6 [0xd6] NVIDIA A100-SXM4-40GB
#  Rank  7 Group  0 Pid 231185 on gpu-permanent-node-517 device  7 [0xda] NVIDIA A100-SXM4-40GB
#  Rank  8 Group  0 Pid 221811 on gpu-permanent-node-878 device  0 [0x0f] NVIDIA A100-SXM4-40GB
#  Rank  9 Group  0 Pid 221811 on gpu-permanent-node-878 device  1 [0x15] NVIDIA A100-SXM4-40GB
#  Rank 10 Group  0 Pid 221811 on gpu-permanent-node-878 device  2 [0x50] NVIDIA A100-SXM4-40GB
#  Rank 11 Group  0 Pid 221811 on gpu-permanent-node-878 device  3 [0x53] NVIDIA A100-SXM4-40GB
#  Rank 12 Group  0 Pid 221811 on gpu-permanent-node-878 device  4 [0x8c] NVIDIA A100-SXM4-40GB
#  Rank 13 Group  0 Pid 221811 on gpu-permanent-node-878 device  5 [0x91] NVIDIA A100-SXM4-40GB
#  Rank 14 Group  0 Pid 221811 on gpu-permanent-node-878 device  6 [0xd6] NVIDIA A100-SXM4-40GB
#  Rank 15 Group  0 Pid 221811 on gpu-permanent-node-878 device  7 [0xda] NVIDIA A100-SXM4-40GB
#
#                                                              out-of-place                       in-place
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
 10737418240    2684354560     float     sum      -1    90752  118.32  221.84      0    90977  118.02  221.29      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 221.568
#

I risultati positivi indicano che il cluster è pronto per eseguire i carichi di lavoro dell'AI generativa.