1. Configuración de una pila de clusters de HPC para desplegar IA de NVIDIA en una región del gobierno de OCI
  2. Revisión y validación de la configuración

Revisión y validación de la configuración

Revisar y la configuración, la GPU y el rendimiento de la red.

Revise la configuración

Conéctese al bastión y revise la configuración.

  1. Conéctese al bastión con ssh como usuario opc (valor por defecto para las instancias de Oracle Linux) mediante la dirección IP y la clave privada. 
    akua$ ssh -i ~/.ssh/cluster.key opc@139.87.214.247
[opc@epsilon-bastion ~]$
  2. El comando df muestra las capacidades y los sistemas de archivos montados:
    [opc@epsilon-bastion ~]$ df -h | grep -v tmp
Filesystem                     Size  Used Avail Use% Mounted on
/dev/sda3                       92G   14G   79G  15% /                <- boot (home) volume
/dev/sda1                      200M  7.4M  193M   4% /boot/efi
/dev/sdb                        20T   58M   20T   1% /export/cluster  <- Additional volume
172.16.0.75:/export/cluster     20T   57M   20T   1% /nfs/cluster
172.16.6.4:/mnt/localdisk/nfs   13T   39G   13T   1% /nfs/scratch     <- worker node NVMe
  3. Edite la configuración de Slurm.

    Por defecto, Slurm elimina los contenedores automáticamente al final de un trabajo. Puesto que es probable que desee volver a utilizar el contenedor, es mucho más eficaz hacer que los contenedores se mantengan en todos los trabajos con el argumento container_scope. Esto acelerará en gran medida los reinicios posteriores utilizando el mismo contenedor.

    En el archivo /etc/slurm/plugstack.conf, agregue container_scope=global para que tenga el siguiente aspecto: 

    [opc@epsilon-bastion ~]$ cat /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global
  4. Detenga y reinicie Slurm en cada uno de los nodos de GPU y en el bastión.
    En la salida de sinfo se muestra una lista de nombres de host de nodo de GPU. Utilice esta opción con el comando pdsh para ejecutar systemctl en todos los nodos: export PS1="$ ". 
    [opc@epsilon-bastion ~]$ export PS1="\n$ "

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
gpu*         up   infinite      2   idle gpu-permanent-node-[517,878]

$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl stop slurmd
$ sudo systemctl restart slurmctld slurmdbd
$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl start slurmd

$ /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global[opc@epsilon-bastion ~]$ export PS1="\n$ "

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
gpu*         up   infinite      2   idle gpu-permanent-node-[517,878]

$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl stop slurmd
$ sudo systemctl restart slurmctld slurmdbd
$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl start slurmd

$ /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global
  5. Aplique las actualizaciones del sistema operativo.

    Considere la posibilidad de actualizar el sistema operativo a los paquetes más recientes. Utilice pdsh como en el paso anterior para actualizar de forma eficaz todos los nodos: 

    # Oracle Linux 7:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo yum upgrade

# Oracle Linux 8:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo dnf upgrade

Edición de la configuración de slurm

Por defecto, Slurm elimina los contenedores automáticamente al final de un trabajo. Puesto que es probable que desee volver a utilizar el contenedor, es mucho más eficaz hacer que los contenedores se mantengan en todos los trabajos con el argumento container_scope. Esto acelerará en gran medida los reinicios posteriores utilizando el mismo contenedor.

  1. En el archivo /etc/slurm/plugstack.conf, agregue container_scope=global para que tenga el siguiente aspecto:
    [opc@epsilon-bastion ~]$ cat /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global
  2. Detenga y reinicie Slurm en cada uno de los nodos de GPU y en el bastión.
    En la salida de sinfo se muestra una lista de nombres de host de nodo de GPU. Utilice esto con el comando pdsh para ejecutar systemctl en todos los nodos: export PS1="$ "
    [opc@epsilon-bastion ~]$ export PS1="\n$ "

$ sinfo
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
gpu*         up   infinite      2   idle gpu-permanent-node-[517,878]

$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl stop slurmd
$ sudo systemctl restart slurmctld slurmdbd
$ pdsh -w gpu-permanent-node-[517,878] sudo systemctl start slurmd

$ /etc/slurm/plugstack.conf
required /usr/local/lib/slurm/spank_pyxis.so container_scope=global

Aplicación de las actualizaciones del sistema operativo

Considere la posibilidad de actualizar el sistema operativo a los paquetes más recientes.

  • Utilice pdsh como en el paso anterior para actualizar de forma eficaz todos los nodos:
    # Oracle Linux 7:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo yum upgrade

# Oracle Linux 8:
$ pdsh -w localhost, gpu-permanent-node-[517,878]  sudo dnf upgrade

Extraer o cargar los contenedores

El plugin NVIDIA Pyxis para Slurm con la utilidad de contenedor Enroot proporciona un entorno de ejecución de contenedor de cluster integrado con Slurm load manager. Estos componentes se instalaron al marcar las casillas Pyxis y Enroot durante la configuración del software.

Consulte https://github.com/NVIDIA/pyxis/ o srun --help para obtener detalles de las opciones srun --container proporcionadas por Pyxis.

  1. Verifique que el entorno de ejecución del contenedor funciona como se espera en el cluster.
    En este ejemplo se extrae el contenedor TensorFlow del repositorio nvcr.io de Nvidia y se ejecuta un comando simple. De esta forma, se verificará que el entorno de ejecución del contenedor funciona como se esperaba en el cluster. La primera vez que se ejecuta, descarga un contenedor grande desde una ubicación remota y puede tardar 25 minutos o más en cargarse y comenzar a ejecutarse. 
    $ srun -N 2 --ntasks-per-node 1 \
  --container-image=nvcr.io#nvidia/tensorflow:22.11-tf2-py3 \
  --container-name=tensorflow bash -c "hostname; grep PRETTY /etc/os-release"
pyxis: imported docker image: nvcr.io#nvidia/pytorch:21.09-py3
pyxis: imported docker image: nvcr.io#nvidia/pytorch:21.09-py3
gpu-permanent-node-517
PRETTY_NAME="Ubuntu 20.04.3 LTS"
gpu-permanent-node-878

    Los trabajos posteriores que utilicen el contenedor con nombre no necesitan descarga y comenzarán a ejecutarse inmediatamente.

    $ time srun -N 2 --ntasks-per-node 1 --container-name=tensorflow bash -c "hostname"
gpu-permanent-node-878
gpu-permanent-node-517

real	0m0.394s
user	0m0.006s
sys	0m0.009s
  2. Puede optar por cargar contenedores adicionales antes de los trabajos que los utilizarán.
    Aquí puede cargar el contenedor de marco NVIDIA NeMo como preparación para un trabajo de LLM. La información de autenticación de NVIDIA en ~/.config/enroot/.credentials puede ser necesaria para obtener acceso a los contenedores GA o EA. 
    $ cat .config/enroot/.credentials
machine nvcr.io login $oauthtoken password vbmVtc2<snip>zU6YTFjNm
$ time srun -N 2 --ntasks-per-node 1 \
  --container-image="nvcr.io/ea-bignlp/ga-participants/nemofw-training:23.08.03" \
  --container-name=nemo bash -c "hostname"
pyxis: imported docker image: nvcr.io/ea-bignlp/ga-participants/nemofw-training:23.08.03
pyxis: imported docker image: nvcr.io/ea-bignlp/ga-participants/nemofw-training:23.08.03
gpu-permanent-node-878
gpu-permanent-node-517

real	46m27.272s

    Este contenedor más grande tardó casi 47 minutos en importarse.

Validación del rendimiento de red y GPU

NVIDIA NCCL es una biblioteca independiente de rutinas de comunicación estándar para GPU. Nccl-tests informa del tiempo medio de operación de NCCL en ms y del ancho de banda del algoritmo y el ancho de banda del bus en GB/s. Estas pruebas miden el rendimiento de las GPU y la red, y también validan la corrección de las operaciones.

Para obtener más información, consulte https://github.com/NVIDIA/nccl-tests/blob/master/doc/PERFORMANCE.md.

  1. Obtenga NVIDIA nccl-tests de GitHub y cree los ejecutables en Bastion ejecutando el siguiente comando:
    $ srun --container-name=tensorflow --container-mounts "/home/opc:/home/opc" \
  bash -c "cd /home/opc; git clone https://github.com/NVIDIA/nccl-tests.git; cd nccl-tests; make MPI=1 MPI_HOME=/usr/local/mpi CUDA_HOME=/usr/local/cuda NCCL_HOME=/usr/lib/x86_64-linux-gnu"
  2. Ejecute nccl-test.

    A continuación, se ejecuta la operación NCCL AllReduce en un nodo del cluster mediante ocho GPU: 

    $ srun --container-name=tensorflow --container-mounts "/home/opc:/home/opc" \
  --mpi pmi2 --gpus-per-node=8 bash -c "cd /home/opc/nccl-tests; \
  ./build/all_reduce_perf -b 10G -e 10G -t 1 -g 8"
# nThread 1 nGpus 8 minBytes 10737418240 maxBytes 10737418240 step: 1048576(bytes) warmup iters: 5 iters: 20 agg iters: 1 validation: 1 graph: 0
#
# Using devices
#  Rank  0 Group  0 Pid 226178 on gpu-permanent-node-517 device  0 [0x0f] NVIDIA A100-SXM4-40GB
#  Rank  1 Group  0 Pid 226178 on gpu-permanent-node-517 device  1 [0x15] NVIDIA A100-SXM4-40GB
#  Rank  2 Group  0 Pid 226178 on gpu-permanent-node-517 device  2 [0x50] NVIDIA A100-SXM4-40GB
#  Rank  3 Group  0 Pid 226178 on gpu-permanent-node-517 device  3 [0x53] NVIDIA A100-SXM4-40GB
#  Rank  4 Group  0 Pid 226178 on gpu-permanent-node-517 device  4 [0x8c] NVIDIA A100-SXM4-40GB
#  Rank  5 Group  0 Pid 226178 on gpu-permanent-node-517 device  5 [0x91] NVIDIA A100-SXM4-40GB
#  Rank  6 Group  0 Pid 226178 on gpu-permanent-node-517 device  6 [0xd6] NVIDIA A100-SXM4-40GB
#  Rank  7 Group  0 Pid 226178 on gpu-permanent-node-517 device  7 [0xda] NVIDIA A100-SXM4-40GB
#
#                                                              out-of-place                       in-place
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
 10737418240    2684354560     float     sum      -1    80130  134.00  234.50      0    80171  133.93  234.38      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 234.439
#
  3. Ejecute NCCL AllReduce en dos nodos de cluster con 16 GPU.

    Esta prueba utiliza la red de cluster entre nodos.

    bastion$ srun --container-name=tensorflow --container-mounts "/home/opc:/home/opc" --mpi pmi2 --gpus-per-node=8 bash -c "cd /home/opc/nccl-tests; ./build/all_reduce_perf -b 10G -e 10G -t 1 -g 8"
srun -N 2 --ntasks-per-node 1 --container-name=tensorflow --container-mounts "/home/opc:/home/opc" --mpi pmi2 --gpus-per-node=8 bash -c "cd /home/opc/nccl-tests; export NCCL_IB_QPS_PER_CONNECTION=4; export NCCL_IB_GID_INDEX=3; ./build/all_reduce_perf -b 10G -e 10G -t 1 -g 8"
# nThread 1 nGpus 8 minBytes 10737418240 maxBytes 10737418240 step: 1048576(bytes) warmup iters: 5 iters: 20 agg iters: 1 validation: 1 graph: 0
#
# Using devices
#  Rank  0 Group  0 Pid 231185 on gpu-permanent-node-517 device  0 [0x0f] NVIDIA A100-SXM4-40GB
#  Rank  1 Group  0 Pid 231185 on gpu-permanent-node-517 device  1 [0x15] NVIDIA A100-SXM4-40GB
#  Rank  2 Group  0 Pid 231185 on gpu-permanent-node-517 device  2 [0x50] NVIDIA A100-SXM4-40GB
#  Rank  3 Group  0 Pid 231185 on gpu-permanent-node-517 device  3 [0x53] NVIDIA A100-SXM4-40GB
#  Rank  4 Group  0 Pid 231185 on gpu-permanent-node-517 device  4 [0x8c] NVIDIA A100-SXM4-40GB
#  Rank  5 Group  0 Pid 231185 on gpu-permanent-node-517 device  5 [0x91] NVIDIA A100-SXM4-40GB
#  Rank  6 Group  0 Pid 231185 on gpu-permanent-node-517 device  6 [0xd6] NVIDIA A100-SXM4-40GB
#  Rank  7 Group  0 Pid 231185 on gpu-permanent-node-517 device  7 [0xda] NVIDIA A100-SXM4-40GB
#  Rank  8 Group  0 Pid 221811 on gpu-permanent-node-878 device  0 [0x0f] NVIDIA A100-SXM4-40GB
#  Rank  9 Group  0 Pid 221811 on gpu-permanent-node-878 device  1 [0x15] NVIDIA A100-SXM4-40GB
#  Rank 10 Group  0 Pid 221811 on gpu-permanent-node-878 device  2 [0x50] NVIDIA A100-SXM4-40GB
#  Rank 11 Group  0 Pid 221811 on gpu-permanent-node-878 device  3 [0x53] NVIDIA A100-SXM4-40GB
#  Rank 12 Group  0 Pid 221811 on gpu-permanent-node-878 device  4 [0x8c] NVIDIA A100-SXM4-40GB
#  Rank 13 Group  0 Pid 221811 on gpu-permanent-node-878 device  5 [0x91] NVIDIA A100-SXM4-40GB
#  Rank 14 Group  0 Pid 221811 on gpu-permanent-node-878 device  6 [0xd6] NVIDIA A100-SXM4-40GB
#  Rank 15 Group  0 Pid 221811 on gpu-permanent-node-878 device  7 [0xda] NVIDIA A100-SXM4-40GB
#
#                                                              out-of-place                       in-place
#       size         count      type   redop    root     time   algbw   busbw #wrong     time   algbw   busbw #wrong
#        (B)    (elements)                               (us)  (GB/s)  (GB/s)            (us)  (GB/s)  (GB/s)
 10737418240    2684354560     float     sum      -1    90752  118.32  221.84      0    90977  118.02  221.29      0
# Out of bounds values : 0 OK
# Avg bus bandwidth    : 221.568
#

    Los resultados satisfactorios indican que el cluster está listo para ejecutar las cargas de trabajo de IA generativa.