x64: El ID de subsistema PCI cambia en el firmware ConnectX 2.6.0 en Mellanox (6810093)

La actualización del firmware ConnectX a la versión 2.6.000 o posterior en un sistema activo puede provocar problemas en algunos HCA y plataformas x64. Este problema afecta sólo a los HCA de Mellanox. No afecta a los HCA PCIe, EM, NEM, ni las plataformas SPARC de Sun.

Es posible que no pueda arrancar el sistema o el sistema se puede bloquear al arrancar. Los números de instancia ibd (IPoverIB) podrían cambiar e impedir que el sistema arrancase e instalase dispositivos ibd.

Solución 1: antes de rearrancar el sistema después de actualizar el firmware con cxflash, elimine las instancias de ibd<x> del archivo /etc/path_to_inst y el directorio /dev. realice los pasos siguientes:

1. inicie la sesión como superusuario. La información del árbol de dispositivos podría tener un aspecto similar al siguiente:

   # ls -R /devices | grep 15b3 /devices/pci@0,0/pci10de,5d@e/pci15b3,634a@0 /devices/pci@0,0/pci10de,5d@e/pci15b3,634a@0/ibport@1,ffff,ipib /devices/pci@0,0/pci10de,5d@e/pci15b3,634a@0/ibport@1,ffff,ipib:ibd0 /devices/pci@0,0/pci10de,5d@e/pci15b3,634a@0/ibport@2,ffff,ipib /devices/pci@0,0/pci10de,5d@e/pci15b3,634a@0/ibport@2,ffff,ipib:ibd1 /devices/pci@0,0/pci10de,5d@e/pci15b3,634a@0:devctl

   ---

   Nota –

   Determinados dispositivos varían según la tarjeta Mellanox que tienen instalada.

   ---

2. Edite el archivo path_to_inst. realice los pasos siguientes:

   1. Efectúe una copia de seguridad del archivo path_to_inst.

      # cp /etc/path_to_inst /etc/path_to_inst.backup

   2. Abra el archivo path_to_inst:

      # vi /etc/path_to_inst

   3. Busque las líneas que contengan ibd y hermon, y elimínelas.

   4. Guarde los cambios y cierre el archivo.

3. Quite las entradas del directorio /dev:

   rm /dev/ibd?*

4. Reinicie el sistema. El sistema arranca normalmente y el correspondiente árbol de dispositivos se parece al siguiente:

   # ls -R /devices | grep 15b3 /devices/pci@0,0/pci10de,5d@e/pci15b3,5@0 /devices/pci@0,0/pci10de,5d@e/pci15b3,5@0/ibport@1,ffff,ipib /devices/pci@0,0/pci10de,5d@e/pci15b3,5@0/ibport@1,ffff,ipib:ibd0 /devices/pci@0,0/pci10de,5d@e/pci15b3,5@0/ibport@2,ffff,ipib /devices/pci@0,0/pci10de,5d@e/pci15b3,5@0/ibport@2,ffff,ipib:ibd1 /devices/pci@0,0/pci10de,5d@e/pci15b3,5@0:devctl

Solución 2: si rearranca el sistema antes de actualizar el archivo path_to_inst y el directorio /dev, el sistema se puede bloquear. En ese caso, lleve a cabo los siguientes pasos:

1. Apague el sistema y retire el HCA del bus.

2. Rearranque el sistema sin el HCA instalado.

3. Cuando el sistema vuelva a estar activo, siga los pasos 2 y 3 de la solución 1.

4. Apague el sistema.

5. Vuelva a instalar el HCA. Reinicie el sistema.

6. Si se reinicia el sistema pero no se instalan automáticamente las interfaces de ibd, los archivos /etc/hostname.ib<?> podrían no ser adecuados para la configuración del dispositivo actual. Cambie manualmente el nombre de los archivos para reflejar la configuración actual.