Reconfiguración dinámica de dispositivos IB (cfgadm)

Se puede configurar o desconfigurar un dispositivo IB de un sistema en ejecución mediante la CLI cfgadm únicamente. Este comando también ofrece un modo de mostrar el tejido IB, gestionar servicios de comunicación y actualizar las bases de datos de tablas P_key. Para obtener más información, consulte cfgadm_ib(1M).

La CLI cfgadm gestiona la reconfiguración dinámica, a la que se hace referencia en este manual como DR, de todo el tejido IB tal como lo ve un host. Las operaciones cfgadm se admiten en todos los dispositivos IB, como Port, VPPA, HCA_SVC y COI, y pseudodispositivos.

El comando cfgadm muestra información sobre los puntos de conexión (Ap_Id), que son ubicaciones en el sistema donde operaciones DR pueden ocurrir. Para obtener más detalles sobre los Ap_Id que cfgadm admite, consulte cfgadm_ib.1M. Tenga en cuenta que todos los Ap_Id IB se muestran como connected.

El comando cfgadm proporciona la siguiente información de estado de dispositivo IB.

Todos los procedimientos de esta sección necesitan privilegios administrativos que no se otorgan generalmente a cuentas de usuario. Para obtener más información, consulte Cómo obtener derechos administrativos de Administración de Oracle Solaris: servicios de seguridad.

En las siguientes secciones se describe cómo reconfigurar de manera dinámica (DR) dispositivos IB con el comando cfgadm. Toda la información de dispositivos IB de ejemplo de estas secciones se ha truncado para centrarse en la información relevante.

Consideraciones de desconfiguración de dispositivos IB

La reconfiguración dinámica (DR) real de un HCA está más allá del ámbito del complemento cfgadm IB. Aunque la DR de un HCA se puede logra utilizando el complemento del bus subyacente. Por ejemplo, un HCA basado en PCI puede utilizar el comando cfgadm_pci. Para obtener más información, consulte cfgadm_pci(1M).

# cfgadm -c unconfigure ib::rdsv3,0
This operation will suspend activity on the IB device
Continue (yes/no)? yes
cfgadm: Hardware specific failure: unconfigure operation failed ap_id: /devices/ib:fabric::rdsv3,0
 
# cfgadm -c unconfigure PCI-EM0
cfgadm: Component system is busy, try again: unconfigure failed 

# rem_drv rdsv3
Device busy
Cannot unload module: rdsv3
Will be unloaded upon reboot.
 
# init 6

Cómo mostrar información de dispositivos IB

Puede utilizar el comando prtconf para mostrar información general sobre dispositivos IB. Por ejemplo:

$ prtconf
.
.
.
    ib, instance #0
        rpcib, instance #0
        rdsib, instance #0
        daplt, instance #0
        rdsv3, instance #0
        sdpib, instance #0
        eibnx, instance #0
        sol_umad, instance #0
        sol_uverbs, instance #0
        iser, instance #0
.
.
.
    pci15b3,673c, instance #0
                 ibport, instance #0
                 ibport, instance #1 

En el ejemplo anterior, pci15b3,673c hace referencia a un HCA IB.

Utilice los siguientes pasos para mostrar información de dispositivos IB específica.

1. Conviértase en un administrador.
2. Muestre información de tejido IB.

   Por ejemplo:

   # cfgadm -al  
   Ap_Id                       Type         Receptacle     Occupant     Condition
   ib                          IB-Fabric    connected      configured   ok
   hca:21280001A0A478          IB-HCA       connected      configured   ok
   ib::21280001A0A47A,0,ipib   IB-PORT      connected      configured   ok
   ib::21280001A0A479,0,ipib   IB-PORT      connected      configured   ok
   ib::1730000008070,0,hnfs    IB-HCA_SVC   connected      configured   ok
   ib::daplt,0                 IB-PSEUDO    connected      configured   ok
   ib::eibnx,0                 IB-PSEUDO    connected      configured   ok
   ib::iser,0                  IB-PSEUDO    connected      configured   ok
   ib::rdsib,0                 IB-PSEUDO    connected      configured   ok
   ib::rdsv3,0                 IB-PSEUDO    connected      configured   ok
   ib::rpcib,0                 IB-PSEUDO    connected      configured   ok
   ib::sdpib,0                 IB-PSEUDO    connected      configured   ok
   ib::sol_umad,0              IB-PSEUDO    connected      configured   ok
   ib::sol_uverbs,0            IB-PSEUDO    connected      configured   ok

   En la salida de ejemplo anterior, los componentes se describen de la siguiente manera:

   Ap_Id ib::21280001A0A47A,0,ipib

   Identifica un dispositivo de puerto IB conectado al GUID de puerto y está vinculado al servicio ipib.

   Ap_ID ib::sdpib,0

   Identifica un pseudodispositivo.

   Ap_ID hca:21280001A0A478

   Identifica un dispositivo HCA.

   Ap_ID ib::1730000008070,0,hnfs

   Identifica un dispositivo HCA_SVC IB que está vinculado al servicio hnfs.

   Ap_Id ib::ibgen,0

   Identifica un pseudodispositivo.

3. Muestre información de dispositivos IB específica.

   Por ejemplo, para un dispositivo de puerto IB:

   # cfgadm -al -s "cols=ap_id:info" ib::21280001A0A47A,0,ipib
   Ap_Id                          Information
   ib::21280001A0A47A,0,ipib      ipib

   Por ejemplo, para un dispositivo HCA IB:

   # cfgadm -al -s "cols=ap_id:info" hca::1730000008070
   Ap_Id                          Information
   hca::1730000008070             VID: 0x15b3, PID: 0x5a44, #ports: 0x2, 
   port1 GUID: 0x1730000008071, port2 GUID: 0x1730000008072

   La salida anterior muestra el número de puertos y sus GUID.

Cómo desconfigurar un dispositivo Port, HCA_SVC o VPPA IB

Utilice los siguientes pasos si desea eliminar un dispositivo Port, HCA_SVC o VPPA IB del sistema.

En el siguiente ejemplo se ilustra cómo desconfigurar un dispositivo de puerto IB, pero el mismo procedimiento se aplica también a dispositivos VPPA y HCA_SVC.

1. Conviértase en un administrador.
2. Desconfigure dispositivos de puerto IB virtuales.

   Por ejemplo:

   # cfgadm -c unconfigure ib::1730000007F51,*0*,ipib
   Unconfigure the device: /devices/ib:fabric::1730000007F51,*0*,ipib
   This operation will suspend activity on the IB device
   Continue (yes/no)? Y

3. Verifique que el dispositivo esté desconectado.

   Por ejemplo:

   # cfgadm -a ib::1730000007F51,*0*,ipib
   Ap_Id                       Type    Receptacle Occupant     Condition
   ib::1730000007F51,*0*,ipib IB-VPPA  connected  unconfigured unknown

Cómo configurar un dispositivo Port, HCA_SVC o VPPA IB

Utilice los siguientes pasos si desea configurar un dispositivo Port, HCA_SVC o VPPA IB del sistema.

En el siguiente ejemplo se muestra cómo configurar un dispositivo VPPA, pero se pueden utilizar pasos similares para configurar dispositivos Port y HCA_SVC de IB.

1. Conviértase en un administrador.
2. Configure dispositivos de puerto IB virtuales.

   Por ejemplo:

   # cfgadm -c configure ib::1730000007F51,*0*,ipib

3. Verifique que el dispositivo esté conectado.

   Por ejemplo:

   # cfgadm -a ib::1730000007F51,*0*,ipib   
   Ap_Id                       Type      Receptacle Occupant   Condition
   ib::1730000007F51,*0*,ipib  IB-VPPA   connected  configured ok

   ---

   Nota - Una operación de configuración o desconfiguración basada en cfgadm de dispositivos Port y HCA_SVC IB es similar a los ejemplos anteriores para un dispositivo VPPA IB.

   ---

Cómo desconfigurar un pseudodispositivo IB

Utilice los siguientes pasos si desea eliminar un pseudodispositivo IB del sistema.

1. Conviértase en un administrador.
2. Desconfigure el pseudodispositivo IB.

   Por ejemplo:

   # cfgadm -c unconfigure ib::ibgen,0
   Unconfigure the device: /devices/ib:fabric::ibgen,0
   This operation will suspend activity on the IB device
   Continue (yes/no)? Y

3. Verifique que el dispositivo esté desconectado.

   # cfgadm -a ib::ibgen,0
   Ap_Id                  Type      Receptacle Occupant     Condition
   ib::ibgen,0            IB-PSEUDO connected  unconfigured unknown

Cómo configurar un pseudodispositivo IB

Utilice los siguientes pasos para configurar un pseudodispositivo IB.

1. Conviértase en un administrador.
2. Configure el pseudodispositivo IB.

   Por ejemplo:

   # cfgadm -yc configure ib::ibgen,0

3. Verifique que el dispositivo esté conectado.

   Por ejemplo:

   # cfgadm -a ib::ibgen,0
   Ap_Id                  Type       Receptacle Occupant   Condition
   ib::ibgen,0            IB-PSEUDO  connected  configured ok

Cómo mostrar clientes IB de núcleo de un HCA

El siguiente comando de complemento cfgadm IB se puede invocar para enumerar clientes IB de núcleo utilizando este HCA. Tenga en cuenta que la última columna mostraría un "sí" si el cliente IB de núcleo utiliza otro HCA. Los gestores IB y clientes de núcleo que no utilizan el HCA se muestran con un Ap_Id de " - ".

• Muestre clientes IB de núcleo de un HCA.

  Por ejemplo:

  $ cfgadm -x list_clients hca:173000007F50   
  Ap_Id                       IB Client         Alternate HCA
  ib::1730000007F51D0            ibgen              no
  ib::1730000007F51D1            ibgen              no
  ib::1730000007F51,0,ipib       ibd                no
  ib::ibgen,0                    ibgen              no
  -                              ibdm               no
  -                              ibmf               no
  -                              nfs/ib             no

Cómo reconfigurar dinámicamente un HCA con dispositivos EoIB activos

Cuando se intenta realizar una operación de reconfiguración dinámica (DR) en un sistema y un IB HCA de familia Connect-X está en uso con interfaces EoIB activas (por ejemplo, se conectan enlaces de datos EoIB o se crean VNIC a través de los enlaces de datos en el HCA), la operación de DR es correta si se cumple alguna de las siguientes condiciones:

• Es el único HCA de familia Connect-X en el sistema

• Existen varios HCA Connect-X en el sistema, pero este adaptador es el último que se desconfigurará

En cualquier otra condición, una operación de reconfiguración dinámica (DR) en un IB HCA con interfaces EoIB activas falla con un mensaje de error cfgadm.

Si la operación de DR falla, deberá desconectar las interfaces EoIB activas y suprimir cualquier VNIC en el enlace de datos y volver a intentar la operación de DR. Además, en ese caso, si una HCA de familia Connect-X se sustituye en la misma ranura después de la operación de DR y se vuelve a configurar mediante los comandos cfgadm o hotplug, debe volver a conectar los enlaces de datos de EoIB que fueron desconectados anteriormente y volver a crear cualquier VNIC que se haya suprimido anteriormente.

Tenga en cuenta que una interfaz EoIB necesita que el GUID de puerto HCA se muestre en el archivo de configuración adecuado en el Sun Infiniband QDR Gateway Switch. Así, después una eliminación en caliente y antes de realizar una reinserción, necesitará actualizar la información de GUID de puerto HCA en el archivo de configuración Gateway Switch. Para obtener más información sobre cómo actualizar la configuración, consulte Sun Network QDR Infiniband Gateway Switch Administration Guide.

1. Conviértase en administrador en el sistema con varios HCA IB.
2. Intente desconfigurar el punto de conexión asociado con el enlace de datos de EoIB.

   # cfgadm -c unconfigure PCI-EM0
   cfgadm: Component system is busy, try again: unconfigure failed

3. Determine la interfaz EoIB que impide realizar la operación de desconfiguración.

   # dmesg | tail | grep 'failing HCA detach'
   Aug 23 12:37:20  eoib: [ID 530795 kern.warning] WARNING: eoib0 still in use, 
   failing HCA detach

4. Determine si eoib0 está en uso porque existe una interfaz IP en él.

   # ipadm show-if eoib0
   ipadm: cannot get information for interface(s): No such interface

5. Si no existe ninguna interfaz IP mediante eoib0, compruebe si alguna VNIC presente está provocando que eoib0 esté ocupado.

   # dladm show-vnic
       LINK                OVER         SPEED  MACADDRESS        MACADDRTYPE       VID
       evnic0              eoib0        10000  2:8:20:e5:56:99   random            0

6. Elimine la VNIC mediante eoib0.

   # dladm delete-vnic evnic0

7. Vuelva a intentar la operación de desconfiguración.

   # cfgadm -c unconfigure PCI-EM0

Cómo reconfigurar y restaurar una interfaz EoIB tras la eliminación en caliente

1. Conviértase en administrador de Sun Network QDR Gateway Switch.
2. Edite el archivo de configuración BXM en Sun Network QDR Gateway Switch y reemplace todas las instancias de los GUID de puerto de HCA anterior con los GUID de puerto del nuevo HCA.
3. Reinicie BXM.
4. Conviértase en administrador del sistema Oracle Solaris.
5. Inserte en caliente el nuevo HCA en el sistema Solaris y utilice el comando cfgadm para volver a configurar el punto de conexión asociado originalmente al enlace de datos EoIB.
6. Confirme la restauración del enlace de datos EoIB original.

   # dladm show-link | grep eoib0
   eoib0               phys      1500   unknown       --

7. Si una VNIC se tuvo que suprimir explícitamente durante una operación de desconfiguración anterior, vuelva a crearla ahora.

   # dladm create-vnic -l eoib0 evnic0

8. Confirme la presencia de una VNIC mediante eoib0.

   # dladm show-vnic
   LINK         OVER     SPEED  MACADDRESS        MACADDRTYPE       VID
   evnic0       eoib0    10000  2:8:20:e5:56:99   random              0

9. Si una dirección IP se tuvo que suprimir explícitamente en eoib0 durante una operación de desconfiguración anterior, vuelva a crearla mediante el comando ipadm.

Configuración de un HCA IB

Invoque el complemento cfgadm específico del bus para a configurar el HCA. Los detalles concretos están más allá del ámbito de este capítulo.

Cómo actualizar las tablas P_key IB

Si la información de tablas P_key de puertos HCA cambia, por ejemplo, P_key adicionales están habilitadas o deshabilitadas, se debe notificar a la estructura InfiniBand Transport Framework (IBTF) y IBDM, de modo que sus bases de datos P_key se actualicen. El comando cfgadm ayuda a actualizar las bases de datos P_key de IBTF y IBDM. Para obtener más información, consulte ibtl(7D) y ibdm(7D).

1. Conviértase en un administrador.
2. Actualice las tablas P_key.

   Por ejemplo:

   # cfgadm -x update_pkey_tbls -y ib

Cómo mostrar servicios de comunicación IB

Utilice los siguientes pasos para mostrar los servicios de comunicación que IBTF actualmente utiliza.

1. Conviértase en un administrador.
2. Muestre servicios de comunicación IB.

   Por ejemplo:

   # cfgadm -x list_services ib
   Port communication services:
                   srp
   VPPA communication services:
                   ibd
   HCA_SVC communication services:
                   hnfs

Cómo agregar un servicio de comunicación VPPA

Utilice los siguientes pasos para agregar un nuevo servicio de comunicación VPPA.

Pasos similares se pueden utilizar para agregar un nuevo HCA_SVC o servicio de comunicación de puerto.

1. Conviértase en un administrador.
2. Agregue un nuevo servicio de comunicación VPPA.

   Por ejemplo:

   # cfgadm -o comm=vppa,service=new -x add_service ib

3. Compruebe que se haya agregado el nuevo servicio.

   Por ejemplo:

   # cfgadm -x list_services ib
   Port communication services:
                   srp
   VPPA communication services:
                   ibd
                   new
   HCA_SVC communication services:
                   nfs_service

Cómo eliminar un Port, HCA_SVC IB o servicio de comunicación VPPA existente

Utilice los siguientes pasos para eliminar un Port, HCA_SVC IB o un servicio de comunicación VPPA existente.

1. Conviértase en un administrador.
2. Elimine un servicio de comunicación VPPA.

   Por ejemplo:

   # cfgadm -o comm=vppa,service=new -x delete_service ib

3. Compruebe que se haya eliminado el servicio de comunicación.

   Por ejemplo:

   # cfgadm -x list_services ib
   Port communication services:
                   srp
   VPPA communication services:
                   ibd
   HCA_SVC communication services:
                   hnfs