Uso de funciones virtuales SR-IOV InfiniBand

Solo se admite la función SR-IOV estática para dispositivos SR-IOV InfiniBand.

Para minimizar el tiempo de inactividad, ejecute todos los comandos de SR-IOV como un grupo mientras el dominio raíz está en reconfiguración retrasada o mientras el dominio invitado está detenido. Los comandos de SR-IOV que presentan esta limitación son ldm create-vf, ldm destroy-vf, ldm add-io y ldm remove-io.

Normalmente, las funciones virtuales están asignadas a más de un dominio invitado. Un reinicio del dominio raíz afecta a todos los dominios invitados a los que se les han asignado las funciones virtuales del dominio raíz.

Debido a que una función virtual InfiniBand tiene muy poca sobrecarga, puede evitar el tiempo de inactividad creando anticipadamente las funciones virtuales necesarias, aunque no las utilice de inmediato.

Requisitos de hardware de SR-IOV InfiniBand

Para obtener información sobre los requisitos hardware de SR-IOV InfiniBand PCIe, consulte Requisitos de hardware y software de SR-IOV PCIe de Notas de la versión de Oracle VM Server for SPARC 3.1.1.1, 3.1.1 y 3.1 .

Para admitir SR-IOV InfiniBand, el dominio raíz debe ejecutar, como mínimo, el sistema operativo Oracle Solaris 11.1.10.5.0. Los dominios de E/S pueden ejecutar el sistema operativo Oracle Solaris 10 1/13 más el parche 148888-04, o, al menos, el sistema operativo Oracle Solaris 11.1.10.5.0.

Creación y destrucción de funciones virtuales InfiniBand

Cómo crear una función virtual InfiniBand

Este procedimiento describe cómo crear una función virtual SR-IOV InfiniBand.

1. Inicie una reconfiguración retrasada en el dominio raíz.

   primary# ldm start-reconf root-domain-name

2. Active la virtualización de E/S estableciendo iov=on.

   Realice este paso solo si aún no está activada la virtualización de E/S para el bus que tiene la función física.

   primary# ldm set-io iov=on bus

3. Cree una función virtual o más que estén asociadas a las funciones físicas de ese dominio raíz.

   primary# ldm create-vf pf-name

   Puede ejecutar este comando para cada función virtual que desea crear. También puede utilizar la opción –n para crear más de una función virtual a partir de la misma función física en un único comando. Consulte Example 6–7 y la página del comando man ldm(1M).

4. Reinicie el dominio raíz.

   Ejecute uno de los siguientes comandos:

   • Reinicie el dominio raíz que no es primary.

     primary# ldm stop-domain -r root-domain

   • Reinicie el dominio raíz primary.

     primary# shutdown -i6 -g0 -y

Ejemplo 6-15  Creación de una función virtual InfiniBand

En el ejemplo siguiente, se muestra información sobre la función física /SYS/MB/RISER1/PCIE4/IOVIB.PF0:

• Esta función física se encuentra en la ranura 4 PCIe.

• La cadena IOVIB indica que la función física es un dispositivo SR-IOV InfiniBand.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
pci_0                                     BUS    pci_0    primary
niu_0                                     NIU    niu_0    primary
/SYS/MB/RISER0/PCIE0                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER1/PCIE1                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER2/PCIE2                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER0/PCIE3                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER1/PCIE4                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER2/PCIE5                      PCIE   pci_0    primary  EMP
/SYS/MB/SASHBA0                           PCIE   pci_0    primary  OCC
/SYS/MB/SASHBA1                           PCIE   pci_0    primary  OCC
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC
/SYS/MB/NET2                              PCIE   pci_0    primary  OCC
/SYS/MB/RISER0/PCIE3/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_0    primary

El siguiente comando muestra más detalles sobre la función física especificada. El valor maxvfs indica el número máximo de funciones virtuales que admite el dispositivo.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64

El siguiente ejemplo muestra cómo crear una función virtual estática. Primero, inicie una reconfiguración retrasada en el dominio primary y active la virtualización de E/S en el bus PCIe pci_0. Debido a que el bus pci_0 ya se ha asignado al dominio raíz primary, utilice el comando ldm set-io para activar la virtualización de E/S.

primary# ldm start-reconf primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.

primary# ldm set-io iov=on pci_0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------

Ahora, utilice el comando ldm create-vf para crear una función virtual a partir de la función física /SYS/MB/RISER1/PCIE4/IOVIB.PF0.

primary# ldm create-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
----------------------------------------------------------------------
Created new vf: /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0

Tenga en cuenta que puede crear más de una función virtual durante la misma reconfiguración retrasada. El siguiente comando crea una segunda función virtual:

primary# ldm create-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------
Created new vf: /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1

Por último, reinicie el dominio raíz primary para que se apliquen los cambios.

primary# shutdown -i6 -g0 -y
Shutdown started.

Changing to init state 6 - please wait
...

Cómo destruir una función virtual InfiniBand

Este procedimiento describe cómo destruir una función virtual SR-IOV InfiniBand.

Una función virtual se puede destruir si actualmente no está asignada a un dominio. Una función virtual solo se puede destruir en el orden secuencial inverso de creación, por lo que solo la última función virtual creada se puede destruir. La configuración resultante es validada por el controlador de la función física.

1. Inicie una reconfiguración retrasada en el dominio raíz.

   primary# ldm start-reconf root-domain-name

2. Destruya una función virtual o más que estén asociadas a las funciones físicas de ese dominio raíz.

   primary# ldm destroy-vf vf-name

   Puede ejecutar este comando para cada función virtual que desea destruir. También puede utilizar la opción –n para destruir más de una función virtual a partir de la misma función física en un único comando. See Example 6–9 y la página del comando man ldm(1M).

3. Reinicie el dominio raíz.

   Ejecute uno de los siguientes comandos:

   • Reinicie el dominio raíz que no es primary.

     primary# ldm stop-domain -r root-domain

   • Reinicie el dominio raíz primary.

     primary# shutdown -i6 -g0 -y

Ejemplo 6-16  Destrucción de una función virtual InfiniBand

El siguiente ejemplo muestra cómo destruir una función virtual InfiniBand estática, /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1.

El comando ldm list-io muestra información sobre los buses, las funciones físicas y las funciones virtuales.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0

Puede obtener más información sobre la función física y las funciones virtuales relacionadas ejecutando el comando ldm list-io -l.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]

Una función virtual se puede destruir únicamente si no está asignada a un dominio. La columna DOMAIN (DOMINIO) de la salida de ldm list-io -l muestra el nombre de cualquier dominio al que está asignada una función virtual. Además, las funciones virtuales se deben destruir en el orden inverso de su creación. Por lo tanto, en este ejemplo, se debe destruir la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1 antes de que se pueda destruir la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0.

Después de identificar la función virtual correspondiente, puede destruirla. Primero, inicie una reconfiguración retrasada.

primary# ldm start-reconf primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.

primary# ldm destroy-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------

Durante una reconfiguración retrasada, puede emitir más de un comando ldm destroy-vf. Por lo tanto, también puede destruir la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0.

Por último, reinicie el dominio raíz primary para que se apliquen los cambios.

primary# shutdown -i6 -g0 -y
Shutdown started.

Changing to init state 6 - please wait
...

Agregación y eliminación de funciones virtuales InfiniBand en dominios de E/S

Cómo agregar una función virtual InfiniBand a un dominio de E/S

Este procedimiento describe cómo agregar una función virtual SR-IOV InfiniBand a un dominio de E/S.

1. Detenga el dominio de E/S.

   primary# ldm stop-domain domain-name

2. Agregue una función virtual o más al dominio de E/S.

   vf-name es el seudónimo o el nombre de ruta de la función virtual. La práctica recomendada es utilizar el seudónimo. domain-name especifica el nombre del dominio al que se agrega la función virtual. El dominio especificado debe estar en estado inactivo o enlazado.

   primary# ldm add-io vf-name domain-name

3. Inicie el dominio de E/S.

   primary# ldm start-domain domain-name

Ejemplo 6-17  Adición de una función virtual InfiniBand

El siguiente ejemplo muestra cómo agregar la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 al dominio de E/S iodom1.

Primero, identifique la función virtual que desea asignar.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0

Para agregar una función virtual a un dominio de E/S, debe estar sin asignar. La columna DOMAIN (DOMINIO) indica el nombre del dominio al que está asignada la función virtual. En este caso, /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 no está asignada a ningún dominio.

Para agregar una función virtual a un dominio, el dominio debe estar en estado inactivo o enlazado.

primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.2%  0.2%  56m
iodom1           active     -n----  5000    8     8G        33%   33%  25m

La salida de ldm list-domain muestra que el dominio de E/S iodom1 está activo, por lo tanto, es necesario detenerlo.

primary# ldm stop iodom1
LDom iodom1 stopped
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.0%  0.0%  57m
iodom1           bound      ------  5000    8     8G

Ahora puede agregar la función virtual al dominio de E/S.

primary# ldm add-io /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 iodom1
primary# ldm list-io
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1

Tenga en cuenta que puede agregar más de una función virtual mientras un dominio de E/S está detenido. Por ejemplo, puede agregar otras funciones virtuales sin asignar, como /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3 a iodom1. Después de agregar las funciones virtuales, puede reiniciar el dominio de E/S.

primary# ldm start iodom1
LDom iodom1 started
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      1.0%  1.0%  1h 18m
iodom1           active     -n----  5000    8     8G        36%   36%  1m

Cómo eliminar una función virtual InfiniBand de un dominio de E/S

Este procedimiento describe cómo eliminar una función virtual SR-IOV InfiniBand de un dominio de E/S.

1. Detenga el dominio de E/S.

   primary# ldm stop-domain domain-name

2. Elimine una función virtual o más del dominio de E/S.

   vf-name es el seudónimo o el nombre de ruta de la función virtual. La práctica recomendada es utilizar el seudónimo del dispositivo. domain-name especifica el nombre del dominio del que se elimina la función virtual. El dominio especificado debe estar en estado inactivo o enlazado.

   ---

   Notas - Antes de eliminar la función virtual del dominio de E/S, asegúrese de que no sea imprescindible para iniciar dicho dominio.

   ---

   primary# ldm rm-io vf-name domain-name

3. Inicie el dominio de E/S.

   primary# ldm start-domain domain-name

Ejemplo 6-18  Eliminación de una función virtual InfiniBand

El siguiente ejemplo muestra cómo eliminar la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 del dominio de E/S iodom1.

Primero, identifique la función virtual que desea eliminar.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1

La columna DOMAIN (DOMINIO) muestra el nombre del dominio al que está asignada la función virtual. La función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 está asignada a iodom1.

Para eliminar una función virtual de un dominio de E/S, el dominio debe estar estado inactivo o enlazado. Use el comando ldm list-domain para determinar el estado del dominio.

primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.3%  0.3%  29m
iodom1           active     -n----  5000    8     8G        17%   17%  11m

En este caso, el dominio iodom1 está activo y, por lo tanto, es necesario detenerlo.

primary# ldm stop iodom1
LDOM iodom1 stopped
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.0%  0.0%  31m
iodom1           bound      ------  5000    8     8G

Ahora puede eliminar la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 de iodom1.

primary# ldm rm-io /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 iodom1
primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0
...

Tenga en cuenta que la columna DOMAIN (DOMINIO) de la función virtual ahora está vacía.

Puede eliminar más de una función virtual mientras un dominio de E/S está detenido. En este ejemplo, también puede eliminar la función virtual /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3. Después de eliminar las funciones virtuales, puede reiniciar el dominio de E/S.

primary# ldm start iodom1
LDom iodom1 started
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.3%  0.3%  39m
iodom1           active     -n----  5000    8     8G       9.4%  9.4%  5s

Adición y eliminación funciones de virtuales InfiniBand para dominios raíz

Cómo agregar una función virtual InfiniBand a un dominio raíz

Este procedimiento describe cómo agregar una función virtual SR-IOV InfiniBand a un dominio raíz.

1. Inicie una reconfiguración retrasada.

   primary# ldm start-reconf root-domain

2. Agregue una función virtual o más al dominio raíz.

   vf-name es el seudónimo o el nombre de ruta de la función virtual. La práctica recomendada es utilizar el seudónimo. domain-name especifica el nombre del dominio raíz al que se agrega la función virtual.

   primary# ldm add-io vf-name root-domain-name

3. Reinicie el dominio raíz.

   Ejecute uno de los siguientes comandos:

   • Reinicie el dominio raíz que no es primary.

     primary# ldm stop-domain -r root-domain-name

   • Reinicie el dominio raíz primary.

     primary# shutdown -i6 -g0 -y

Cómo eliminar una función virtual InfiniBand de un dominio raíz

Este procedimiento describe cómo eliminar una función virtual SR-IOV InfiniBand de un dominio raíz.

1. Inicie una reconfiguración retrasada.

   primary# ldm start-reconf root-domain

2. Elimine una función virtual o más del dominio raíz.

   vf-name es el seudónimo o el nombre de ruta de la función virtual. La práctica recomendada es utilizar el seudónimo. domain-name especifica el nombre del dominio raíz al que se agrega la función virtual.

   primary# ldm remove-io vf-name root-domain-name

3. Reinicie el dominio raíz.

   Ejecute uno de los siguientes comandos:

   • Reinicie el dominio raíz que no es primary.

     primary# ldm stop-domain -r root-domain-name

   • Reinicie el dominio raíz primary.

     primary# shutdown -i6 -g0 -y

Temas avanzados sobre SR-IOV: SR-IOV InfiniBand

En esta sección, se describe cómo identificar las funciones físicas y virtuales InfiniBand, y cómo correlacionar la vista de Logical Domains Manager y Oracle Solaris de las funciones físicas y virtuales InfiniBand.

Visualización de funciones virtuales SR-IOV InfiniBand

En el ejemplo siguiente, se muestran diferentes maneras de mostrar información sobre la función física /SYS/MB/RISER1/PCIE4/IOVIB.PF0. El nombre de una función física que incluye la cadena IOVIB indica que se trata de un dispositivo SR-IOV InfiniBand.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
pci_0                                     BUS    pci_0    primary  IOV
niu_0                                     NIU    niu_0    primary
/SYS/MB/RISER0/PCIE0                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER1/PCIE1                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER2/PCIE2                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER0/PCIE3                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER1/PCIE4                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER2/PCIE5                      PCIE   pci_0    primary  EMP
/SYS/MB/SASHBA0                           PCIE   pci_0    primary  OCC
/SYS/MB/SASHBA1                           PCIE   pci_0    primary  OCC
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC
/SYS/MB/NET2                              PCIE   pci_0    primary  OCC
/SYS/MB/RISER0/PCIE3/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF0        VF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF1        VF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF3        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1

El comando ldm list-io -l proporciona información más detallada sobre el dispositivo de la función física especificada, /SYS/MB/RISER1/PCIE4/IOVIB.PF0. El valor maxvfs indica que el número máximo de funciones virtuales que admite el dispositivo físico es 64. Para cada función virtual asociada con la función física, la salida muestra lo siguiente:

• Nombre de la función

• Tipo de función

• Nombre del bus

• Nombre de dominio

• Estado opcional de la función

• Ruta del dispositivo

Esta salida de ldm list-io -l muestra que VF0 y VF1 están asignadas al dominio primary, y que VF2 y VF3 están asignadas al dominio de E/S iodom1.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,3]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,4]

Identificación de las funciones SR-IOV InfiniBand

En esta sección, se describe cómo identificar dispositivos SR-IOV InfiniBand en sistemas Oracle Solaris 11 y Oracle Solaris 10.

Utilice el comando ldm list-io -l para mostrar el nombre de la ruta del dispositivo Oracle Solaris que está asociado con cada función física y cada función virtual.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,3]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,4]

Oracle Solaris 11:

Utilice el comando dladm show-phys -l de Oracle Solaris 11 para establecer una coincidencia entre cada instancia de IP a través de InfiniBand (IPoIB) y su tarjeta física. Por ejemplo, el siguiente comando muestra las instancias de IPoIB que utilizan la tarjeta en la ranura PCIE4, que es la misma tarjeta que se muestra en el ejemplo anterior de ldm list-io -l.

primary# dladm show-phys -L | grep PCIE4
net5              ibp0         PCIE4/PORT1
net6              ibp1         PCIE4/PORT2
net19             ibp8         PCIE4/PORT1
net9              ibp9         PCIE4/PORT2
net18             ibp4         PCIE4/PORT1
net11             ibp5         PCIE4/PORT2

Cada dispositivo adaptador de canal de host (HCA) InfiniBand tiene un ID único global (GUID). También hay GUID para cada puerto (normalmente, hay dos puertos para un HCA). Un GUID de un HCA InfiniBand identifica el adaptador de manera exclusiva. El GUID de puerto identifica de manera exclusiva cada puerto del HCA y desempeña un rol similar al de una dirección MAC de un dispositivo de red. Las herramientas de diagnóstico y herramientas de gestión InfiniBand utilizan estos GUID de 16 dígitos hexadecimales.

Utilice el comando dladm show-ib de Oracle Solaris 11 para obtener información sobre el GUID de los dispositivos SR-IOV InfiniBand. Las funciones físicas y virtuales del mismo dispositivo tienen valores relacionados de GUID de HCA. El dígito hexadecimal 11 del GUID del HCA muestra la relación entre una función física y sus funciones virtuales. Tenga en cuenta que en las columnas HCAGUID y PORTGUID se suprimen los ceros iniciales.

Por ejemplo, la función física PF0 tiene dos funciones virtuales, VF0 y VF1, que se asignan al dominio primary. El dígito hexadecimal 11 de cada función virtual se incrementa en un valor de uno respecto de la función física relacionada. Por lo tanto, si el GUID de PF0 es 8, los GUID de VF0 y VF1 serán 9 y A, respectivamente.

La siguiente salida del comando dladm show-ib muestra que los enlaces net5 y net6 pertenecen a la función física PF0. Los enlaces net19 y net9 pertenecen a VF0 del mismo dispositivo, mientras que net18 y net11 pertenecen a VF1.

primary# dladm show-ib
LINK         HCAGUID         PORTGUID        PORT STATE  PKEYS
net6         21280001A17F56  21280001A17F58  2    up     FFFF
net5         21280001A17F56  21280001A17F57  1    up     FFFF
net19        21290001A17F56  14050000000001  1    up     FFFF
net9         21290001A17F56  14050000000008  2    up     FFFF
net18        212A0001A17F56  14050000000002  1    up     FFFF
net11        212A0001A17F56  14050000000009  2    up     FFFF

El dispositivo en la siguiente salida de dladm show-física de Oracle Solaris 11 muestra la relación entre los enlaces y los dispositivos de puerto InfiniBand subyacentes (ibpX).

primary# dladm show-phys
LINK              MEDIA                STATE      SPEED  DUPLEX    DEVICE
...
net6              Infiniband           up         32000  unknown   ibp1
net5              Infiniband           up         32000  unknown   ibp0
net19             Infiniband           up         32000  unknown   ibp8
net9              Infiniband           up         32000  unknown   ibp9
net18             Infiniband           up         32000  unknown   ibp4
net11             Infiniband           up         32000  unknown   ibp5

Utilice el comando ls -l para mostrar las rutas reales de los dispositivos de puerto InfiniBand (puerto IB). Un dispositivo de puerto IB es un elemento secundario de una ruta de dispositivo que se muestra en la salida de ldm list-io -l. Una función física tiene una dirección de unidad de una sola parte, como pciex15b3,673c@0, mientras que las funciones virtuales tienen una dirección de unidad de dos partes, pciex15b3,1002@0,2. La segunda parte de la dirección de la unidad tiene un valor de uno más alto que el número de la función virtual. (En este caso, el segundo componente es 2, por lo que este dispositivo corresponde a la función virtual 1). La siguiente salida muestra que /dev/ibp0 es una función física y /dev/ibp5 es una función virtual.

primary# ls -l /dev/ibp0
lrwxrwxrwx   1 root     root          83 Apr 18 12:02 /dev/ibp0 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0/hermon@0/ibport@1,0,ipib:ibp0
primary# ls -l /dev/ibp5
lrwxrwxrwx   1 root     root          85 Apr 22 23:29 /dev/ibp5 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,2/hermon@3/ibport@2,0,ipib:ibp5

Puede utilizar el comando ibv_devices de OpenFabrics para ver el nombre del dispositivo de OpenFabrics y el GUID del nodo (HCA). Cuando hay funciones virtuales presentes, la columna Type (Tipo) indica si la función es física o virtual.

primary# ibv_devices
device                 node GUID            type
------              ----------------        ----
mlx4_4              0002c90300a38910         PF
mlx4_5              0021280001a17f56         PF
mlx4_0              0002cb0300a38910         VF
mlx4_1              0002ca0300a38910         VF
mlx4_2              00212a0001a17f56         VF                        
mlx4_3              0021290001a17f56         VF

Oracle Solaris 10:

En un dominio de E/S invitado de Oracle Solaris 10, utilice el comando dladm show-dev para mostrar cada instancia de IPoIB, cuyo nombre tiene el formatoibdxx.

# dladm show-dev
vnet0          link: up        speed: 0     Mbps       duplex: unknown
ibd0           link: up        speed: 32000 Mbps       duplex: unknown
ibd1           link: up        speed: 32000 Mbps       duplex: unknown
ibd2           link: up        speed: 32000 Mbps       duplex: unknown
ibd3           link: up        speed: 32000 Mbps       duplex: unknown

Puede utilizar el comando ls -l en los nombres de ruta de HCA en el directorio /devices/ para extraer un HCA y su GUID de HCA.

# ls -l /devices/ib\:[0-9]*
crw-r--r--   1 root     sys       67,  0 Jun 12 16:27 /devices/ib:212B0001A17F56
crw-r--r--   1 root     sys       67,  0 Jun 12 16:27 /devices/ib:212C0001A17F56

Los GUID de la salida de ibv_devices (observe el dígito hexadecimal 11, "B" y "C" en este caso) indican que se trata de funciones virtuales asignadas al dominio de Oracle Solaris 10. Puede obtener más información sobre las instancias de IPoIB ejecutando el comando ls -l en los nombres de ruta IPoIB de /dev.

# ls -l /dev/ibd*
lrwxrwxrwx   1 root     other         29 May 23 16:26 /dev/ibd ->
../devices/pseudo/clone@0:ibd
lrwxrwxrwx   1 root     root          89 May 31 10:52 /dev/ibd0 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,3/hermon@0/ibport@1,ffff,ipib:ibd0
lrwxrwxrwx   1 root     root          89 May 31 10:52 /dev/ibd1 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,3/hermon@0/ibport@2,ffff,ipib:ibd1
lrwxrwxrwx   1 root     root          89 Jun 12 18:36 /dev/ibd2 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,4/hermon@1/ibport@1,ffff,ipib:ibd2
lrwxrwxrwx   1 root     root          89 Jun 12 18:36 /dev/ibd3 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,4/hermon@1/ibport@2,ffff,ipib:ibd3

Cada ruta comienza con la ruta del dispositivo que se muestra en la salida de ldm list-io -l. Las funciones virtuales como pciex15b3,1002@0,4 tienen una dirección de unidad de dos partes, donde la segunda parte tiene un valor de uno más alto que el número de la función virtual (en este caso, VF3).

El dispositivo ibport tiene una dirección de tres partes seguida de dos puntos y, a continuación, el nombre de la instancia del dispositivo IPoIB. La primera parte de la dirección de la unidad es el número de puerto. La segunda parte es el valor hexadecimal de la clave de partición. Tenga en cuenta que los valores de clave de partición de InfiniBand son similares a las VLAN para Ethernet. La tercera parte es una cadena ipib.

La salida del comando ls -l /dev/ibd3 muestra que la instancia de IPoIB ibd3 utiliza el puerto 2 y el valor de clave de partición ffff.