InfiniBand SR-IOV 가상 기능 사용

InfiniBand SR-IOV 장치에 대해서는 정적 SR-IOV 기능만 지원됩니다.

작동 중지 시간을 최소화하려면 루트 도메인이 지연된 재구성 상태이거나 게스트 도메인이 중지된 상태에서 모든 SR-IOV 명령을 하나의 그룹으로 실행하십시오. 이 방식으로 제한되는 SR-IOV 명령은 ldm create-vf, ldm destroy-vf, ldm add-io 및 ldm remove-io 명령입니다.

일반적으로 가상 기능은 둘 이상의 게스트 도메인에 지정되어 있습니다. 루트 도메인을 재부트하면 루트 도메인의 가상 기능에 지정된 모든 게스트 도메인이 영향을 받습니다.

사용되지 않는 InfiniBand 가상 기능으로는 오버헤드가 거의 발생하지 않으므로 즉시 사용되지 않더라도 필요한 가상 기능을 미리 만들어 작동 중지 시간이 발생하지 않도록 할 수 있습니다.

InfiniBand SR-IOV 하드웨어 요구 사항

필요한 PCIe InfiniBand SR-IOV 하드웨어에 대한 자세한 내용은 Oracle VM Server for SPARC 3.1.1.1, 3.1.1 및 3.1 릴리스 노트 의 PCIe SR-IOV 하드웨어 및 소프트웨어 요구 사항을 참조하십시오.

InfiniBand SR-IOV 지원의 경우 루트 도메인에서 Oracle Solaris 11.1.10.5.0 OS 이상이 실행 중이어야 합니다. I/O 도메인은 패치 148888-04가 설치된 Oracle Solaris 10 1/13 OS 또는 Oracle Solaris 11.1.10.5.0 OS 이상을 실행할 수 있습니다.

InfiniBand 가상 기능 만들기 및 삭제

InfiniBand 가상 기능을 만드는 방법

이 절차에서는 InfiniBand SR-IOV 가상 기능을 만드는 방법에 대해 설명합니다.

1. 루트 도메인에서 지연된 재구성을 시작합니다.

   primary# ldm start-reconf root-domain-name

2. iov=on을 설정하여 I/O 가상화를 사용으로 설정합니다.

   물리적 기능을 가진 버스에 대한 I/O 가상화가 사용으로 설정되지 않은 경우에만 이 단계를 수행합니다.

   primary# ldm set-io iov=on bus

3. 해당 루트 도메인에서 물리적 기능과 연관된 가상 기능을 하나 이상 만듭니다.

   primary# ldm create-vf pf-name

   만들려는 각 가상 기능에 대해 이 명령을 실행할 수 있습니다. –n 옵션을 사용하면 단일 명령으로 동일한 물리적 기능에서 둘 이상의 가상 기능을 만들 수도 있습니다. Example 6–7 및 ldm(1M) 매뉴얼 페이지를 참조하십시오.

4. 루트 도메인을 재부트합니다.

   다음 명령 중 하나를 실행합니다.

   • 비primary 루트 도메인을 재부트합니다.

     primary# ldm stop-domain -r root-domain

   • primary 루트 도메인을 재부트합니다.

     primary# shutdown -i6 -g0 -y

예 6-15  InfiniBand 가상 기능 만들기

다음 예에서는 /SYS/MB/RISER1/PCIE4/IOVIB.PF0 물리적 기능에 대한 정보를 보여줍니다.

• 이 물리적 기능은 PCIE 슬롯 4에 있습니다.

• IOVIB 문자열은 물리적 기능이 InfiniBand SR-IOV 장치임을 나타냅니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
pci_0                                     BUS    pci_0    primary
niu_0                                     NIU    niu_0    primary
/SYS/MB/RISER0/PCIE0                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER1/PCIE1                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER2/PCIE2                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER0/PCIE3                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER1/PCIE4                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER2/PCIE5                      PCIE   pci_0    primary  EMP
/SYS/MB/SASHBA0                           PCIE   pci_0    primary  OCC
/SYS/MB/SASHBA1                           PCIE   pci_0    primary  OCC
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC
/SYS/MB/NET2                              PCIE   pci_0    primary  OCC
/SYS/MB/RISER0/PCIE3/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_0    primary

다음 명령은 지정된 물리적 기능에 대한 세부 정보를 보여줍니다. maxvfs 값은 장치에서 지원하는 최대 가상 기능 수를 나타냅니다.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64

다음 예에서는 정적 가상 기능을 만드는 방법을 보여줍니다. 먼저 primary 도메인에서 지연된 재구성을 시작하고 pci_0 PCIe 버스에서 I/O 가상화를 사용으로 설정합니다. pci_0 버스가 이미 primary 루트 도메인에 지정되었으므로 ldm set-io 명령을 사용하여 I/O 가상화를 사용으로 설정합니다.

primary# ldm start-reconf primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.

primary# ldm set-io iov=on pci_0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------

이제 ldm create-vf 명령을 사용하여 /SYS/MB/RISER1/PCIE4/IOVIB.PF0 물리적 기능을 기반으로 가상 기능을 만듭니다.

primary# ldm create-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
----------------------------------------------------------------------
Created new vf: /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0

동일한 지연된 재구성 중 둘 이상의 가상 기능을 만들 수 있습니다. 다음 명령은 두번째 가상 기능을 만듭니다.

primary# ldm create-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------
Created new vf: /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1

마지막으로 변경 사항이 적용되도록 primary 루트 도메인을 재부트합니다.

primary# shutdown -i6 -g0 -y
Shutdown started.

Changing to init state 6 - please wait
...

InfiniBand 가상 기능을 삭제하는 방법

이 절차에서는 InfiniBand SR-IOV 가상 기능을 삭제하는 방법에 대해 설명합니다.

가상 기능은 현재 도메인에 지정되지 않은 경우 삭제할 수 있습니다. 가상 기능은 만든 순서와 역순으로만 삭제할 수 있으므로 마지막으로 만들어진 가상 기능만 삭제할 수 있습니다. 이로 인한 구성은 물리적 기능 드라이버를 통해 검증됩니다.

1. 루트 도메인에서 지연된 재구성을 시작합니다.

   primary# ldm start-reconf root-domain-name

2. 해당 루트 도메인에서 물리적 기능과 연관된 가상 기능을 하나 이상 삭제합니다.

   primary# ldm destroy-vf vf-name

   삭제하려는 각 가상 기능에 대해 이 명령을 실행할 수 있습니다. –n 옵션을 사용하면 단일 명령으로 동일한 물리적 기능에서 둘 이상의 가상 기능을 삭제할 수도 있습니다. Example 6–9 및 ldm(1M) 매뉴얼 페이지를 참조하십시오.

3. 루트 도메인을 재부트합니다.

   다음 명령 중 하나를 실행합니다.

   • 비primary 루트 도메인을 재부트합니다.

     primary# ldm stop-domain -r root-domain

   • primary 루트 도메인을 재부트합니다.

     primary# shutdown -i6 -g0 -y

예 6-16  InfiniBand 가상 기능 삭제

다음 예에서는 정적 InfiniBand 가상 기능 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1을 삭제하는 방법을 보여줍니다.

ldm list-io 명령은 버스, 물리적 기능 및 가상 기능에 대한 정보를 보여줍니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0

ldm list-io -l 명령을 사용하여 물리적 기능 및 관련 가상 기능에 대한 자세한 정보를 얻을 수 있습니다.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]

가상 기능은 도메인에 지정되지 않은 경우에만 삭제할 수 있습니다. ldm list-io -l 출력의 DOMAIN 열은 가상 기능이 지정된 도메인의 이름을 보여줍니다. 또한 가상 기능은 만든 순서와 역순으로 삭제해야 합니다. 따라서 이 예에서는 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1 가상 기능을 삭제해야만 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0 가상 기능을 삭제할 수 있습니다.

적절한 가상 기능을 식별한 후 삭제할 수 있습니다. 먼저 지연된 재구성을 시작합니다.

primary# ldm start-reconf primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.

primary# ldm destroy-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------

지연된 재구성 상태에서 둘 이상의 ldm destroy-vf 명령을 실행할 수 있습니다. 따라서 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0도 삭제할 수 있습니다.

마지막으로 변경 사항이 적용되도록 primary 루트 도메인을 재부트합니다.

primary# shutdown -i6 -g0 -y
Shutdown started.

Changing to init state 6 - please wait
...

I/O 도메인에서 InfiniBand 가상 기능 추가 및 제거

I/O 도메인에 InfiniBand 가상 기능을 추가하는 방법

이 절차에서는 InfiniBand SR-IOV 가상 기능을 I/O 도메인에 추가하는 방법을 설명합니다.

1. I/O 도메인을 중지합니다.

   primary# ldm stop-domain domain-name

2. I/O 도메인에 하나 이상의 가상 기능을 추가합니다.

   vf-name은 가상 기능의 익명 이름 또는 경로 이름입니다. 익명 이름을 사용하는 것이 좋습니다. domain-name은 가상 기능을 추가할 도메인의 이름을 지정합니다. 지정된 I/O 도메인은 비활성 또는 바인드 상태여야 합니다.

   primary# ldm add-io vf-name domain-name

3. I/O 도메인을 시작합니다.

   primary# ldm start-domain domain-name

예 6-17  InfiniBand 가상 기능 추가

다음 예에서는 iodom1 I/O 도메인에 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 가상 기능을 추가하는 방법을 보여줍니다.

먼저 지정할 가상 기능을 식별합니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0

I/O 도메인에 가상 기능을 추가하려면 가상 기능이 지정되어 있지 않아야 합니다. DOMAIN 열은 가상 기능이 지정된 도메인의 이름을 나타냅니다. 이 예에서 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2는 도메인에 지정되어 있지 않습니다.

도메인에 가상 기능을 추가하려면 도메인이 비활성 또는 바인드 상태여야 합니다.

primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.2%  0.2%  56m
iodom1           active     -n----  5000    8     8G        33%   33%  25m

ldm list-domain 출력은 iodom1 I/O 도메인이 활성 상태여서 중지되어야 함을 보여줍니다.

primary# ldm stop iodom1
LDom iodom1 stopped
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.0%  0.0%  57m
iodom1           bound      ------  5000    8     8G

이제 I/O 도메인에 가상 기능을 추가할 수 있습니다.

primary# ldm add-io /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 iodom1
primary# ldm list-io
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1

I/O 도메인이 중지된 상태에서 둘 이상의 가상 기능을 추가할 수 있습니다. 예를 들어, iodom1에 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3과 같은 지정되지 않은 다른 가상 기능을 추가할 수 있습니다. 가상 기능을 추가한 후 I/O 도메인을 다시 시작할 수 있습니다.

primary# ldm start iodom1
LDom iodom1 started
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      1.0%  1.0%  1h 18m
iodom1           active     -n----  5000    8     8G        36%   36%  1m

I/O 도메인에서 InfiniBand 가상 기능을 제거하는 방법

이 절차에서는 InfiniBand SR-IOV 가상 기능을 I/O 도메인에서 제거하는 방법을 설명합니다.

1. I/O 도메인을 중지합니다.

   primary# ldm stop-domain domain-name

2. I/O 도메인에서 하나 이상의 가상 기능을 제거합니다.

   vf-name은 가상 기능의 익명 이름 또는 경로 이름입니다. 장치 익명을 사용하는 것이 좋습니다. domain-name은 가상 기능을 제거할 도메인의 이름을 지정합니다. 지정된 I/O 도메인은 비활성 또는 바인드 상태여야 합니다.

   ---

   주 - I/O 도메인에서 가상 기능을 제거하기 전에 해당 도메인 부트에 반드시 필요한 가상 기능이 아닌지 확인하십시오.

   ---

   primary# ldm rm-io vf-name domain-name

3. I/O 도메인을 시작합니다.

   primary# ldm start-domain domain-name

예 6-18  InfiniBand 가상 기능 제거

다음 예에서는 iodom1 I/O 도메인에서 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 가상 기능을 제거하는 방법을 보여줍니다.

먼저 제거할 가상 기능을 식별합니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1

DOMAIN 열은 가상 기능이 지정된 도메인의 이름을 보여줍니다. /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 가상 기능이 iodom1에 지정되었습니다.

I/O 도메인에서 가상 기능을 제거하려면 도메인이 비활성 또는 바인드 상태여야 합니다. ldm list-domain 명령을 사용하여 도메인 상태를 확인합니다.

primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.3%  0.3%  29m
iodom1           active     -n----  5000    8     8G        17%   17%  11m

이 예에서 iodom1 도메인은 활성 상태이므로 중지되어야 합니다.

primary# ldm stop iodom1
LDOM iodom1 stopped
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.0%  0.0%  31m
iodom1           bound      ------  5000    8     8G

이제 iodom1에서 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 가상 기능을 제거할 수 있습니다.

primary# ldm rm-io /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 iodom1
primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0
...

가상 기능에 대한 DOMAIN 열이 비어 있습니다.

I/O 도메인이 중지된 상태에서 둘 이상의 가상 기능을 제거할 수 있습니다. 이 예에서는 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3 가상 기능도 제거할 수 있습니다. 가상 기능을 제거한 후 I/O 도메인을 다시 시작할 수 있습니다.

primary# ldm start iodom1
LDom iodom1 started
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.3%  0.3%  39m
iodom1           active     -n----  5000    8     8G       9.4%  9.4%  5s

InfiniBand 가상 기능을 루트 도메인에 추가 및 루트 도메인에서 제거

루트 도메인에 InfiniBand 가상 기능을 추가하는 방법

이 절차에서는 InfiniBand SR-IOV 가상 기능을 루트 도메인에 추가하는 방법을 설명합니다.

1. 지연된 재구성을 시작합니다.

   primary# ldm start-reconf root-domain

2. 루트 도메인에 하나 이상의 가상 기능을 추가합니다.

   vf-name은 가상 기능의 익명 이름 또는 경로 이름입니다. 익명 이름을 사용하는 것이 좋습니다. root-domain-name은 가상 기능을 추가할 루트 도메인의 이름을 지정합니다.

   primary# ldm add-io vf-name root-domain-name

3. 루트 도메인을 재부트합니다.

   다음 명령 중 하나를 실행합니다.

   • 비primary 루트 도메인을 재부트합니다.

     primary# ldm stop-domain -r root-domain-name

   • primary 루트 도메인을 재부트합니다.

     primary# shutdown -i6 -g0 -y

루트 도메인에서 InfiniBand 가상 기능을 제거하는 방법

이 절차에서는 InfiniBand SR-IOV 가상 기능을 루트 도메인에서 제거하는 방법을 설명합니다.

1. 지연된 재구성을 시작합니다.

   primary# ldm start-reconf root-domain

2. 루트 도메인에서 하나 이상의 가상 기능을 제거합니다.

   vf-name은 가상 기능의 익명 이름 또는 경로 이름입니다. 익명 이름을 사용하는 것이 좋습니다. root-domain-name은 가상 기능을 추가할 루트 도메인의 이름을 지정합니다.

   primary# ldm remove-io vf-name root-domain-name

3. 루트 도메인을 재부트합니다.

   다음 명령 중 하나를 실행합니다.

   • 비primary 루트 도메인을 재부트합니다.

     primary# ldm stop-domain -r root-domain-name

   • primary 루트 도메인을 재부트합니다.

     primary# shutdown -i6 -g0 -y

고급 SR-IOV 항목: InfiniBand SR-IOV

이 절에서는 InfiniBand 물리적 및 가상 기능을 식별하고 InfiniBand 물리적 기능과 가상 기능의 Logical Domains Manager 및 Oracle Solaris 뷰를 상관시키는 방법에 대해 설명합니다.

InfiniBand SR-IOV 가상 기능 나열

다음 예에서는 /SYS/MB/RISER1/PCIE4/IOVIB.PF0 물리적 기능에 대한 정보를 표시할 수 있는 여러 가지 방법을 보여줍니다. IOVIB 문자열을 포함하는 물리적 기능 이름은 InfiniBand SR-IOV 장치임을 나타냅니다.

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
pci_0                                     BUS    pci_0    primary  IOV
niu_0                                     NIU    niu_0    primary
/SYS/MB/RISER0/PCIE0                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER1/PCIE1                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER2/PCIE2                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER0/PCIE3                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER1/PCIE4                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER2/PCIE5                      PCIE   pci_0    primary  EMP
/SYS/MB/SASHBA0                           PCIE   pci_0    primary  OCC
/SYS/MB/SASHBA1                           PCIE   pci_0    primary  OCC
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC
/SYS/MB/NET2                              PCIE   pci_0    primary  OCC
/SYS/MB/RISER0/PCIE3/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF0        VF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF1        VF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF3        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1

ldm list-io -l 명령은 지정된 물리적 기능 장치 /SYS/MB/RISER1/PCIE4/IOVIB.PF0에 대한 보다 자세한 정보를 제공합니다. maxvfs 값은 물리적 장치가 지원하는 최대 가상 기능 수가 64개임을 보여줍니다. 물리적 기능과 연관된 각 가상 기능에 대해 출력은 다음을 보여줍니다.

• 기능 이름

• 기능 유형

• 버스 이름

• 도메인 이름

• 선택적 기능 상태

• 장치 경로

이 ldm list-io -l 출력은 VF0 및 VF1이 primary 도메인에 지정되었으며 VF2 및 VF3이 iodom1 I/O 도메인에 지정되었음을 보여줍니다.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,3]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,4]

InfiniBand SR-IOV 기능 식별

이 절에서는 Oracle Solaris 11 및 Oracle Solaris 10 시스템에서 InfiniBand SR-IOV 장치를 식별하는 방법에 대해 설명합니다.

ldm list-io -l 명령을 사용하여 각 물리적 기능 및 가상 기능과 연관된 Oracle Solaris 장치 경로 이름을 표시할 수 있습니다.

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,3]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,4]

Oracle Solaris 11:

Oracle Solaris 11 dladm show-phys -L 명령을 사용하여 각 IPoIB(IP over InfiniBand) 인스턴스를 물리적 카드에 일치시킬 수 있습니다. 예를 들어, 다음 명령은 슬롯 PCIE4에 이전 ldm list-io -l 예에서와 동일한 카드를 사용하는 IPoIB 인스턴스를 보여줍니다.

primary# dladm show-phys -L | grep PCIE4
net5              ibp0         PCIE4/PORT1
net6              ibp1         PCIE4/PORT2
net19             ibp8         PCIE4/PORT1
net9              ibp9         PCIE4/PORT2
net18             ibp4         PCIE4/PORT1
net11             ibp5         PCIE4/PORT2

각 InfiniBand HCA(호스트 채널 어댑터) 장치에는 GUID(전역적으로 고유한 ID)가 있습니다. 각 포트에 대해서도 GUID가 있습니다. 일반적으로 HCA에 대해 2개의 포트가 있습니다. InfiniBand HCA GUID는 어댑터를 고유하게 식별합니다. 포트 GUID는 각 HCA 포트를 고유하게 식별하고 네트워크 장치의 MAC 주소와 유사한 역할을 수행합니다. 이러한 16진수 GUID는 InfiniBand 관리 도구 및 진단 도구에서 사용됩니다.

Oracle Solaris 11 dladm show-ib 명령을 사용하여 InfiniBand SR-IOV 장치에 대한 GUID 정보를 얻을 수 있습니다. 동일한 장치에 대한 물리적 기능 및 가상 기능에는 관련된 HCA GUID 값이 있습니다. HCA GUID의 11번째 16진수는 물리적 기능과 가상 기능 간의 관계를 보여줍니다. HCAGUID 및 PORTGUID 열에서는 선행 0이 숨겨집니다.

예를 들어, 물리적 기능 PF0에는 primary 도메인에 지정된 2개의 가상 기능인 VF0과 VF1이 있습니다. 각 가상 기능의 11번째 16진수는 관련된 물리적 기능에서 1씩 증분됩니다. 따라서 PF0에 대한 GUID가 8이면 VF0 및 VF1에 대한 GUID는 각각 9와 A가 됩니다.

다음 dladm show-ib 명령 출력은 net5 및 net6 링크가 물리적 기능 PF0에 속해 있음을 보여줍니다. net19 및 net9 링크는 동일한 장치의 VF0에 속하며, net18 및 net11 링크는 VF1에 속합니다.

primary# dladm show-ib
LINK         HCAGUID         PORTGUID        PORT STATE  PKEYS
net6         21280001A17F56  21280001A17F58  2    up     FFFF
net5         21280001A17F56  21280001A17F57  1    up     FFFF
net19        21290001A17F56  14050000000001  1    up     FFFF
net9         21290001A17F56  14050000000008  2    up     FFFF
net18        212A0001A17F56  14050000000002  1    up     FFFF
net11        212A0001A17F56  14050000000009  2    up     FFFF

다음 Oracle Solaris 11 dladm show-phys 출력의 장치는 링크 간의 관계 및 원래 InfiniBand 포트 장치(ibpX)를 보여줍니다.

primary# dladm show-phys
LINK              MEDIA                STATE      SPEED  DUPLEX    DEVICE
...
net6              Infiniband           up         32000  unknown   ibp1
net5              Infiniband           up         32000  unknown   ibp0
net19             Infiniband           up         32000  unknown   ibp8
net9              Infiniband           up         32000  unknown   ibp9
net18             Infiniband           up         32000  unknown   ibp4
net11             Infiniband           up         32000  unknown   ibp5

ls -l 명령을 사용하여 실제 IB 포트(InfiniBand 포트) 장치 경로를 표시할 수 있습니다. IB 포트 장치는 ldm list-io -l 출력에 표시된 장치 경로의 하위입니다. 물리적 기능의 단위 주소는 한 부분(예: pciex15b3,673c@0)이며 가상 기능의 단위 주소는 두 부분(예: pciex15b3,1002@0,2)입니다. 단위 주소의 두번째 부분은 가상 기능 번호보다 1이 큽니다. 이 예에서는 두번째 구성 요소가 2이므로 이 장치는 가상 기능 1입니다. 다음 출력은 /dev/ibp0이 물리적 기능이며 /dev/ibp5가 가상 기능임을 보여줍니다.

primary# ls -l /dev/ibp0
lrwxrwxrwx   1 root     root          83 Apr 18 12:02 /dev/ibp0 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0/hermon@0/ibport@1,0,ipib:ibp0
primary# ls -l /dev/ibp5
lrwxrwxrwx   1 root     root          85 Apr 22 23:29 /dev/ibp5 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,2/hermon@3/ibport@2,0,ipib:ibp5

OpenFabrics ibv_devices 명령을 사용하여 OpenFabrics 장치 이름 및 노드 (HCA) GUID를 확인할 수 있습니다. 가상 기능이 있을 경우 Type 열은 기능이 물리적인지 아니면 가상인지 나타냅니다.

primary# ibv_devices
device                 node GUID            type
------              ----------------        ----
mlx4_4              0002c90300a38910         PF
mlx4_5              0021280001a17f56         PF
mlx4_0              0002cb0300a38910         VF
mlx4_1              0002ca0300a38910         VF
mlx4_2              00212a0001a17f56         VF                        
mlx4_3              0021290001a17f56         VF

Oracle Solaris 10:

Oracle Solaris 10 게스트 I/O 도메인에서 dladm show-dev 명령을 사용하여 이름의 형식이 ibdxx인 각 IPoIB 인스턴스를 표시할 수 있습니다.

# dladm show-dev
vnet0          link: up        speed: 0     Mbps       duplex: unknown
ibd0           link: up        speed: 32000 Mbps       duplex: unknown
ibd1           link: up        speed: 32000 Mbps       duplex: unknown
ibd2           link: up        speed: 32000 Mbps       duplex: unknown
ibd3           link: up        speed: 32000 Mbps       duplex: unknown

/devices/ 디렉토리의 HCA 경로 이름에 ls -l 명령을 사용하여 HCA 및 해당 HCA GUID를 추출할 수 있습니다.

# ls -l /devices/ib\:[0-9]*
crw-r--r--   1 root     sys       67,  0 Jun 12 16:27 /devices/ib:212B0001A17F56
crw-r--r--   1 root     sys       67,  0 Jun 12 16:27 /devices/ib:212C0001A17F56

ibv_devices 출력의 GUID(이 예의 경우 11번째 16진수 "B" 및 "C")는 해당 기능이 Oracle Solaris 10 도메인에 지정된 가상 기능임을 나타냅니다. /dev IPoIB 경로 이름에 ls -l 명령을 사용하여 IPoIB 인스턴스에 대한 보다 자세한 정보를 얻을 수 있습니다.

# ls -l /dev/ibd*
lrwxrwxrwx   1 root     other         29 May 23 16:26 /dev/ibd ->
../devices/pseudo/clone@0:ibd
lrwxrwxrwx   1 root     root          89 May 31 10:52 /dev/ibd0 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,3/hermon@0/ibport@1,ffff,ipib:ibd0
lrwxrwxrwx   1 root     root          89 May 31 10:52 /dev/ibd1 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,3/hermon@0/ibport@2,ffff,ipib:ibd1
lrwxrwxrwx   1 root     root          89 Jun 12 18:36 /dev/ibd2 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,4/hermon@1/ibport@1,ffff,ipib:ibd2
lrwxrwxrwx   1 root     root          89 Jun 12 18:36 /dev/ibd3 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,4/hermon@1/ibport@2,ffff,ipib:ibd3

각 경로는 ldm list-io -l 출력에 표시된 장치 경로로 시작됩니다. 가상 기능(예: pciex15b3,1002@0,4)의 단위 주소는 두 부분이며, 여기서 단위 주소의 두번째 부분은 가상 기능 번호(이 예의 경우 VF3)보다 1이 큽니다.

ibport 장치의 단위 주소는 세 부분으로, 콜론과 IPoIB 장치 인스턴스 이름이 차례로 뒤에 옵니다. 단위 주소의 첫번째 부분은 포트 번호입니다. 두번째 부분은 분할 영역 키(P-키) 16진수 값입니다. InfiniBand P-키 값은 이더넷에 대한 VLAN과 유사합니다. 세번째 부분은 문자열 ipib입니다.

ls -l /dev/ibd3 명령 출력은 ibd3 IPoIB 인스턴스가 포트 2 및 P-키 값 ffff를 사용함을 보여줍니다.