InfiniBand SR-IOV 仮想機能の使用

InfiniBand SR-IOV デバイスでは、静的 SR-IOV 機能のみがサポートされます。

停止時間を最小限に抑えるため、ルートドメインが遅延再構成中か、ゲストドメインが停止している間に、すべての SR-IOV コマンドをグループとして実行します。この方法で制限されている SR-IOV コマンドは、ldm create-vf、ldm destroy-vf、ldm add-io、および ldm remove-io コマンドです。

一般に、仮想機能は複数のゲストドメインに割り当てられます。ルートドメインのリブートは、ルートドメインの仮想機能が割り当てられているすべてのゲストドメインに影響を与えます。

使用されていない InfiniBand 仮想機能のオーバーヘッドはほとんどないため、すぐに使用しない場合でも、事前に必要な仮想機能を作成しておくことによって、停止時間を回避できます。

InfiniBand SR-IOV のハードウェア要件

必要な PCIe InfiniBand SR-IOV ハードウェアについては、Oracle VM Server for SPARC 3.1.1.1、3.1.1 および 3.1 リリースノート のPCIe SR-IOV のハードウェアおよびソフトウェア要件を参照してください。

InfiniBand SR-IOV のサポートのため、ルートドメインで Oracle Solaris 11.1.10.5.0 以上の OS が実行している必要があります。I/O ドメインでは、Oracle Solaris 10 1/13 OS とパッチ 148888-04 または Oracle Solaris 11.1.10.5.0 以上の OS を実行できます。

InfiniBand 仮想機能の作成および破棄

InfiniBand 仮想機能を作成する方法

この手順では、InfiniBand SR-IOV 仮想機能を作成する方法について説明します。

ルートドメインで遅延再構成を開始します。
```
primary# ldm start-reconf root-domain-name
```
iov=on を設定して I/O 仮想化を有効にします。
この手順は、物理機能を持つバスに対して、I/O 仮想化がすでに有効にされていない場合にのみ実行します。
```
primary# ldm set-io iov=on bus
```
そのルートドメインから物理機能に関連付けられている 1 つ以上の仮想機能を作成します。
```
primary# ldm create-vf pf-name
```
このコマンドは、作成する仮想機能ごとに実行できます。–n オプションを使用すると、1 回のコマンドで同じ物理機能から複数の仮想機能を作成することもできます。Example 6–7 および ldm(1M) のマニュアルページを参照してください。
ルートドメインをリブートします。
次のいずれかのコマンドを実行します。
- primary 以外のルートドメインをリブートします。
```
primary# ldm stop-domain -r root-domain
```
- primary ルートドメインをリブートします。
```
primary# shutdown -i6 -g0 -y
```

使用例 6-15 InfiniBand 仮想機能の作成

次の例に、/SYS/MB/RISER1/PCIE4/IOVIB.PF0 物理機能に関する情報を示します。

この物理機能は PCIE スロット 4 にあります。
文字列 IOVIB は、物理機能が InfiniBand SR-IOV デバイスであることを示します。

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
pci_0                                     BUS    pci_0    primary
niu_0                                     NIU    niu_0    primary
/SYS/MB/RISER0/PCIE0                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER1/PCIE1                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER2/PCIE2                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER0/PCIE3                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER1/PCIE4                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER2/PCIE5                      PCIE   pci_0    primary  EMP
/SYS/MB/SASHBA0                           PCIE   pci_0    primary  OCC
/SYS/MB/SASHBA1                           PCIE   pci_0    primary  OCC
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC
/SYS/MB/NET2                              PCIE   pci_0    primary  OCC
/SYS/MB/RISER0/PCIE3/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_0    primary

次のコマンドは、指定された物理機能についての詳細を表示します。値 maxvfs は、デバイスがサポートする仮想機能の最大数を示しています。

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64

次の例は、静的仮想機能を作成する方法を示しています。まず、primary ドメインで遅延再構成を開始し、pci_0 PCIe バスで I/O 仮想化を有効にします。pci_0 バスはすでに primary ルートドメインに割り当てられているため、ldm set-io コマンドを使用して、I/O 仮想化を有効にします。

primary# ldm start-reconf primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.

primary# ldm set-io iov=on pci_0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------

これで、ldm create-vf コマンドを使用して、/SYS/MB/RISER1/PCIE4/IOVIB.PF0 物理機能から仮想機能を作成できます。

primary# ldm create-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
----------------------------------------------------------------------
Created new vf: /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0

同じ遅延再構成中に複数の仮想機能を作成できます。次のコマンドは、2 つ目の仮想機能を作成します。

primary# ldm create-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------
Created new vf: /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1

最後に、primary ルートドメインをリブートして、変更を有効にします。

primary# shutdown -i6 -g0 -y
Shutdown started.

Changing to init state 6 - please wait
...

InfiniBand 仮想機能を破棄する方法

この手順では、InfiniBand SR-IOV 仮想機能を破棄する方法について説明します。

仮想機能が現在ドメインに割り当てられていない場合は、その仮想機能を破棄できます。仮想機能は作成した逆の順序でしか破棄できないため、破棄できるのは最後に作成した仮想機能だけです。結果として作成される構成は、物理機能ドライバによって検証されます。

ルートドメインで遅延再構成を開始します。
```
primary# ldm start-reconf root-domain-name
```
そのルートドメインから物理機能に関連付けられている 1 つ以上の仮想機能を破棄します。
```
primary# ldm destroy-vf vf-name
```
このコマンドは、破棄する仮想機能ごとに実行できます。–n オプションを使用すると、1 回のコマンドで同じ物理機能から複数の仮想機能を破棄することもできます。Example 6–9 および ldm(1M) のマニュアルページを参照してください。
ルートドメインをリブートします。
次のいずれかのコマンドを実行します。
- primary 以外のルートドメインをリブートします。
```
primary# ldm stop-domain -r root-domain
```
- primary ルートドメインをリブートします。
```
primary# shutdown -i6 -g0 -y
```

使用例 6-16 InfiniBand 仮想機能の破棄

次の例に、静的 InfiniBand 仮想機能 /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1 を破棄する方法を示します。

ldm list-io コマンドは、バス、物理機能、および仮想機能に関する情報を表示します。

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0

ldm list-io -l コマンドを使用して、物理機能と関連する仮想機能の詳細を取得できます。

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]

仮想機能は、ドメインに割り当てられていない場合にのみ破棄できます。ldm list-io -l 出力の DOMAIN 列に、仮想機能が割り当てられているドメインの名前が表示されます。また、仮想機能は、作成した逆の順序で破棄する必要があります。そのため、この例では、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0 仮想機能を破棄する前に、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1 仮想機能を破棄する必要があります。

適切な機能を識別したら、それを破棄できます。まず、遅延再構成を開始します。

primary# ldm start-reconf primary
Initiating a delayed reconfiguration operation on the primary domain.
All configuration changes for other domains are disabled until the primary
domain reboots, at which time the new configuration for the primary domain
will also take effect.

primary# ldm destroy-vf /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1
-----------------------------------------------------------------------
Notice: The primary domain is in the process of a delayed reconfiguration.
Any changes made to the primary domain will only take effect after it reboots.
-----------------------------------------------------------------------

遅延再構成中に 1 つ以上の ldm destroy-vf コマンドを発行できます。したがって、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0 も破棄できます。

最後に、primary ルートドメインをリブートして、変更を有効にします。

primary# shutdown -i6 -g0 -y
Shutdown started.

Changing to init state 6 - please wait
...

I/O ドメイン上の InfiniBand 仮想機能の追加および削除

InfiniBand 仮想機能を I/O ドメインに追加する方法

この手順では、InfiniBand SR-IOV 仮想機能を I/O ドメインに追加する方法について説明します。

I/O ドメインを停止します。
```
primary# ldm stop-domain domain-name
```
I/O ドメインに、1 つ以上の仮想機能を追加します。
vf-name は、仮想機能の仮名またはパス名です。推奨される方法は、仮名を使用することです。domain-name は仮想機能を追加するドメインの名前を指定します。指定された I/O ドメインは、アクティブでない状態またはバインドされた状態である必要があります。
```
primary# ldm add-io vf-name domain-name
```
I/O ドメインを起動します。
```
primary# ldm start-domain domain-name
```

使用例 6-17 InfiniBand 仮想機能の追加

次の例に、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 仮想機能を iodom1 I/O ドメインに追加する方法を示します。

まず、割り当てる仮想機能を識別します。

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0

I/O ドメインに仮想機能を追加するには、割り当て解除する必要があります。DOMAIN 列は、仮想機能が割り当てられているドメインの名前を示します。この例では、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 がドメインに割り当てられていません。

ドメインに仮想機能を追加するには、ドメインがアクティブでないかバインドされた状態である必要があります。

primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.2%  0.2%  56m
iodom1           active     -n----  5000    8     8G        33%   33%  25m

ldm list-domain 出力には、iodom1 I/O ドメインがアクティブであることが示されているため、それを停止する必要があります。

primary# ldm stop iodom1
LDom iodom1 stopped
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.0%  0.0%  57m
iodom1           bound      ------  5000    8     8G

これで、I/O ドメインに仮想機能を追加できます。

primary# ldm add-io /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 iodom1
primary# ldm list-io
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1

I/O ドメインの停止中に 1 つ以上の仮想機能を追加できます。たとえば、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3 などのほかの未割り当ての仮想機能を iodom1 に追加できます。仮想機能を追加したら、I/O ドメインを再起動できます。

primary# ldm start iodom1
LDom iodom1 started
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      1.0%  1.0%  1h 18m
iodom1           active     -n----  5000    8     8G        36%   36%  1m

InfiniBand 仮想機能を I/O ドメインから削除する方法

この手順では、InfiniBand SR-IOV 仮想機能を I/O ドメインから削除する方法について説明します。

I/O ドメインを停止します。
```
primary# ldm stop-domain domain-name
```
I/O ドメインから、1 つ以上の仮想機能を削除します。
vf-name は、仮想機能の仮名またはパス名です。推奨される方法は、デバイスの仮名を使用することです。domain-name は仮想機能を削除するドメインの名前を指定します。指定された I/O ドメインは、アクティブでない状態またはバインドされた状態である必要があります。

注 - 仮想機能を I/O ドメインから削除する前に、それがそのドメインのブートに必須ではないことを確認してください。
```
primary# ldm rm-io vf-name domain-name
```
I/O ドメインを起動します。
```
primary# ldm start-domain domain-name
```

使用例 6-18 InfiniBand 仮想機能の削除

次の例に、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 仮想機能を iodom1 I/O ドメインから削除する方法を示します。

まず、削除する仮想機能を識別します。

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
pci_0                                     BUS    pci_0    primary  IOV
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1

DOMAIN 列に、仮想機能が割り当てられているドメインの名前が表示されます。/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 仮想機能は iodom1 に割り当てられています。

I/O ドメインから仮想機能を削除するには、ドメインがアクティブでないかバインドされた状態である必要があります。ldm list-domain コマンドを使用して、ドメインの状態を判断します。

primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.3%  0.3%  29m
iodom1           active     -n----  5000    8     8G        17%   17%  11m

この例では、iodom1 ドメインがアクティブであるため、停止する必要があります。

primary# ldm stop iodom1
LDOM iodom1 stopped
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.0%  0.0%  31m
iodom1           bound      ------  5000    8     8G

これで、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 仮想機能を iodom1 から削除できます。

primary# ldm rm-io /SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2 iodom1
primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN STATUS
----                                      ----   ---      ------ ------
...
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0
...

仮想機能の DOMAIN 列は空になっています。

I/O ドメインの停止中に複数の仮想機能を削除できます。この例では、/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3 仮想機能も削除できます。仮想機能を削除したら、I/O ドメインを再起動できます。

primary# ldm start iodom1
LDom iodom1 started
primary# ldm list-domain
NAME             STATE      FLAGS   CONS    VCPU  MEMORY   UTIL  NORM  UPTIME
primary          active     -n-cv-  UART    32    64G      0.3%  0.3%  39m
iodom1           active     -n----  5000    8     8G       9.4%  9.4%  5s

ルートドメインへの InfiniBand 仮想機能の追加および削除

InfiniBand 仮想機能をルートドメインに追加する方法

この手順では、InfiniBand SR-IOV 仮想機能をルートドメインに追加する方法について説明します。

遅延再構成を開始します。
```
primary# ldm start-reconf root-domain
```
ルートドメインに、1 つ以上の仮想機能を追加します。
vf-name は、仮想機能の仮名またはパス名です。推奨される方法は、仮名を使用することです。root-domain-name は仮想機能を追加するルートドメインの名前を指定します。
```
primary# ldm add-io vf-name root-domain-name
```
ルートドメインをリブートします。
次のいずれかのコマンドを実行します。
- primary 以外のルートドメインをリブートします。
```
primary# ldm stop-domain -r root-domain-name
```
- primary ルートドメインをリブートします。
```
primary# shutdown -i6 -g0 -y
```

InfiniBand 仮想機能をルートドメインから削除する方法

この手順では、InfiniBand SR-IOV 仮想機能をルートドメインから削除する方法について説明します。

遅延再構成を開始します。
```
primary# ldm start-reconf root-domain
```
ルートドメインから、1 つ以上の仮想機能を削除します。
vf-name は、仮想機能の仮名またはパス名です。推奨される方法は、仮名を使用することです。root-domain-name は仮想機能を追加するルートドメインの名前を指定します。
```
primary# ldm remove-io vf-name root-domain-name
```
ルートドメインをリブートします。
次のいずれかのコマンドを実行します。
- primary 以外のルートドメインをリブートします。
```
primary# ldm stop-domain -r root-domain-name
```
- primary ルートドメインをリブートします。
```
primary# shutdown -i6 -g0 -y
```

高度な SR-IOV のトピック: InfiniBand SR-IOV

このセクションでは、InfiniBand 物理機能および仮想機能を識別し、Logical Domains Manager と InfiniBand 物理機能および仮想機能の Oracle Solaris ビューを関連付ける方法について説明します。

InfiniBand SR-IOV 仮想機能の一覧表示

次の例に、/SYS/MB/RISER1/PCIE4/IOVIB.PF0 物理機能に関する情報を表示するさまざまな方法を示します。文字列 IOVIB を含む物理機能名は、それが InfiniBand SR-IOV デバイスであることを示します。

primary# ldm list-io
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
pci_0                                     BUS    pci_0    primary  IOV
niu_0                                     NIU    niu_0    primary
/SYS/MB/RISER0/PCIE0                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER1/PCIE1                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER2/PCIE2                      PCIE   pci_0    primary  EMP
/SYS/MB/RISER0/PCIE3                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER1/PCIE4                      PCIE   pci_0    primary  OCC
/SYS/MB/RISER2/PCIE5                      PCIE   pci_0    primary  EMP
/SYS/MB/SASHBA0                           PCIE   pci_0    primary  OCC
/SYS/MB/SASHBA1                           PCIE   pci_0    primary  OCC
/SYS/MB/NET0                              PCIE   pci_0    primary  OCC
/SYS/MB/NET2                              PCIE   pci_0    primary  OCC
/SYS/MB/RISER0/PCIE3/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET0/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF0                   PF     pci_0    primary
/SYS/MB/NET2/IOVNET.PF1                   PF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF0        VF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF1        VF     pci_0    primary
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER0/PCIE3/IOVIB.PF0.VF3        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1

ldm list-io -l コマンドは、指定した物理機能デバイス /SYS/MB/RISER1/PCIE4/IOVIB.PF0 に関する詳細を表示します。maxvfs 値は、物理デバイスでサポートされている仮想機能の最大数が 64 であることを示しています。物理機能に関連付けられた各仮想機能では、出力が次のように示されます。

機能名
機能のタイプ
バス名
ドメイン名
機能のオプションのステータス
デバイスパス

この ldm list-io -l の出力には、VF0 および VF1 が primary ドメインに割り当てられており、VF2 および VF3 が iodom1 I/O ドメインに割り当てられていることが示されます。

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,3]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,4]

InfiniBand SR-IOV 機能の識別

このセクションでは、Oracle Solaris 11 および Oracle Solaris 10 システム上の InfiniBand SR-IOV デバイスを識別する方法について説明します。

ldm list-io -l コマンドを使用して、各物理機能および仮想機能に関連付けられている Oracle Solaris デバイスパス名を表示します。

primary# ldm list-io -l /SYS/MB/RISER1/PCIE4/IOVIB.PF0
NAME                                      TYPE   BUS      DOMAIN   STATUS
----                                      ----   ---      ------   ------
/SYS/MB/RISER1/PCIE4/IOVIB.PF0            PF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0]
    maxvfs = 64
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF0        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,1]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF1        VF     pci_0    primary
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,2]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF2        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,3]
/SYS/MB/RISER1/PCIE4/IOVIB.PF0.VF3        VF     pci_0    iodom1
[pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0,4]

Oracle Solaris 11:

Oracle Solaris 11 dladm show-phys -L コマンドを使用して、各 IP over InfiniBand (IPoIB) インスタンスをその物理カードに一致させます。たとえば、次のコマンドは、スロット PCIE4 にあるカード (前の ldm list-io -l の例で示された同じカード) を使用する IPoIB インスタンスを表示します。

primary# dladm show-phys -L | grep PCIE4
net5              ibp0         PCIE4/PORT1
net6              ibp1         PCIE4/PORT2
net19             ibp8         PCIE4/PORT1
net9              ibp9         PCIE4/PORT2
net18             ibp4         PCIE4/PORT1
net11             ibp5         PCIE4/PORT2

各 InfiniBand ホストチャネルアダプタ (HCA) デバイスは、グローバル一意識別子 (GUID) を持ちます。各ポートに GUID があります (通常は HCA への 2 つのポートがあります)。InfiniBand HCA の GUID は、アダプタを一意に識別します。ポート GUID は各 HCA ポートを一意に識別し、ネットワークデバイスの MAC アドレスに似た役割を持ちます。これらの 16 進数の GUID は、InfiniBand 管理ツールと診断ツールで使用されます。

Oracle Solaris 11 dladm show-ib コマンドを使用して、InfiniBand SR-IOV デバイスに関する GUID 情報を取得します。同じデバイスの物理機能と仮想機能は、関連した HCA GUID 値を持ちます。HCA GUID の 16 進数の 11 桁目は、物理機能とその仮想機能の関係を示します。HCAGUID 列と PORTGUID 列の先頭のゼロは表示されません。

たとえば、物理機能 PF0 には 2 つの仮想機能 VF0 および VF1 があり、これらは primary ドメインに割り当てられています。各仮想機能の 16 進数の 11 桁目は、関連する物理機能から 1 つ増やされます。そのため、PF0 の GUID が 8 の場合、VF0 と VF1 の GUID はそれぞれ 9 と A になります。

次の dladm show-ib コマンド出力は、net5 および net6 リンクが物理機能 PF0 に属することを示しています。net19 および net9 リンクは同じデバイスの VF0 に属し、net18 および net11 リンクは VF1 に属します。

primary# dladm show-ib
LINK         HCAGUID         PORTGUID        PORT STATE  PKEYS
net6         21280001A17F56  21280001A17F58  2    up     FFFF
net5         21280001A17F56  21280001A17F57  1    up     FFFF
net19        21290001A17F56  14050000000001  1    up     FFFF
net9         21290001A17F56  14050000000008  2    up     FFFF
net18        212A0001A17F56  14050000000002  1    up     FFFF
net11        212A0001A17F56  14050000000009  2    up     FFFF

次の Oracle Solaris 11 dladm show-phys 出力のデバイスは、リンクと基盤の InfiniBand ポートデバイス (ibpX) の関係を示しています。

primary# dladm show-phys
LINK              MEDIA                STATE      SPEED  DUPLEX    DEVICE
...
net6              Infiniband           up         32000  unknown   ibp1
net5              Infiniband           up         32000  unknown   ibp0
net19             Infiniband           up         32000  unknown   ibp8
net9              Infiniband           up         32000  unknown   ibp9
net18             Infiniband           up         32000  unknown   ibp4
net11             Infiniband           up         32000  unknown   ibp5

実際の InfiniBand ポート (IB ポート) デバイスパスを表示するには、ls -l コマンドを使用します。IB ポートデバイスは、ldm list-io -l 出力で表示されるデバイスパスの子です。物理機能は、pciex15b3,673c@0 のような 1 部のユニットアドレスを持ち、仮想機能は 2 部のユニットアドレス pciex15b3,1002@0,2 を持ちます。ユニットアドレスの 2 番目の部分は、仮想機能の数値より 1 つ大きくなります。(この例では、2 番目の成分は 2 であるため、このデバイスは仮想機能 1 です。)次の出力は、/dev/ibp0 が物理機能で、/dev/ibp5 が仮想機能であることを示しています。

primary# ls -l /dev/ibp0
lrwxrwxrwx   1 root     root          83 Apr 18 12:02 /dev/ibp0 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,673c@0/hermon@0/ibport@1,0,ipib:ibp0
primary# ls -l /dev/ibp5
lrwxrwxrwx   1 root     root          85 Apr 22 23:29 /dev/ibp5 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,2/hermon@3/ibport@2,0,ipib:ibp5

OpenFabrics ibv_devices コマンドを使用して、OpenFabrics デバイス名とノード (HCA) GUID を表示できます。仮想機能が存在する場合、Type 列は機能が物理か仮想かを示しています。

primary# ibv_devices
device                 node GUID            type
------              ----------------        ----
mlx4_4              0002c90300a38910         PF
mlx4_5              0021280001a17f56         PF
mlx4_0              0002cb0300a38910         VF
mlx4_1              0002ca0300a38910         VF
mlx4_2              00212a0001a17f56         VF                        
mlx4_3              0021290001a17f56         VF

Oracle Solaris 10:

Oracle Solaris 10 ゲスト I/O ドメインで、dladm show-dev コマンドを使用して、各 IPoIB インスタンスを表示します。これは ibdxx の形式の名前を持ちます。

# dladm show-dev
vnet0          link: up        speed: 0     Mbps       duplex: unknown
ibd0           link: up        speed: 32000 Mbps       duplex: unknown
ibd1           link: up        speed: 32000 Mbps       duplex: unknown
ibd2           link: up        speed: 32000 Mbps       duplex: unknown
ibd3           link: up        speed: 32000 Mbps       duplex: unknown

/devices/ ディレクトリ内の HCA パス名に対して ls -l コマンドを使用して、HCA とその HCA GUID を抽出できます。

# ls -l /devices/ib\:[0-9]*
crw-r--r--   1 root     sys       67,  0 Jun 12 16:27 /devices/ib:212B0001A17F56
crw-r--r--   1 root     sys       67,  0 Jun 12 16:27 /devices/ib:212C0001A17F56

ibv_devices 出力の GUID (16 進数の 11 桁目、この例では "B" と "C" に注意) は、これらが Oracle Solaris 10 ドメインに割り当てられている仮想機能であることを示しています。/dev IPoIB パス名に対して、ls -l コマンドを使用して、IPoIB インスタンスに関する詳細を取得できます。

# ls -l /dev/ibd*
lrwxrwxrwx   1 root     other         29 May 23 16:26 /dev/ibd ->
../devices/pseudo/clone@0:ibd
lrwxrwxrwx   1 root     root          89 May 31 10:52 /dev/ibd0 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,3/hermon@0/ibport@1,ffff,ipib:ibd0
lrwxrwxrwx   1 root     root          89 May 31 10:52 /dev/ibd1 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,3/hermon@0/ibport@2,ffff,ipib:ibd1
lrwxrwxrwx   1 root     root          89 Jun 12 18:36 /dev/ibd2 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,4/hermon@1/ibport@1,ffff,ipib:ibd2
lrwxrwxrwx   1 root     root          89 Jun 12 18:36 /dev/ibd3 ->
../devices/pci@400/pci@1/pci@0/pci@0/pciex15b3,1002@0,4/hermon@1/ibport@2,ffff,ipib:ibd3

各パスは、ldm list-io -l の出力に示されるデバイスパスから始まります。pciex15b3,1002@0,4 などの仮想機能は、2 部のユニットアドレスを持ち、ユニットアドレスの 2 番目の部分が仮想機能の数字より 1 つ大きくなります (この例では VF3)。

ibport デバイスは、後にコロンと IPoIB デバイスインスタンス名が付いた 3 部のユニットアドレスを持ちます。ユニットアドレスの最初の部分はポート番号です。2 番目の部分は、パーティションキー (P キー) の 16 進値です。InfiniBand P キー値は、VLANs for Ethernet に似ています。3 番目の部分は文字列 ipib です。

ls -l /dev/ibd3 コマンド出力は、ibd3 IPoIB インスタンスがポート 2 と P キー値 ffff を使用していることを示しています。

ナビゲーションリンクをスキップ
印刷ビューの終了
	Oracle^® VM Server for SPARC 3.1 管理ガイド