主コンテンツへ
Oracle® Exalogic Elastic Cloudマシン・オーナーズ・ガイド
リリース2.0.6.4
B71906-08
目次へ移動
目次
前
前 		次
次

10.3 Oracle SolarisでのEthernet Over InfiniBand (EoIB)の設定

この項では、Oracle SolarisにEoIBを設定する次の手順について説明します。

10.3.1 Oracle Solaris 11.1でのEthernet Over InfiniBandの設定

Oracle Solaris 11.1が稼働するExalogic計算ノードに対して、Ethernet over InfiniBand接続を設定するには、次の手順を完了します。

  1. SSHクライアント(PuTTYなど)を使用して、Sun Network QDR InfiniBandゲートウェイ・スイッチにrootとしてログインします。たとえば、el01gw04にrootとしてログインします。

  2. コマンド・プロンプトで、次のコマンドを実行します。

    el01gw04# listlinkup | grep Bridge

    このコマンドの出力の一部は次のとおりです。

    Connector 0A-ETH Present
  Bridge-0 Port 0A-ETH-1 (Bridge-0-2) up (Enabled)
  Bridge-0 Port 0A-ETH-2 (Bridge-0-2) up (Enabled)
  Bridge-0 Port 0A-ETH-3 (Bridge-0-1) up (Enabled)
  Bridge-0 Port 0A-ETH-4 (Bridge-0-1) up (Enabled)
  Bridge-0 Port 1A-ETH-1 (Bridge-1-2) down (Enabled)
  Bridge-0 Port 1A-ETH-2 (Bridge-1-2) down (Enabled)
  Bridge-0 Port 1A-ETH-3 (Bridge-1-1) up (Enabled)
  Bridge-0 Port 1A-ETH-4 (Bridge-1-1) up (Enabled)

    この例から、アップリンクを識別します。この例では、次のどのイーサネット・コネクタを使用しても、VNICを作成できます。

    • 0A-ETH-1

    • 0A-ETH-2

    • 0A-ETH-3

    • 0A-ETH-4

    • 1A-ETH-3

    • 1A-ETH-4

      注意:

      この例の手順では、1A-ETH-3を使用します。

  3. Exalogic計算ノードのGUIDを次のように識別します。

    1. VNICを必要とする計算ノードにrootとしてログインし、コマンド行でdladm show-ibコマンドを実行します。たとえば、el01cn02にrootとしてログインします。このコマンドによって、次の出力例のようなポート情報が表示されます。

      el01cn02# dladm show-ib
LINK     HCAGUID            PORTGUID           PORT  STATE  PKEYS
ibp0     21280001A0A694     21280001A0A695     1     up     FFFF
ibp1     21280001A0A694     21280001A0A696     2     up     FFFF

      出力に、2つのポートに関する情報が表示されます。この出力の中から、どのポートGUIDを使用するかを決定する必要があります。この例の手順では、ポートGUID 21280001A0A695(ポート1)を使用します。

    2. 同じ計算ノードで次のコマンドをコマンド行で実行して、InfiniBandファブリック内に存在するすべてのアクティブなリンクに関する情報を表示します。

      el01cn02# iblinkinfo.pl -R | grep hostname

      hostnameは、計算ノードの名前です。たとえば、el01cn02です。

      次に、このコマンドの出力例を示します。

      el01cn02# iblinkinfo.pl -R | grep el01cn02
65   15[  ] ==( 4X 10.0 Gbps Active/  LinkUp)==>    121   2[  ] "el01cn02 EL-C 192.168.10.29 HCA-1" (Could be 5.0 Gbps)
64   15[  ] ==( 4X 10.0 Gbps Active/  LinkUp)==>    120   1[  ] "el01cn02 EL-C 192.168.10.29 HCA-1" (Could be 5.0 Gbps)

      この出力例の、スイッチlidの値を書き留めておきます。ポート1のスイッチLIDは64(出力の最初の列)です。ポート2のスイッチLIDは65です。

  4. iblinkinfo出力の最初の列と次のibswitchesコマンドのLID値を比較して、どのゲートウェイ・スイッチがスイッチLIDに関連付けられているかを判別します。

    1. 計算ノードのコマンド行で、ibswitchesコマンドを実行します。このコマンドの出力例は次のとおりです。

      el01cn02# ibswitches
Switch  : 0x002128548042c0a0 ports 36 "SUN IB QDR GW switch el01gw03" enhanced port 0 lid 63 lmc 0
Switch  : 0x002128547f22c0a0 ports 36 "SUN IB QDR GW switch el01gw02" enhanced port 0 lid 6 lmc 0
Switch  : 0x00212856d0a2c0a0 ports 36 "SUN IB QDR GW switch el01gw04" enhanced port 0 lid 65 lmc 0
Switch  : 0x00212856d162c0a0 ports 36 "SUN IB QDR GW switch el01gw05" enhanced port 0 lid 64 lmc 0

    2. この出力例で、LID値64および65が関連付けられているスイッチを確認します。この例では、GUID 0x00212856d162c0a0のゲートウェイ・スイッチel01gw05のスイッチLID64が、計算ノードel01cn02内のHCAのポート1に関連付けられています。

      注意:

      この例の手順では、このゲートウェイ・スイッチのLID64を使用します。

  5. 次の形式のダミーMACアドレスを定義します。

    <el01gw05スイッチib GUIDから最後の3つのオクテット値> : <計算ノードの管理IPの最後の3つのオクテット値(16進数形式)>

    例:

    スイッチel01gw05のGUID: 00:21:28:56:d1:62:c0:a0

    スイッチGUIDの最後の3つのオクテット値: 62:c0:a0

    計算ノードの管理IPアドレス: 192.168.1.5

    計算ノードのIPアドレスにおける最後の3つのオクテット値: 168.1.5

    16進数での最後の3つのオクテット値: a8:01:05

    VNICのMACアドレス: 62:c0:a0:a8:01:05

    注意:

    各MACアドレスは、一意である必要があります。MACアドレス(ユニキャスト)の最上位バイトでは、偶数のみがサポートされています。前述のアドレスは例です。

  6. 手順4で識別したel01gw05に、rootとしてログインします。IPアドレスまたはホスト名を使用してログインします。

  7. ログオン時に、VNICの構成を許可するには、次のコマンドを実行します。

    el01gw05# allowhostconfig

  8. VLANを作成するには、次のコマンドを実行します。

    e101gw05# createvlan 1A-ETH-3 -vlan 1706 -pkey default

  9. 次のようにshowvlanコマンドを実行することで作成したVLANのIDを書き留めておきます。

    # showvlan
  Connector/LAG  VLN   PKEY
  -------------  ---   ----
  1A-ETH-3        0    ffff
  1A-ETH-3        1706 ffff

    この例では、VLAN IDは1706です。

  10. 次のコマンドを実行して、次のようにスイッチ上にVNICを作成します。

    el01gw05# createvnic 1A-ETH-3 -guid 00:21:28:00:01:A0:A6:95 -mac 62:c0:a0:a8:01:05 -pkey default

    注意:

    この新しいリソースには、VLANがタグ付けされていません。

    VNICが作成されます。

  11. VNICが作成されたことを確認するには、showvnicsコマンドを実行します。次の出力例が表示されます。

    ID  STATE FLG IOA_GUID                NODE                        IID  MAC               VLN PKEY GW
--- ----- --- ----------------------- --------------------------- ---- ----------------- --- ---- --------
0   UP    N   00:21:28:00:01:A0:A6:95 e101cn01 EL-C 192.168.10.29 0000 62:c0:a0:a8:01:05 NO  ffff 1A-ETH-3

  12. 計算ノードで次のコマンドを実行して、その計算ノードで使用できるVNICを一覧表示します。

    el01cn02# dladm show-phys | grep eoib

    このコマンドは、計算ノードに存在するeoib0などの新しいインタフェースの名前を表示します。net7などの対応するリンクを書き留めておきます。これにより、インタフェースの状態も表示されます。

    注意:

    毎回一意の{ETHコネクタ、ポートGUID}タプルを選択するかぎり、前述の手順を繰り返すことで、同じ計算ノード上に、ネットワーク管理されたタグなしVNICをさらに作成できます。同じ方法でこの2番目のVNICを構成すると、そのVNICが計算ノードに(たとえば、リンクnet8のeoib1インタフェースとして)表示されます。これら2つのEthernet over InfiniBand (EoIB)インタフェースは、bond1などのIPMPグループ内に構成することをお薦めします。

    ネットワーク管理されたタグなしVNICが作成済である{ETHコネクタ、ポートGUID}タプルに、ホスト管理VNICを作成するには、「Oracle Solaris: VNICの作成およびVLANとの関連付け」で説明されている手順を完了します。

  13. 手順1から12に従うことで、別のゲートウェイ・スイッチのコネクタを使用して同じ計算ノードに対して別のVNICを作成します。このインタフェースの名前とそれに対応するリンクを書き留めておきます。たとえば、eoib1インタフェースとそのリンクnet8です。

  14. 次のファイルを削除します。

    • /etc/hostname.bond1

    • /etc/hostname.eoib0

    • /etc/hostname.eoib0

  15. rebootコマンドを実行することで、計算ノードを再起動します。

  16. 次のコマンドを実行することで、計算ノード上で手順8で作成したVNICを再度作成します。

    hostname# dladm create-vnic -l link_name [-v vlan_id] interface_name

    例:

    el01cn02# dladm create-vnic -l net7 eoib0
el01cn02# dladm create-vnic -l net8 eoib1

    VLANタグ付きVNICを作成する場合は、-vオプションを使用して、次のようにVLAN IDを追加します。

    el01cn02# dladm create-vnic -l net7 -v 1706 eoib0
el01cn02# dladm create-vnic -l net8 -v 1706 eoib1

  17. 次のようにdladm show-vnicコマンドを使用することで、VNICが作成されたかどうかを確認できます。

    hostname# dladm show-vnic

  18. 高可用性を目的としてeoib0およびeoib1をIPMPグループ内に構成するには、次のように実行します。

    1. 次のコマンドを実行することで、InfiniBandスイッチ上に作成したVNICと関連付けられているデータ・リンクを特定します。

      el01cn02# dladm show-phys -m

      作成したVNICと関連付けられているリンク名(net7やnet8など)を特定します。

    2. 次のコマンドを実行することで、IPMPグループを作成します。

      hostname# ipadm create-ipmp bond_name

      例:

      el01cn02# ipadm create-ipmp bond1

    3. 次のようにipadm create-ipコマンドを実行することで、手順18.aで書き留めた2つのリンクのIPインタフェースを作成します。

      hostname# ipadm create-ip link_name

      例:

      el01cn02# ipadm create-ip net7
el01cn02# ipadm create-ip net8

    4. 次のコマンドを実行することで、手順16で作成したVNICのインタフェースを作成します。

      hostname# ipadm create-ip interface_name

      例:

      el01cn02# ipadm create-ip eoib0
el01cn02# ipadm create-ip eoib1

    5. 次のコマンドを実行することで、それらのインタフェースのうちの1つを、結合されたインタフェースのスタンバイとして設定します。

      hostname# ipadm set-ifprop -p standby=on -m ip interface_name

      例:

      e101cn02# ipadm set-ifprop -p standby=on -m ip eoib1

    6. 次のコマンドを実行することで、手順18.bで作成したipmp結合に2つのインタフェースを追加します。

      hostname# ipadm add-ipmp -i interface_name1 -i interface_name2 bond_name

      例:

      e101cn02# ipadm add-ipmp -i eoib0 -i eoib1 bond1

    7. 次のコマンドを実行することで、作成した結合されたインタフェースのIPアドレスを設定します。

      hostname# ipadm create-addr –T static –a local=ipv4_address/CIDR_netmask bond_name/v4

      例:

      e101cn02# ipadm create-addr –T static –a local=10.100.44.68/22 bond1/v4

    8. 次のコマンドを実行することで、結合されたインタフェースが起動していることを確認します。 

      hostname# ipadm show-if
IFNAME     CLASS    STATE    ACTIVE OVER
lo0        loopback ok       yes    --
net0       ip       ok       yes    --
net4       ip       ok       yes    --
net8       ip       down     no     --
net9       ip       down     no     --
bond0_0    ip       ok       yes    --
bond0_1    ip       ok       no     --
bond1     ipmp     ok       yes    eoib1 eoib0
eoib1      ip       ok       no     --
eoib0      ip       ok       yes    --

    9. 次のコマンドを実行することで、結合されたインタフェースにIPアドレスが割り当てられたことを確認します。

      # ipadm show-addr
ADDROBJ           TYPE     STATE        ADDR
lo0/v4            static   ok           127.0.0.1/8
net0/v4           static   ok           138.3.2.87/21
net4/v4           static   ok           169.254.182.77/24
bond0/v4          static   ok           192.168.14.101/24
bond1/v4          static   ok           138.3.48.35/22
bond1/v4a         static   ok           138.3.51.1/22
lo0/v6            static   ok           ::1/128
net0/v6           addrconf ok          fe80::221:28ff:fed7:e944/10

10.3.2 Oracle Solaris 11.2でのEthernet Over InfiniBandの設定

Oracle Solaris 11.2のEECS 2.0.6.2.0ベース・イメージが稼働するExalogic計算ノードに対して、Ethernet over InfiniBand接続を設定するには、次の手順を実行します。

  1. SSHクライアント(PuTTYなど)を使用して、計算ノードにrootとしてログインします。たとえば、el01cn16にrootとしてログインします。
  2. 次のコマンドを実行して、イメージのバージョンがEECS 2.0.6.2.0より大きく、カーネルのバージョンがSunOS 11.2であることを確認します。
    root@el01cn16:~# imageinfo

    このコマンドの出力の一部は次のとおりです。

    Exalogic 2.0.6.2.0 (build:r240216)
Image version       : 2.0.6.2.0
. . .
Kernel version      : SunOS 11.2
. . .
  3. 次のコマンドを実行して、InfiniBand (IB)データリンクの名前を取得します。
    root@el01cn16:~# dladm show-phys

    次に示すコマンドの出力の一部に、IBデータリンクの名前としてnet4およびnet5が表示されています。

    LINK              MEDIA                STATE      SPEED  DUPLEX    DEVICE
. . .
net4              Infiniband           up         32000  unknown   ibp0
net5              Infiniband           up         32000  unknown   ibp1
  4. 2つ目のターミナルを開き、net5が接続されているスイッチ(この例ではel01sw-ib02)にrootとしてログインします。

    showvlanコマンドを実行して、VLAN 0がデフォルトのパーティションに関連付けられ、VLAN IDが正しいIBパーティションに作成されたことを確認します。VLAN IDが3066で、正しいIBパーティションに関連付けられているコマンドの出力の例を、次に示します。

    [root@el01sw-ib02 ~]# showvlan
   Connector/LAG  VLN   PKEY
   -------------  ---   ------
   0A-ETH-1        0    0xffff
   0A-ETH-1        3066 0x8206
  5. net4が接続されているスイッチ(この例ではel01sw-ib03)で、前述の手順を繰り返します。
  6. 計算ノード・セッションから、dladmコマンドを使用して、VLAN 3066で使用されているIBパーティションに、計算ノードGUIDが含まれていることを確認します。

    次に、net4およびnet5のコマンド出力の一部を示します。

    root@el01cn16:~# dladm show-ib net4
LINK  HCAGUID    PORTGUID       PORT STATE  GWNAME      GWPORT   PKEYS
net4  2128000... 21280001EFF369 1    up     el01sw-ib02 0a-eth-1 7FFF,8206,FFFF
                                            el01sw-ib02 0a-eth-2
                                            el01sw-ib02 0a-eth-3
                                            . . .

root@el01cn16:~# dladm show-ib net5
LINK  HCAGUID    PORTGUID       PORT STATE  GWNAME      GWPORT   PKEYS
net5  2128000... 21280001EFF36A 2    up     el01sw-ib02 0a-eth-1 7FFF,8206,FFFF
                                            el01sw-ib02 0a-eth-2
                                            el01sw-ib02 0a-eth-3
                                            . . .

    両方のIBデータリンクについて、コマンドがPORTGUID列に表示するデータを、書き留めておいてください。

  7. コマンドiblinkinfo、ibswitchesおよびibstatを実行して、IB HCAポート、IBデータリンクおよびIBスイッチの間のマッピングを判別します。次に、1番目のコマンドの出力の一部を示します。
    root@el01cn16:~# iblinkinfo|grep cn16
. . .
   14   33[  ] ==(...)==>  72    2[  ] "el01cn16 EL-C  192.168.10.16 HCA-1" ( )
   15   33[  ] ==(...)==>  71    1[  ] "el01cn16 EL-C  192.168.10.16 HCA-1" ( )

    コマンドの出力には、2種類の値の組合せが表示されています。

    • スイッチLID 14、ベースLID 72、ポート2

    • スイッチLID 15、ベースLID 71、ポート1

    次に、2番目のコマンドの出力の一部を示します。

    root@el01cn16:~# ibswitches
. . .
Switch  : 0x0010e00b4520c0a0 ports 36 "SUN IB QDR GW switch el01sw-ib02 10.128.21.186 leaf:1" enhanced port 0 lid 14 lmc 0
. . .
Switch  : 0x0010e00b6d80c0a0 ports 36 "SUN IB QDR GW switch el01sw-ib03 10.128.21.187 leaf:2" enhanced port 0 lid 15 lmc 0

    前述のコマンドの出力で表示されたLIDおよびポートのデータは、次のスイッチと一致します。

    • スイッチLID 14、ベースLID 72は、el01sw-ib02に対応しています。

    • スイッチLID 15、ベースLID 71は、el01sw-ib03に対応しています。

    次に、3番目で最後のコマンドの出力の一部を示します。

    root@el01cn16:~# ibstat
. . .
        Port 1:
                . . .
                Base lid: 71
                . . .
                Port GUID: 0x0021280001eff369
                Link layer: IB
        Port 2:
                . . .
                Base lid: 72
                . . .
                Port GUID: 0x0021280001eff36a
                Link layer: IB

    この出力では、0x0021280001eff369がnet4のポートGUIDであり、0x0021280001eff36aがnet5のポートGUIDであることが示されています(6を参照)。ここで、次のようにマッピングを判別できます。

    • port1 -> net4 -> el01sw-ib03

    • port2 -> net5 -> el01sw-ib02

  8. 次のコマンドを実行して、EoIBデータリンクをnet4に対して作成し、手順の結果を表示します。
    root@el01cn16:~# dladm create-eoib  -l net4 -g  el01sw-ib03 -c 0A-ETH-1 eoib0

root@el01cn16:~# dladm show-eoib
LINK       GWNAME       GWPORT    GWID FLAGS  SPEED  MACADDRESS      OVER
eoib0      el01sw-ib03  0a-eth-1  506  aH---- 10000  0:0:0:0:0:0     net4
  9. 別のターミナルを開き、net4が接続されているスイッチ(この例ではel01sw-ib03)にrootとしてログインします。

    次のコマンドを実行して、VLANタグのないVNICを作成し、手順の結果を表示します。次に、コマンド出力の例を示します。

    [root@el01sw-ib03 ~]# createvnic 0A-ETH-1 -guid 0021280001EFF369 -mac 
80:C0:A0:09:16:01
vNIC created

[root@el01sw-ib03 ~]# showvnics |grep cn16                                    

105 WAIT-IOA    N 0021280001EFF369        el01cn16 EL-C  192.168.10.16  0000 80:C0:A0:09:16:01 NO  0xffff 0A-ETH-1
  10. 計算ノード・セッションから、VLANタグのあるホスト・ベースのVNICを作成します。次のコマンドを実行します。
    root@el01cn16:~# dladm create-vnic -l eoib0 -v 3066 vnic3066_0

root@el01cn16:~# dladm show-vnic

    次に、 show-vnicコマンドの出力の例を示します。

    LINK                OVER              SPEED  MACADDRESS        MACADDRTYPE VIDS
vnic3066_0          eoib0             10000  2:8:20:42:a1:f1   random      3066
  11. 次のコマンドを実行して、EoIBデータリンクをnet5に対して作成します。
    root@el01cn16:~# dladm create-eoib  -l net5 -g  el01sw-ib02 -c 0A-ETH-1 eoib1

root@el01cn16:~# dladm show-eoib

    次に、show-eoibコマンドの出力の例を示します。

    LINK        GWNAME      GWPORT   GWID FLAGS  SPEED  MACADDRESS        OVER
eoib0       el01sw-ib03 0a-eth-1 506  aHnU-- 10000  80:c0:a0:9:16:1   net4
eoib1       el01sw-ib02 0a-eth-1 286  aH---- 10000  0:0:0:0:0:0       net5
  12. net5が接続されているスイッチにログインして、次のコマンドを実行し、VLANタグのないVNICを作成します。
    [root@el01sw-ib02 ~]# createvnic 0A-ETH-1 -guid 0021280001eff36a -mac
00:14:4F:09:16:02
vNIC created

    次のコマンドを実行して、VNICの作成の結果を表示します。

    [root@el01sw-ib02 ~]# showvnics|grep cn16
108 WAIT-IOA    N 0021280001EFF36A        el01cn16 EL-C  192.168.10.16  0000
00:14:4F:09:16:02 NO  0xffff 0A-ETH-1
  13. 計算ノード・セッションから次のコマンドを実行して、VLANタグのあるVNICを作成します。
    root@el01cn16:~# dladm create-vnic -l eoib1 -v 3066 vnic3066_1
00:14:4F:09:16:02
vNIC created

    次のコマンドを実行して、VNICの作成の結果を表示します。

    root@el01cn16:~# dladm show-vnic
LINK                OVER              SPEED  MACADDRESS        MACADDRTYPE VIDS
vnic3066_0          eoib0             10000  2:8:20:42:a1:f1   random      3066
vnic3066_1          eoib1             10000  2:8:20:10:7f:d3   random      3066
  14. 次のコマンドを実行して、IPMP bond1グループを作成します。
    root@el01cn16:~# ipadm create-ip vnic3066_0

root@el01cn16:~# ipadm create-ip vnic3066_1

root@el01cn16:~# ipadm delete-ipmp bond1

root@el01cn16:~# ipadm create-ipmp -i vnic3066_0 -i vnic3066_1 bond1

root@el01cn16:~# ipadm create-addr -T static -a 192.168.100.16/24 bond1/v4

root@el01cn16:~# ipadm set-ifprop -p standby=on -m ip vnic3066_1

root@el01cn16:~# ipmpstat -i
INTERFACE   ACTIVE  GROUP       FLAGS     LINK      PROBE     STATE
vnic3066_1  no      bond1       is-----   up        disabled  ok
vnic3066_0  yes     bond1       --mbM--   up        disabled  ok
bond0_1     no      bond0       is-----   up        disabled  ok
bond0_0     yes     bond0       --mbM--   up        disabled  ok
  15. スイッチel01sw-ib03に対するセッションから、次のコマンドを実行して、アクティブなVNICがスイッチel01sw-ib03上にあることを確認します。
    [root@el01sw-ib03 ~]# showvnics |grep cn16
105 UP          N 0021280001EFF369        el01cn16 EL-C  192.168.10.16  31744 80:C0:A0:09:16:01 NO  0xffff 0A-ETH-1
106 UP          H 0021280001EFF369        el01cn16 EL-C  192.168.10.16  64513 02:08:20:42:A1:F1 3066 0x8206 0A-ETH-1
  16. スイッチel01sw-ib02上では、IPMPグループのフェイルオーバーの手順が実行されるまで、パッシブなVNICは表示されません。スイッチel01sw-ib02に対するセッションから、次のコマンドを実行して、VNICの状態を確認します。
    [root@el01sw-ib02 ~]# showvnics|grep cn16
108 UP          N 0021280001EFF36A        el01cn16 EL-C  192.168.10.16  31744  00:14:4F:09:16:02 NO  0xffff 0A-ETH-1
前
前 		次
次
目次へ移動
目次