| Oracle® Exalogic Elastic Cloudマシン・オーナーズ・ガイド リリース2.0.6.4 B71906-08 |
|
 前 |
 次 |
Oracle Linuxが稼働するExalogic計算ノードに対して、Ethernet over InfiniBand接続を設定するには、次の手順を完了します。
SSHクライアント(PuTTYなど)を使用して、Sun Network QDR InfiniBandゲートウェイ・スイッチにログインします。rootユーザーとしてログインすることをお薦めします。たとえば、el01gw04にrootとしてログインします。
コマンド・プロンプトで、次のコマンドを実行します。
el01gw04# listlinkup | grep Bridge
次に、listlinkupコマンドの出力例を示します。
Connector 0A-ETH Present Bridge-0 Port 0A-ETH-1 (Bridge-0-2) up (Enabled) Bridge-0 Port 0A-ETH-2 (Bridge-0-2) up (Enabled) Bridge-0 Port 0A-ETH-3 (Bridge-0-1) up (Enabled) Bridge-0 Port 0A-ETH-4 (Bridge-0-1) up (Enabled) Bridge-0 Port 1A-ETH-1 (Bridge-1-2) down (Enabled) Bridge-0 Port 1A-ETH-2 (Bridge-1-2) down (Enabled) Bridge-0 Port 1A-ETH-3 (Bridge-1-1) up (Enabled) Bridge-0 Port 1A-ETH-4 (Bridge-1-1) up (Enabled)
この出力から、アップリンクを識別します。次のどのイーサネット・コネクタを使用しても、VNICを作成できることを確認してください。
0A-ETH-1
0A-ETH-2
0A-ETH-3
0A-ETH-4
1A-ETH-3
1A-ETH-4
注意:
この手順では、例として1A-ETH-3を使用します。
次のように、VNICを必要とするExalogic計算ノードのGUIDを調べます。
VNICを必要とする計算ノードにrootとしてログインし、コマンド行でibstatコマンドを実行します。たとえば、el01cn01にrootとしてログインします。
例:
el01cn01# ibstat CA 'mlx4_0' CA type: MT26428 Number of ports: 2 Firmware version: 2.7.8100 Hardware version: b0 Node GUID: 0x0021280001a0a364 System image GUID: 0x0021280001a0a367 Port 1: State: Active Physical state: LinkUp Rate: 40 Base lid: 120 LMC: 0 SM lid: 6 Capability mask: 0x02510868 Port GUID: 0x0021280001a0a365 Link layer: IB Port 2: State: Active Physical state: LinkUp Rate: 40 Base lid: 121 LMC: 0 SM lid: 6 Capability mask: 0x02510868 Port GUID: 0x0021280001a0a366 Link layer: IB
出力に、2つのポートに関する情報が表示されます。VNICの作成に使用するポートのGUIDおよびBase lidを識別します。
この手順の例では、GUID 0x0021280001a0a366およびBase lid 121のポートを使用します。
同じ計算ノードで次のコマンドを実行して、InfiniBandファブリック内に存在するすべてのアクティブなリンクに関する情報を表示します。
hostname# iblinkinfo.pl -R | grep hostname
hostnameは、計算ノードの名前です。計算ノードの結合されたIPoIBアドレスも指定できます。
例:
el01cn01# iblinkinfo.pl -R | grep el01cn01 65 15[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 121 2[ ] "el01cn01 EL-C 192.168.10.29 HCA-1" (Could be 5.0 Gbps) 64 15[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 120 1[ ] "el01cn01 EL-C 192.168.10.29 HCA-1" (Could be 5.0 Gbps)
iblinkinfoコマンドの出力から、前述で注目した計算ノード・ポートのBase lid(最初の行の121)に関連付けられているスイッチlid値(最初の列の65)が存在することに注意してください。
次の例のようにibswitchesコマンドを実行することで、スイッチLID 65に対応するゲートウェイ・スイッチを判別します。
例:
el01cn01# ibswitches
Switch : 0x002128548042c0a0 ports 36 "SUN IB QDR GW switch el01gw03" enhanced port 0 lid 63 lmc 0
Switch : 0x002128547f22c0a0 ports 36 "SUN IB QDR GW switch el01gw02" enhanced port 0 lid 6 lmc 0
Switch : 0x00212856d0a2c0a0 ports 36 "SUN IB QDR GW switch el01gw04" enhanced port 0 lid 65 lmc 0
Switch : 0x00212856d162c0a0 ports 36 "SUN IB QDR GW switch el01gw05" enhanced port 0 lid 64 lmc 0
lid 65は、GUID 0x00212856d0a2c0a0のゲートウェイ・スイッチel01gw04に対応します。
次の形式のダミーMACアドレスを定義します。
last3_octets_of_switchGUID : last3_octets_of_computenode_adminIP_in_hex_format
例:
スイッチのGUID: 00:21:28:56:d0:a2:c0:a0
最後の3つのオクテット値: a2:c0:a0
VNICを必要とする計算ノードの管理IP: 192.168.1.1
最後の3つのオクテット値: 168.1.1 (16進数ではa8:01:01)
MACアドレス: a2:c0:a0:a8:01:01
注意:
ダミーMACアドレスは、Exalogicネットワークで一意である必要があります。MACアドレス(ユニキャスト)の最上位バイトでは、偶数のみがサポートされています。前述のアドレスは例です。
手順4で識別したゲートウェイ・スイッチ(el01gw04)に、ilom-adminとしてログインします。
次のコマンドを実行して、VLANを作成します。
hostname# createvlan connector -vlan vlan_ID -pkey default
例:
e101gw04# createvlan 1A-ETH-3 -vlan 0 -pkey default
次のコマンドを実行して、VNICを作成します。
hostname# createvnic connector -guid compute_node_port_GUID -mac unique_mac_address -pkey default
例:
el01gw04# createvnic 1A-ETH-3 -guid 0021280001a0a366 -mac a2:c0:a0:a8:01:01 -pkey default
注意:
この新しいリソースには、VLANがタグ付けされていません。Exalogicでは、この時点で単一パーティション(デフォルト・パーティション)が使用されます。
VNICが作成されます。
VNICを確認するには、スイッチのCLIで、showvnicsコマンドを実行します。次の出力例が表示されます。
ID STATE FLG IOA_GUID NODE IID MAC VLN PKEY GW --- ----- --- ----------------------- --------------------------- ---- ----------------- --- ---- -------- 8 UP N 00:21:28:00:01:A0:A3:66 e101cn01 EL-C 192.168.10.29 0000 a2:c0:a0:a8:01:01 NO ffff 1A-ETH-3
計算ノードで次のコマンドを実行して、その計算ノードで使用できるVNICを一覧表示します。
el01cn01# mlx4_vnic_info -l
このコマンドは、計算ノードに存在するeth4などの新しいインタフェースの名前を表示します。このIDを書き留めておきます。
同じ計算ノードに対して別のVNICを作成します。この際に、別のゲートウェイ・スイッチのコネクタを使用します。このVNICのethX IDも書き留めてください。
2つのEoIBインタフェースは、bond1などの結合されたインタフェースとして構成することをお薦めします。
計算ノードで、VNIC用のインタフェース・ファイルを作成します。
フェイルオーバーが適切に動作するために、VNICインタフェース・ファイルの名前とそのインタフェース・ファイルのDEVICEディレクティブ値が、カーネルに割り当てられたethXインタフェース名(eth4、eth5など)に基づいていないことを確認してください。かわりに、インタフェース・ファイル名とそのインタフェース・ファイルのDEVICEディレクティブ値を、次のようにEPORT_IDおよびIOA_PORTの値から導出することをお薦めします。
注意:
それ以外の一意の名前付け方式も利用できます。
次のコマンドを実行して、EPORT_IDを見つけます。
#mlx4_vnic_info -i ethX | grep EPORT_ID
例:
e101cn01#mlx4_vnic_info -i eth4 | grep EPORT_ID
EPORT_ID 331
表示されたEPORT_ID(この例では331)に注意してください。
次のコマンドを実行して、IOA_PORTを見つけます。
#mlx4_vnic_info -i ethX | grep IOA_PORT
例:
e101cn01#mlx4_vnic_info -i eth4 | grep IOA_PORT
IOA_PORT mlx4_0:1
表示されたIOA_PORT値のコロン(:)の後の数値(この例では1)に注意してください。
次の表記法を使用して、インタフェース・ファイル名とデバイス名を作成します。
インタフェース・ファイル名: ifcfg-ethA_B
デバイス名: ethA_B
AはEPORT_ID、BはIOA_PORT値のコロン(:)の後の数値です。
例:
インタフェース・ファイル名: ifcfg-eth331_1
デバイス名: eth331_1
この例では、331はEPORT_ID、1はIOA_PORTからの導出値です。
viなどのテキスト・エディタを使用して、この例の最初のVNICeth4のインタフェース・ファイルを作成します。
/etc/sysconfig/network-scriptsディレクトリにファイルを保存します。
Oracle Linux 6.xまたはそれ以前のバージョンの例を次に示します。
# more /etc/sysconfig/network-scripts/ifcfg-eth331_1 DEVICE=eth331_1 BOOTPROTO=none ONBOOT=yes HWADDR=a2:c0:a0:a8:01:01 MASTER=bond1 SLAVE=yes
Oracle Linux 7.xの例を次に示します。
# more /etc/sysconfig/network-scripts/ifcfg-eth331_1 DEVICE=eth331_1 BOOTPROTO=none ONBOOT=yes HWADDR=a2:c0:a0:a8:01:01 MASTER=bond1 SLAVE=yes DEVTIMEOUT=30
2つ目のVNIC (eth5)のインタフェース・ファイルを作成します。前述の説明のとおり、カーネルに割り当てられた名前ではなく、導出されたインタフェース名を使用して、インタフェース・ファイルの名前を付けてDEVICEディレクティブを指定してください。また、HWADDRディレクティブで適切なダミーMACアドレスを指定してください。
インタフェース・ファイルを作成したら、ifcfg-bond1ファイルを作成します。このファイルがすでに存在する場合は、その内容を検証してください。
例:
# more /etc/sysconfig/network-scripts/ifcfg-bond1 DEVICE=bond1 IPADDR=192.168.48.128 NETMASK=255.255.255.0 BOOTPROTO=none USERCTL=no TYPE=Ethernet ONBOOT=yes IPV6INIT=no BONDING_OPTS="mode=active-backup miimon=100 downdelay=5000 updelay=5000" GATEWAY=192.168.48.1
ifup コマンドを使用して、新しいbond1インタフェースを起動します。
変更内容が反映されるには、計算ノードを再起動する必要もあります。
