EoIBのパーティション(インバウンドとアウトバウンドの両方)を作成し、パーティションのpkey
をエッジ・ネットワーク上のVLANとVNICに関連付けることができます。
注意:
この手順で使用されているポートGUID値、MACアドレス、VLAN ID、計算ノード名、ゲートウェイ・スイッチ名およびイーサネット・コネクタ名は例です。
いずれかのゲートウェイ・スイッチのコマンド・プロンプトで、次のコマンドを実行します。
el01gw04# listlinkup | grep Bridge
次に、lislinkup
コマンドの出力例を示します。
Connector 0A-ETH Present Bridge-0 Port 0A-ETH-1 (Bridge-0-2) up (Enabled) Bridge-0 Port 0A-ETH-2 (Bridge-0-2) up (Enabled) Bridge-0 Port 0A-ETH-3 (Bridge-0-1) up (Enabled) Bridge-0 Port 0A-ETH-4 (Bridge-0-1) up (Enabled) Bridge-0 Port 1A-ETH-1 (Bridge-1-2) down (Enabled) Bridge-0 Port 1A-ETH-2 (Bridge-1-2) down (Enabled) Bridge-0 Port 1A-ETH-3 (Bridge-1-1) up (Enabled) Bridge-0 Port 1A-ETH-4 (Bridge-1-1) up (Enabled)
この例から、アップリンクを識別します。次のどのイーサネット・コネクタを使用しても、VNICを作成できることを確認してください。
0A-ETH-1
0A-ETH-2
0A-ETH-3
0A-ETH-4
1A-ETH-3
1A-ETH-4
注意:
この手順では、例として1A-ETH-3
を使用します。
次のように、VNICを必要とするExalogic計算ノードのGUIDを識別します。
VNICを必要とする計算ノードにroot
としてログインし、コマンド行でibstat
コマンドを実行します。たとえば、el01cn01
にroot
としてログインします。
例:
el01cn01# ibstat CA 'mlx4_0' CA type: MT26428 Number of ports: 2 Firmware version: 2.7.8100 Hardware version: b0 Node GUID: 0x0021280001a0a364 System image GUID: 0x0021280001a0a367 Port 1: State: Active Physical state: LinkUp Rate: 40 Base lid: 120 LMC: 0 SM lid: 6 Capability mask: 0x02510868 Port GUID: 0x0021280001a0a365 Link layer: IB Port 2: State: Active Physical state: LinkUp Rate: 40 Base lid: 121 LMC: 0 SM lid: 6 Capability mask: 0x02510868 Port GUID: 0x0021280001a0a366 Link layer: IB
出力に、2つのポートに関する情報が表示されます。VNICの作成に使用するポートのGUID
およびBase lid
を識別します。
この手順の例では、GUID 0x0021280001a0a366
およびBase lid 121
のポートを使用します。
同じ計算ノードで次のコマンドを実行して、InfiniBandファブリック内に存在するすべてのアクティブなリンクに関する情報を表示します。
hostname# iblinkinfo.pl -R | grep hostname
hostname
は、計算ノードの名前です。計算ノードの結合されたIPoIBアドレスも指定できます。
例:
el01cn01# iblinkinfo.pl -R | grep el01cn01 65 15[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 121 2[ ] "el01cn01 EL-C 192.168.10.29 HCA-1" (Could be 5.0 Gbps) 64 15[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 120 1[ ] "el01cn01 EL-C 192.168.10.29 HCA-1" (Could be 5.0 Gbps)
iblinkinfo
コマンドの出力から、前述で注目した計算ノード・ポートのBase lid
(最初の行の121
)に関連付けられているスイッチlid
値(最初の列の65
)が存在することに注意してください。
次の例のようにibswitches
コマンドを実行することで、スイッチLID 65
に対応するゲートウェイ・スイッチを判別します。
例:
el01cn01# ibswitches
Switch : 0x002128548042c0a0 ports 36 "SUN IB QDR GW switch el01gw03" enhanced port 0 lid 63 lmc 0
Switch : 0x002128547f22c0a0 ports 36 "SUN IB QDR GW switch el01gw02" enhanced port 0 lid 6 lmc 0
Switch : 0x00212856d0a2c0a0 ports 36 "SUN IB QDR GW switch el01gw04" enhanced port 0 lid 65 lmc 0
Switch : 0x00212856d162c0a0 ports 36 "SUN IB QDR GW switch el01gw05" enhanced port 0 lid 64 lmc 0
lid
65
は、GUID 0x00212856d0a2c0a0
のゲートウェイ・スイッチel01gw04
に対応します。
次の形式のダミーMACアドレスを定義します。
last3_octets_of_switchGUID : last3_octets_of_computenode_adminIP_in_hex_format
例:
スイッチのGUID: 00:21:28:56:d0:a2:c0:a0
最後の3つのオクテット値: a2:c0:a0
VNICを必要とする計算ノードの管理IP: 192.168.1.1
最後の3つのオクテット値: 168.1.1
(16進数ではa8:01:01
)
MACアドレス: a2:c0:a0:a8:01:01
注意:
ダミーMACアドレスは、Exalogicネットワークで一意である必要があります。MACアドレス(ユニキャスト)の最上位バイトでは、偶数のみがサポートされています。前述のアドレスは例です。
すべてのポートGUIDとBridgeXポートを書き留めたことを確認してください。
マスターSMが実行されているInfiniBandスイッチにログインします。詳細は、「開始する前に」を参照してください。
次のコマンドを実行して、構成プロセスを開始します。
# smpartition start
次のコマンドを実行して、pkey
0x005
の、完全なメンバーシップを持つmyEoIB
パーティションを作成します。
# smpartition create -n myEoIB -pkey 0x005 -m full
次のコマンドを実行して、「計算ノードのポートGUIDとゲートウェイ・スイッチのBridgeXポートの収集」で書き留めておいたポートGUIDとBridgeXポートをmyEoIB
パーティションに追加します。
# smpartition add -n myEoIB -port port_guid1 port_guid2 bridgex_port1 bridgex_port2
ここで、port_guid1
、port_guid2
、bridgex_port1
およびbridgex_port2
はパーティションに追加するポートです。このコマンド例では、いくつかのポート・エントリのみが表示されます。ポートは、必要に応じていくつでも追加できます。ポート値の例は0021280001cef8e3
です。
次のコマンドを実行して、変更されたパーティション構成を表示します。
# smpartition list modified
このコマンドによって、新しいパーティションとともにpkey
、パーティションに追加されたポート、メンバーシップ・タイプが表示されます。
次のコマンドを実行して、パーティション構成を確認します。
# smpartition commit
pkey
0x005
のmyEoIB
パーティションが作成されます。
ゲートウェイ・スイッチ・インタフェースにroot
としてログインし、次のコマンドを実行します。
# createvlan 1A-ETH-3 -vlan 10 -pkey 0x005
ここで、1A-ETH-3
はゲートウェイ・スイッチのイーサネット・コネクタ、10
はVLAN識別子、0x005
は以前に作成したパーティション・キーです。
検証するには、次のコマンドを実行します。
# showvlan
次の情報が表示されます。
Connector/LAG VLN PKEY -------------- --- ----- 1A-ETH-3 10 0x005 0A-ETH-1 11 ffff
手順4で識別したel01gw04
に、root
としてログインします。IPアドレスまたはホスト名を使用してログインします。
ログイン後、次のコマンドを実行してVNICを作成します。
# createvnic 1A-ETH-3 -GUID 00212856d0a2c0a0 -mac a2:c0:a0:a8:01:01 -vlan 10 -pkey 0x005
ここで、1A-ETH-3
はイーサネット・コネクタ、00:21:28:56:d0:a2:c0:a0
はGUID、a2:c0:a0:a8:01:01
は手順4で定義したダミーMACアドレス、10
はVLAN識別子、0x005
は以前に作成したパーティション・キーです。
この例では、pkey
として0x005
を持つパーティションに関連付けられているVLAN 10
に関連付けられたVNIC (eth4
(Oracle Linux)またはeoib0
(Oracle Solaris))を作成します。
次のコマンドを実行して、VNICを検証します。
# showvnics
次のメッセージが表示されます。
ID STATE FLG IOA_GUID NODE IID MAC VLN PKEY GW --- ----- --- ----------------------- --------------------------- ---- ----------------- --- ----- -------- 8 UP N 00:21:28:00:01:A0:A3:66 e101cn01 EL-C 192.168.10.29 0000 a2:c0:a0:a8:01:01 10 0x005 1A-ETH-3
ヒント:
インタフェースの作成後は、-a
オプションを指定したifconfig
コマンドを実行して、計算ノードにおけるMACアドレスを検証できます。たとえば、新しいインタフェースとそのMACアドレスを検証するには、VNICが作成されたOracle Linux計算ノードで次のコマンドを実行します。
# ifconfig -a eth4
このコマンドの出力は、手順5のVNIC用に定義したMACアドレスであるHWADDR
を示します。
計算ノードで次のコマンドを実行して、その計算ノードで使用できるVNICを一覧表示します。
el01cn01# mlx4_vnic_info -l
このコマンドは、計算ノードに存在するeth4
などの新しいインタフェースの名前を表示します。このIDを書き留めておきます。
同じ計算ノードに対して別のVNICを作成します。この際に、別のゲートウェイ・スイッチのコネクタを使用します。このVNICのethX
IDも書き留めてください。
2つのEoIBインタフェースは、bond1
などの結合されたインタフェースとして構成することをお薦めします。
計算ノードで、VNIC用のインタフェース・ファイルを作成します。
フェイルオーバーが適切に動作するために、VNICインタフェース・ファイルの名前とそのインタフェース・ファイルのDEVICE
ディレクティブ値が、カーネルに割り当てられたethX
インタフェース名(eth4
、eth5
など)に基づいていないことを確認してください。かわりに、インタフェース・ファイル名とそのインタフェース・ファイルのDEVICE
ディレクティブ値を、次のようにEPORT_ID
およびIOA_PORT
の値から導出することをお薦めします。
注意:
それ以外の一意の名前付け方式も利用できます。
次のコマンドを実行して、EPORT_ID
を見つけます。
#mlx4_vnic_info -i ethX | grep EPORT_ID
例:
e101cn01#mlx4_vnic_info -i eth4 | grep EPORT_ID
EPORT_ID 331
表示されたEPORT_ID
(この例では331
)に注意してください。
次のコマンドを実行して、IOA_PORT
を見つけます。
#mlx4_vnic_info -i ethX | grep IOA_PORT
例:
e101cn01#mlx4_vnic_info -i eth4 | grep IOA_PORT
IOA_PORT mlx4_0:1
表示されたIOA_PORT
値のコロン(:)の後の数値(この例では1
)に注意してください。
次の表記法を使用して、インタフェース・ファイル名とデバイス名を作成します。
インタフェース・ファイル名: ifcfg-eth
A
_
B
デバイス名: eth
A
_
B
A
はEPORT_ID
、B
はIOA_PORT
値のコロン(:)の後の数値です。
例:
インタフェース・ファイル名: ifcfg-eth
331
_
1
デバイス名: eth
331
_
1
この例では、331
はEPORT_ID
、1
はIOA_PORT
からの導出値です。
vi
などのテキスト・エディタを使用して、この例の最初のVNICeth4
のインタフェース・ファイルを作成します。
/etc/sysconfig/network-scripts
ディレクトリにファイルを保存します。
例:
# more /etc/sysconfig/network-scripts/ifcfg-eth331_1 DEVICE=eth331_1 BOOTPROTO=none ONBOOT=yes HWADDR=a2:c0:a0:a8:01:01 MASTER=bond1 SLAVE=yes
2つ目のVNIC (eth5
)のインタフェース・ファイルを作成します。前述の説明のとおり、カーネルに割り当てられた名前ではなく、導出されたインタフェース名を使用して、インタフェース・ファイルの名前を付けてDEVICEディレクティブを指定してください。また、HWADDR
ディレクティブで適切なダミーMACアドレスを指定してください。
インタフェース・ファイルを作成したら、ifcfg-bond1
ファイルを作成します。このファイルがすでに存在する場合は、その内容を検証してください。
例:
# more /etc/sysconfig/network-scripts/ifcfg-bond1 DEVICE=bond1 IPADDR=192.168.48.128 NETMASK=255.255.255.0 BOOTPROTO=none USERCTL=no TYPE=Ethernet ONBOOT=yes IPV6INIT=no BONDING_OPTS="mode=active-backup miimon=100 downdelay=5000 updelay=5000" GATEWAY=192.168.48.1
次のコマンドを実行して、ネットワーク・サービスを再起動します。
# service network restart
ifup
コマンドを使用して、新しいbond1
インタフェースを起動します。
変更内容が反映されるには、計算ノードを再起動する必要もあります。