8 Oracle Big Data ApplianceへのOracle Exalytics In-Memory Machineの接続

この章では、Oracle Exalytics In-Memory MachineとOracle Big Data Applianceを同じInfiniBandファブリックで一緒に接続する方法について説明します。

次の項で構成されます。

第8.1項「ハードウェア要件」
第8.2項「ソフトウェア要件」
第8.3項「物理接続」
第8.4項「InfiniBand接続検証(レイヤー2)」
第8.5項「IPoIB構成(レイヤー3)」
第8.6項「IPoIB検証」

8.1 ハードウェア要件

Oracle Big Data Applianceには3つの組込みInfiniBandスイッチがあります。2つのNM2-GWリーフ・スイッチを使用してOracle Exalyticsマシンを接続します。Oracle ExalyticsマシンにはInfiniBand HCAカードが1つありますが、InfiniBandスイッチまたはInfiniBand Subnet Managerのインスタンスはいずれも含まれません。

Oracle ExalyticsをOracle Big Data Applianceに接続するには、データセンターで必要な長さに応じたInfiniBandケーブルのペアが必要になります。ExalyticsとOracle Big Data Applianceのリーフ・スイッチ・ポート間の距離が10mを下回る場合は銅ケーブルを使用できます。長さが10mを超える場合は、適切なトランシーバを備えたInfiniBand用の光ファイバ・ケーブルを使用する必要があります。

8.2 ソフトウェア要件

Oracle Big Data ApplianceとOracle Exalyticsの基本イメージにはどちらもInfiniBand接続のソフトウェア・サポートが含まれています。

8.2.1 Exalyticsバージョンの詳細

Oracle Exalyticsマシンのソフトウェアの詳細を表示するには次のコマンドを実行します。

注意:

次のコマンドのうち、1.0.0.2以前のシステムではimageinfoコマンドを使用してください。1.0.0.3以降のシステムでは、exalytics_imageinfoコマンドを使用してください。

[root@exalytics root]# exalytics_imageinfo
Exalogic 1.0.0.5 (build:r)
 
Image version : 1.0.0.5
Image build version :
Creation timestamp : Wed 19 Jun 2013 12:26:49 PM BST
Kernel version : 2.6.32-100.23.1.el5
Image activated : 2013-09-03 20:49:13 -0400
Image status : SUCCESS
 
[root@exalytics root]# ofed_info | head -1
BXOFED-1.5.2-1.3.8000:
 
[root@exalytics root]# lsmod | grep ipoib
ib_ipoib 67547 1
ib_cm 32459 2 rdma_cm,ib_ipoib
ib_sa 36903 5 rdma_ucm,rdma_cm,mlx4_vnic,ib_ipoib,ib_cm
ib_core 61642 14 rdma_ucm,rds_rdma,ib_sdp,rdma_cm,iw_cm,ib_uverbs,ib_umad,mlx4_vnic,mlx4_ib,ib_mthca,ib_ipoib,ib_cm,ib_sa,ib_mad
ipv6 286932 222 ib_sdp,ib_addr,ib_ipoib,bonding
 
 
[root@exalytics root]# lsmod | grep rds
rds_tcp 9460 0
rds_rdma 72457 1
rds 91561 2 rds_tcp,rds_rdma
rdma_cm 29058 3 rdma_ucm,rds_rdma,ib_sdp
ib_core 61642 14 rdma_ucm,rds_rdma,ib_sdp,rdma_cm,iw_cm,ib_uverbs,ib_umad,mlx4_vnic,mlx4_ib,ib_mthca,ib_ipoib,ib_cm,ib_sa,ib_mad
[root@exalytics root#

8.2.2 BDAバージョンの詳細

Oracle Big Data Applianceのソフトウェア・サポートを表示するには次のコマンドを実行します。

[root@bda10 ~]# imageinfo
Big Data Appliance Image Info
 
IMAGE_CREATION_DATE : Tue Aug 20 23:36:32 PDT 2013
IMAGE_LABEL : BDA_2.2.1_LINUX.X64_130820
IMAGE_VERSION : 2.2.1
KERNEL_VERSION : 2.6.32-200.21.1.el5uek
BDA_RPM_VERSION : bda-2.2.1-1
OFA_RPM_VERSION : ofa-2.6.32-200.21.1.el5uek-1.5.5-4.0.55.4
JDK_VERSION : jdk-1.6.0_51-fcs
HADOOP_VERSION : 2.0.0-cdh4.3.0
 
[root@bda10 ~]# ofed_info | head -1
OFED-IOV-1.5.5-1.0.0120:
 
[root@bda10 ~]# lsmod | grep ipoib
ib_ipoib 67931 1
ib_cm 35714 2 rdma_cm,ib_ipoib
ipv6 290974 5 bonding,cnic,ib_sdp,ib_addr,ib_ipoib
ib_sa 39126 6 rdma_ucm,rdma_cm,ib_ipoib,ib_cm,mlx4_vnic,mlx4_ib
ib_core 66876 12 rdma_ucm,ib_sdp,rdma_cm,iw_cm,ib_ipoib,ib_cm,ib_uverbs,ib_umad,mlx4_vnic,mlx4_ib,ib_sa,ib_mad
 
[root@bda10 ~]# lsmod | grep rds
rds 94503 0
[root@bda10 ~]#

8.3 物理接続

Oracle Big Data Applianceの両方のGWスイッチでは、外部接続用に4つのポート(5A,、5B、6A、6B)が使用できます。どちらのリーフ・スイッチでもポート5Aを使用することをお薦めします。それらのポートが使用できない場合は、リーフ・スイッチで使用可能なその他のポートを使用します。

注意:

ホスト(HCA)システムは、ラック内部のスパイン・スイッチに接続しないでください。

Oracle Big Data Applianceラックが他のOracle Engineered Systemsに接続されている場合は、ポート5-6[A|B]が使用できない場合があります。その場合は、Oracle Big Data ApplianceラックのInfiniBandリーフ・スイッチで使用可能なその他のポートを使用することをお薦めします。空いているポートがない場合は、Oracleサポートに連絡してください。

図8-1に、ExalyticsをスタンドアロンのBDAラックに接続する方法を示します。

図8-1 物理接続

「図8-1 物理接続」の説明

8.4 InfiniBand接続検証(レイヤー2)

ケーブルを接続してポートのLEDが緑色の場合は、InfiniBand接続を検証する必要があります。

Oracle Big Data Appliance計算ノードまたはExalyticsマシンにログインします。
Linuxのルート・シェルでibhostsコマンドを実行し、新規接続された(Exalytics/Oracle Big Data Appliance)マシンが表示されるかどうかを確認します。

Exalyticsマシンで、ibstatコマンドを実行し、ローカル・ポートのステータスを確認します。アクティブなサブネット・マネージャが存在する場合は、ポートがアクティブになります。

[root@exalytics ~]# ibstat

CA 'mlx4_0'
CA type: MT26428
Number of ports: 2
Firmware version: 2.7.8130
Hardware version: b0
Node GUID: 0x0021280001efe984
System image GUID: 0x0021280001efe987
Port 1:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 209
LMC: 0
SM lid: 187
Capability mask: 0x02510868
Port GUID: 0x0021280001efe985
Link layer: IB
Port 2:
State: Active
Physical state: LinkUp
Rate: 40
Base lid: 73
LMC: 0
SM lid: 187
Capability mask: 0x02510868
Port GUID: 0x0021280001efe986
Link layer: IB
 
[root@exalytics ~]# sminfo

sminfo: sm lid 187 sm guid 0x10e00c16c0c0a0, activity count 124743184 priority 14 state 3 SMINFO_MASTER

次のコマンドを実行して、すべてのリンクが4X QDRであることを確認します。
```
[root@exalytics ~]# ibdiagnet -ls 10 -lw 4x
```

8.5 IPoIB構成(レイヤー3)

Oracle Big Data Applianceラックで使用されているIPoIBサブネットで一意のIPアドレスが使用できることを確認します。すでに割当て済のIPアドレスや、Big Data Appliance用または当該サブネットで他の目的で割り当てられたIPアドレスを再利用しないでください。サブネット・マスクが関連付けられた一意で使用可能なIPを特定するには、Oracle Big Data Appliance構成を参照してください。

既存のOracle Big Data Appliance計算ノードからIPoIBネットワーク情報を識別するには次のコマンドを実行します。

[root@bda10 ~]# egrep '(IPADDR|NETMASK|NETWORK|BROADCAST)' /etc/sysconfig/network-scripts/ifcfg-bondib0
 
IPADDR=192.168.41.10
NETMASK=255.255.248.0
NETWORK=192.168.40.0
BROADCAST=192.168.47.255

取得した情報を使用して、Oracle Big Data ApplianceのIPoIBサブネットに属する一意の空いているIPアドレスをリクエストできます。

CIDR接頭辞を調べる場合、ipcalcコマンドを次のように実行します。

[root@bda10 ~]# ipcalc -p 192.168.41.10 255.255.248.0
PREFIX=21

この例では、使用可能なIPアドレスのホスト範囲が192.168.40.1から192.168.47.254までであることに注意してください。次のステップでは、192.168.44.100/21がExalyticsのIPoIB bond0インタフェースのIPアドレスとして使用されます。

Exalyticsでexalytics_configure_network.shスクリプトをrootとして実行します。プロンプトが表示されたら、IPoIB (InfiniBand)ネットワーク・インタフェースを構成します。これがib0とib1を使用したbond0という名前の結合インタフェースです。

[root@exalytics root]# /opt/exalytics/bin/exalytics_configure_network.sh
Network Configuration Script Version exalytics-scripts-1.0.0.5ps3-52
Do you want to configure InfiniBand for Exadata connection? (y/n) [n]: y
Enter bond0 IP address:192.168.44.100
Use 192.168.44.162 for bond0 ip address (y/n) [y]:
Enter bond0 netmask address:255.255.248.0
Use 255.255.248.0 for bond0 netmask (y/n) [y]:

8.6 IPoIB検証

検証するには、ExalyticsからOracle Big Data ApplianceノードのIPoIBアドレスをpingします。pingに成功した場合は、アプリケーション用の接続を使用できます。ExalyticsとBDA間のアプリケーション使用方法をテストできます。Exalytics MachineでHadoopを使用する場合は、適切なプラグインまたはクライアントのインストールが必要な場合があります。詳細は、製品のオーナーズ・ガイドを参照してください。