Oracle Big Data Applianceのスタータ・ラックの拡張

8 Oracle Big Data Applianceのスタータ・ラックの拡張

1つ以上のBig Data Appliance高容量ノードとインフィニバンド・インフラストラクチャをインストールして構成し、スタータ・ラックに最大12個の新しいサーバーを追加できます。この章では、スタータ・ラックに新しいサーバーを追加する構成ステップについて説明します。

Oracle Big Data Applianceでは、X5–2L、X6–2LおよびX7–2Lサーバー混合のクラスタがサポートされています。ただし、クラスタにX7–2Lサーバーが含まれている場合は、最初にクラスタをOracle Big Data Applianceリリースv4.10.0以上にアップグレードする必要があります。

この章の内容は次のとおりです。

注意:

この章に説明されている手順の実行は、オラクル社のフィールド・エンジニアに任せることをお薦めします。

また、部分的に空きがあるラックに物理的にサーバーを追加する場合は停止時間が必要となることに注意してください。クラスタを同じラック内の新しいノードに拡張する場合は、停止時間は必要ありません。

8.1 Oracle Big Data Applianceのスタータ・ラックの拡張について

Oracle Big Data Applianceのスタータ・ラックは、18ではなく6つのサーバーを搭載すること以外はフル・ラックと同じハードウェア構成です。スタータ・ラックにはすべてのスイッチおよび電源が含まれているため、追加のサーバーをサポートするためにアップグレードや補完する必要はありません。

高容量ノードとインフィニバンド・インフラストラクチャを使用してスタータ・ラックに最大12個の新しいサーバーを追加できます。新しいサーバーをすべて一緒に追加することも、新しいサーバーの一部を後でスタータ・ラックに追加することもできます。

すべてのOracle Big Data Appliance拡張ノードには、管理ネットワークおよびインフィニバンド・ネットワークとの接続と配電に必要なラック内ケーブルが付属しています。サーバーをラックに追加する場合は、スイッチ間の個別のケーブル配線の作業になるため、マルチラック・インフィニバンド接続を変更する必要はありません。

8.1.1 高容量ノードとインフィニバンド・インフラストラクチャのコンテンツの確認

インストールを開始する前に、次の表に示すとおり、高容量ノードとインフィニバンド・インフラストラクチャのすべてのコンポーネント、ケーブルおよびアクセサリを受け取ったことを確認してください。

表8-1に、コンポーネントおよびアクセサリをリストします。

表8-1 高容量ノードとインフィニバンド・インフラストラクチャのコンポーネントおよびアクセサリ

数量	説明
1	Oracle Big Data Appliance高容量ノードとインフィニバンド・インフラストラクチャ
2	2Uスナップイン・スライド・レール・キット
1	1U-2UスリムレールCMAキット
1	ベルクロ25フィート・ロール
1	ケーブル・ラベリング・キット
1	サーバー・ドキュメントとライセンス・パッケージ

表8-2に、ケーブルをリストします。

表8-2 高容量ノードとインフィニバンド・インフラストラクチャのケーブル

長さ	数量	説明
10フィート	1	赤イーサネット・カテゴリ5またはカテゴリ5e
10フィート	1	イーサネット黒カテゴリ5またはカテゴリ5e
3m	2	インフィニバンドQSFP
2m	2	電源

8.1.2 スタータ・ラックのステータスの確認

高容量ノードとインフィニバンド・インストラクチャをインストールする前に、スタータ・ラックが正常に動作していることを確認します。

すべてのコンポーネントのLEDを確認して正常な動作状態を確認します。次に進む前に問題を解決します。
Sun Rack II PDUファームウェアの最小バージョンが1.06以上であることを確認します。「PDUファームウェア・バージョンの更新」を参照してください。

8.1.3 Oracle Big Data Appliance X4-2のスタータ・ラックの拡張

高容量ノードとインフィニバンド・インフラストラクチャを使用して、Oracle Big Data Appliance X4-2スタータ・ラックに1つ以上のOracle Big Data Applianceサーバーを追加することもできます。

ハードウェアの拡張用にスタータ・ラックを準備するには、次のようにします。

Oracle Big Data Appliance 4.1以上にスタータ・ラックをアップグレードします。

注意:

Oracle Big Data Appliance 4.1より前のバージョンでは、高容量ノードとインフィニバンド・インフラストラクチャを使用して拡張できません。

8.2 Oracle Big Data Applianceスタータ・ラックへの新しいサーバーのインストール

次の手順では、スタータ・ラックに新しいサーバーを物理的に設置する方法について説明します。

注意:

スタータ・ラックに新しいサーバーを設置するには2人必要です。

スタータ・ラックに新しいサーバーを設置するには、次のようにします。

すべての電源ケーブル、イーサネット・ケーブル、およびインフィニバンド・ケーブルを取り出し、キットで提供されるラベルを使用してマークを付けます。
- ケーブルのそれぞれの端に適切なラベルを使用してマークを付けます。正しいほうの端に「from」ラベルおよび「to」ラベルを付けるように注意してください。
- 設置環境に適したPDU電源コード・ラベルを選択します(単相または3相)。
ケーブルの両端を差し込みます。付録のケーブル配線の表を参照してください。
サーバー・ラック・マウント・キットをラックに設置します。最下部の最初の空ユニットから始め、ラックの最上部まで作業を進めます。
ラック・レールにサーバーを設置します。各サーバーの設置後、サーバーおよびその下のユニットが正常に前後にスライドすることを確認してください。
最下部の最初の新しいサーバーから始めて最上部のユニットまで、ケーブル・アームおよびケーブルを各サーバーに設置します。すべてのインフィニバンド・ケーブルの両端が適切なポートに差し込まれていることを確認します。インフィニバンド・ケーブルおよびイーサネット・ケーブルを配線している間、電源ケーブルは邪魔にならないようにしておきます。

注意:

PDUを有効にして構成する準備ができるまでは、電源ケーブルをPDUストリップに差し込まないでください。ここで、電源ケーブルをサーバーにのみ差し込みます。

8.3 新しいOracle Big Data Applianceサーバーの構成

新しいサーバーは、ラックに設置した後、次のステップに従って構成できます。

新しいサーバーを構成するには、次の手順を実行します。

次の手順の<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。

工場出荷時のIPアドレスがローカル・ネットワークで重複する場合に備えて、ネットワークからCiscoスイッチ・アップリンク・ケーブル(ポート48)を外します。
電源コードを適切なコンセントに差し込みます。最後にケーブルをPDU-Aに配線します。終了したら、Oracle ILOMが起動し、サービス・プロセッサのLEDが緑に点灯し、システムがスタンバイ・モードになってOK LEDが点滅します。
サーバーの電源ボタンを押して、電源を入れます。システムは自動的に工場出荷時のIPアドレスを検出します。「工場出荷時のネットワーク設定」を参照してください。
最初の新しいサーバーに接続されたラップトップを使用して、SSHを使用してrootとしてログインします。デフォルト・パスワードは、Oracle Install Coordinatorによって提供されます。
rootユーザーのパスワードなしSSHを設定します。たとえば、4つの新しいサーバーをインストールする場合、rangeに[7:10]と入力します。
```
# setup-root-ssh -j "eth0_ips[range]" -p <password> 
```
「setup-root-ssh」を参照してください。
すべての新しいサーバーで、パスワードなしSSHが適切に機能していることを確認します。rangeにステップ5と同じ値を使用します。
```
# dcli -j "eth0_ips[range]" "hostname; date"
```
次のコマンドの出力と、各システムの前面のシステム・シリアル番号(S/N)ステッカを比較します。
```
# dcli -j "eth0_ips[range]" "dmidecode -s chassis-serial-number"
192.168.1.7: 1143FMM064
     .
     .
     .
192.168.1.10: 1144FMM1A0
```
不一致を発見した場合、インフィニバンド・ケーブルが、各ノードのゲートウェイ・スイッチの適切なポートに差し込まれていることを確認してください。
ILOMのラック・マスター・シリアル番号を、前面左側のラック・ステッカのS/N(PDU-Aの近くのラックの背面にも表示)に設定します。
```
# dcli -j "eth0_ips[range]" "ipmitool sunoem cli 'set /SP \system_identifier="\"Oracle Big Data Appliance rack-master-serial-number\""'"
```
この例では、4つの新しいサーバーに[7:10]の範囲を設定し、シリアル番号にAK00086253を設定します。
```
# dcli -j "eth0_ips[7:10]" "ipmitool sunoem cli 'set /SP \system_identifier="\"Oracle Big Data Appliance AK00086253\""'"
```
システム識別子には40文字の制限があります。

ラック・マスター・シリアル番号が正しく設定されていることを確認します。この例では、4つの新しいサーバーの範囲を使用します。

# dcli -j "eth0_ips[7:10]" "ipmitool sunoem cli 'show /SP system_identifier'" | grep =
192.168.1.7: system_identifier = Oracle Big Data Appliance AK00086253
     .
     .
     .
192.168.1.10: system_identifier = Oracle Big Data Appliance AK00086253

「Oracle Big Data Applianceサーバーの構成」のステップ10から始まる物理ハードウェア・チェックを実行します。すべてのdcliコマンドで、前に示したeth0_ips[range]構文を使用して範囲を入力してください。

8.4 ネットワークの設定

次のトピックでは、イーサネット管理ネットワークに新しいサーバーを追加する方法にするついて説明します。

8.4.1 構成ファイルのコピー

次の手順では、Oracle ILOMへのシリアル接続を使用します。かわりにSSH接続を使用する場合、「ネットワークの構成」でIPアドレスを工場出荷時の設定からカスタム設定に変更するときに、コンソール接続が切断されます。

次のステップに従って、構成ファイルをラックの最初の新しいサーバーにコピーします。

構成ファイルをコピーするには、次の手順を実行します。

次の手順の<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。

ラップトップを最初の新しいサーバーのOracle ILOM "SER MGT"ポートに差し込みます。

提供されたパスワードを使用して、rootとしてログインします。

login as: root
Using keyboard-interactive authentication.
Password: password
Oracle(R) Integrated Lights Out Manager
Version 3.1.2.12 r74388
Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.
->

コンソールを開き、同じ資格証明でログインします。

-> start /SP/console
Are you sure you want to start /SP/console (y/n)? y
Serial console started. To stop, type ESC (
bda7 login:
User: root
Password:  <password> 
#

プロンプトが表示されない場合、[Enter]を押します。
元のOracle Big Data Appliance構成ファイルを、ラックの第1サーバー(サーバー1)からログインした新しいサーバーにコピーします。IP_addressをサーバー1の実際のIPアドレスに置換します。
```
# scp root@IP_address:/opt/oracle/bda/\{rack-network.json,cluster-network.json\} /opt/oracle/bda
```
または、サーバー間のファイルのコピーにUSBフラッシュ・ドライブを使用します。
新しい<rackname>-rack-expansion.json構成ファイルと<clustername>-cluster-expansion.json構成ファイルをUSBフラッシュ・ドライブから同じ/opt/oracle/dbaディレクトリにコピーします。copyコマンドで、次の例に示すようにファイルの名前を変更します。
```
# mkdir /mnt/usb
# /opt/oracle/bda/bin/showusb /dev/sdm1
# mount /dev/sdm1 /mnt/usb
# cp /mnt/usb/ <clustername>-cluster-expansion.json /opt/oracle/bda/cluster-expansion.json
# cp /mnt/usb/ <rackname>-rack-expansion.json /opt/oracle/bda/rack-expansion.json
```
フラッシュ・ドライブの使用に関する一般的な手順は、「Oracle Big Data Applianceへの構成ファイルのコピー」を参照してください。

8.4.2 ネットワークの構成

ネットワークを構成するには、次の手順を実行します。

rack-networksetupスクリプトを実行します。
```
# cd /opt/oracle/bda
# cd network
# ./rack-networksetup
```
このステップを完了すると、サーバーはカスタムIPアドレスを取得します。
Ciscoスイッチ・アップリンク・ケーブルをローカル・ネットワークに再接続します。
IPアドレスを変更したときにSSH接続が切断された場合、再接続します。
1. カスタムIPアドレスを使用し、SSHを使用して第1サーバーのOracle ILOMに接続します。
2. Oracle Install Coordinatorによって提供されたパスワードを使用して、rootユーザーとしてログインします。
シリアル接続を使用している場合、rack-networksetupの完了後も接続されている可能性があります。そうではない場合、[Esc]+[(]を押して、再接続の前にOracle ILOMプロンプトを取得します。
管理ネットワークが正しく設定されていることを確認します。次のコマンドを実行して、レポートされたIPアドレスが構成ファイル内のアドレスと一致することを確認します。
```
# dcli -j "eth0_ips[range]" "ifconfig eth0 | grep 'inet '"
```
ラック構成ファイルに対してbdacheckib —mを実行して、インフィニバンド・トポロジを検証します。
```
# cd /opt/oracle/bda
# bdacheckib -m rack-network.json
```
パスワードなしSSHがまだ動作していることを確認します。
```
# cd /opt/oracle/bda
# dcli  -j "eth0_ips[range]" "hostname ; date"
```
パスワードの入力を求められた場合、[Ctrl]+[C]を複数回押します。dcliコマンドが失敗した場合、サーバーを構成する最初の手順のステップ5および6を繰り返します。
ステップ6のdateユーティリティの出力を使用して、すべてのサーバーおよびスイッチのクロックが同期していることを確認します。時間は数秒以内である必要があります。

同期されていない場合、手動で時間を変更するか、デバイスを再起動するか、またはCiscoスイッチを通じてNTPサーバーへのルーティングを確認できます。このコマンドを発行してNTPクライアントのステータスを確認します。
```
# ntpq -p 127.0.0.1
```
cluster-networksetupを実行します。
```
# ./cluster-networksetup | tee /tmp/bdanet_exp.out
```
teeユーティリティは、出力を画面に表示しながら、ファイルに出力します。
クラスタの第1サーバーでない場合、サーバーからログアウトします。

8.4.3 ネットワークの構成の確認

ネットワークが正常に動作していることを確認するには、次の手順を実行します。

クラスタの第1サーバーにログインします。

ネットワークおよびすべてのネットワーク・サービスが正常に動作していることを確認します。

# bdachecknet-cluster | tee -a /tmp/bdanet_exp.out
bdachecknet-cluster: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json
bdachecknet-cluster: passed
bdachecknet-cluster: checking for  rack-expansion.json
bdachecknet-cluster: ping test private infiniband ips (bondib0 40gbs)
bdachecknet-cluster: passed
bdachecknet-cluster: ping test admin ips (eth0 1gbs)
bdachecknet-cluster: passed
bdachecknet-cluster: test client network (eoib) resolve and reverse resolve
bdachecknet-cluster: passed
     .
     .
     .

システムがDNS名を解決および使用できない場合、手動で/etc/resolv.confファイルを修正し、逆参照を確認します。
My Oracle Supportのインストール・ベース更新サービス・リクエストを送信してアセットを更新します。

8.5 新しいサーバーへのOracle Big Data Applianceソフトウェアのインストール

新しいサーバーは、既存のクラスタに追加するか、または新しいクラスタとして構成できます。

既存のクラスタにサーバーを追加するには、次の手順を実行します。

「クラスタへのサーバーの追加」の手順を実行します。

サーバーを別のクラスタとして構成するには、次の手順を実行します。

Oracle Big Data Appliance構成生成ユーティリティを実行し、構成ファイルを生成します。「構成ファイルの生成」を参照してください。
Mammothユーティリティを実行してソフトウェアをインストールします。「新規ラックへのソフトウェアのインストール」を参照してください。