8 Oracle Big Data Applianceのスタータ・ラックの拡張
スタータ・ラックには、最大12台のサーバーをインストールおよび構成できます。
Oracle Big Data Applianceでは、同機種のクラスタまたはX5–2L、X6–2L、X7–2LおよびX8-2Lの混合クラスタがサポートされています。ただし、クラスタにX8-2LまたはX7–2Lサーバーが含まれている場合は、最初にクラスタをOracle Big Data Applianceリリースv4.10.0以上にアップグレードする必要があります。
すべてのBig Data Applianceは、クラスタ内でのサーバー・ハードウェアの混在をサポートしていますが、クラスタ内のすべてのノードでは同じBig Data Applianceソフトウェア・リリースが実行される必要があり、さらにOracle Linux 6またはOracle Linux 7のいずれかが統一して実行されている必要があります。
ノート:
この章に説明されている手順の実行は、オラクル社のフィールド・エンジニアに任せることをお薦めします。
また、部分的に空きがあるラックに物理的にサーバーを追加する場合は停止時間が必要となることに注意してください。クラスタを同じラック内の新しいノードに拡張する場合は、停止時間は必要ありません。
8.1 Oracle Big Data Applianceのスタータ・ラックの拡張について
Oracle Big Data Applianceのスタータ・ラックは、18ではなく6つのサーバーを搭載すること以外はフル・ラックと同じハードウェア構成です。スタータ・ラックにはすべてのスイッチおよび電源が含まれているため、追加のサーバーをサポートするためにアップグレードや補完する必要はありません。
高容量ノードとインフィニバンド・インフラストラクチャを使用してスタータ・ラックに最大12個の新しいサーバーを追加できます。新しいサーバーをすべて一緒に追加することも、新しいサーバーの一部を後でスタータ・ラックに追加することもできます。
すべてのOracle Big Data Appliance拡張ノードには、管理ネットワークおよびインフィニバンド・ネットワークとの接続と配電に必要なラック内ケーブルが付属しています。サーバーをラックに追加する場合は、スイッチ間の個別のケーブル配線の作業になるため、マルチラック・インフィニバンド接続を変更する必要はありません。
8.1.1 高容量ノードとインフィニバンド・インフラストラクチャのコンテンツの確認
インストールを開始する前に、次の表に示すとおり、高容量ノードとインフィニバンド・インフラストラクチャのすべてのコンポーネント、ケーブルおよびアクセサリを受け取ったことを確認してください。
表8-1に、コンポーネントおよびアクセサリをリストします。
表8-1 高容量ノードとインフィニバンド・インフラストラクチャのコンポーネントおよびアクセサリ
数量 | 説明 |
---|---|
1 |
Oracle Big Data Appliance高容量ノードとインフィニバンド・インフラストラクチャ |
2 |
2Uスナップイン・スライド・レール・キット |
1 |
1U-2UスリムレールCMAキット |
1 |
ベルクロ25フィート・ロール |
1 |
ケーブル・ラベリング・キット |
1 |
サーバー・ドキュメントとライセンス・パッケージ |
表8-2に、ケーブルをリストします。
表8-2 高容量ノードとインフィニバンド・インフラストラクチャのケーブル
長さ | 数量 | 説明 |
---|---|---|
10フィート |
1 |
赤イーサネット・カテゴリ5またはカテゴリ5e |
10フィート |
1 |
イーサネット黒カテゴリ5またはカテゴリ5e |
3m |
2 |
インフィニバンドQSFP |
2m |
2 |
電源 |
8.1.2 スタータ・ラックのステータスの確認
高容量ノードとインフィニバンド・インストラクチャをインストールする前に、スタータ・ラックが正常に動作していることを確認します。
-
すべてのコンポーネントのLEDを確認して正常な動作状態を確認します。次に進む前に問題を解決します。
-
Sun Rack II PDUファームウェアの最小バージョンが1.06以上であることを確認します。「PDUファームウェア・バージョンの更新」を参照してください。
8.2 Oracle Big Data Applianceスタータ・ラックへの新しいサーバーのインストール
スタータ・ラックに新しいサーバーを設置するには、次のようにします。
-
すべての電源ケーブル、イーサネット・ケーブル、およびインフィニバンド・ケーブルを取り出し、キットで提供されるラベルを使用してマークを付けます。
-
ケーブルの両端に適切なラベルを使用してマークを付けます。正しいほうの端に「from」ラベルおよび「to」ラベルを付けるように注意してください。
-
設置環境に適したPDU電源コード・ラベルを選択します(単相または3相)。
-
-
ケーブルの両端を差し込みます。付録のケーブル配線の表を参照してください。
-
サーバー・ラック・マウント・キットをラックに設置します。最下部の最初の空ユニットから始め、ラックの最上部まで作業を進めます。
-
ラック・レールにサーバーを設置します。各サーバーの設置後、サーバーおよびその下のユニットが正常に前後にスライドすることを確認してください。
-
最下部の最初の新しいサーバーから始めて最上部のユニットまで、ケーブル・アームおよびケーブルを各サーバーに設置します。すべてのインフィニバンド・ケーブルの両端が適切なポートに差し込まれていることを確認します。インフィニバンド・ケーブルおよびイーサネット・ケーブルを配線している間、電源ケーブルは邪魔にならないようにしておきます。
注意:
PDUを有効にして構成する準備ができるまでは、電源ケーブルをPDUストリップに差し込まないでください。ここで、電源ケーブルをサーバーにのみ差し込みます。
8.3 新しいOracle Big Data Applianceサーバーの構成
新しいサーバーを構成するには、次の手順を実行します。
次の手順の<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
-
工場出荷時のIPアドレスがローカル・ネットワークで重複する場合に備えて、ネットワークからCiscoスイッチ・アップリンク・ケーブル(ポート48)を外します。
-
電源コードを適切なコンセントに差し込みます。最後にケーブルをPDU-Aに配線します。終了したら、Oracle ILOMが起動し、サービス・プロセッサのLEDが緑に点灯し、システムがスタンバイ・モードになってOK LEDが点滅します。
-
サーバーの電源ボタンを押して、電源を入れます。システムは自動的に工場出荷時のIPアドレスを検出します。「工場出荷時のネットワーク設定」を参照してください。
-
最初の新しいサーバーに接続されたラップトップを使用して、SSHを使用して
root
としてログインします。デフォルト・パスワードは、Oracle Install Coordinatorによって提供されます。 -
root
ユーザーのパスワードなしSSHを設定します。たとえば、4つの新しいサーバーをインストールする場合、rangeに[7:10]と入力します。# setup-root-ssh -j "eth0_ips[range]" -p <
password
>「setup-root-ssh」を参照してください。
-
すべての新しいサーバーで、パスワードなしSSHが適切に機能していることを確認します。rangeにステップ5と同じ値を使用します。
# dcli -j "eth0_ips[range]" "hostname; date"
-
次のコマンドの出力と、各システムの前面のシステム・シリアル番号(S/N)ステッカを比較します。
# dcli -j "eth0_ips[range]" "dmidecode -s chassis-serial-number" 192.168.1.7: 1143FMM064 . . . 192.168.1.10: 1144FMM1A0
不一致を発見した場合、インフィニバンド・ケーブルが、各ノードのゲートウェイ・スイッチの適切なポートに差し込まれていることを確認してください。
-
ILOMのラック・マスター・シリアル番号を、前面左側のラック・ステッカのS/N(PDU-Aの近くのラックの背面にも表示)に設定します。
# dcli -j "eth0_ips[range]" "ipmitool sunoem cli 'set /SP \system_identifier="\"Oracle Big Data Appliance rack-master-serial-number\""'"
この例では、4つの新しいサーバーに[7:10]の範囲を設定し、シリアル番号にAK00086253を設定します。
# dcli -j "eth0_ips[7:10]" "ipmitool sunoem cli 'set /SP \system_identifier="\"Oracle Big Data Appliance AK00086253\""'"
システム識別子には40文字の制限があります。
-
ラック・マスター・シリアル番号が正しく設定されていることを確認します。この例では、4つの新しいサーバーの範囲を使用します。
# dcli -j "eth0_ips[7:10]" "ipmitool sunoem cli 'show /SP system_identifier'" | grep = 192.168.1.7: system_identifier = Oracle Big Data Appliance AK00086253 . . . 192.168.1.10: system_identifier = Oracle Big Data Appliance AK00086253
-
「Oracle Big Data Applianceサーバーの構成」のステップ10から始まる物理ハードウェア・チェックを実行します。すべての
dcli
コマンドで、前に示したeth0_ips
[range]
構文を使用して範囲を入力してください。
8.4 ネットワークの設定
次のトピックでは、イーサネット管理ネットワークに新しいサーバーを追加する方法にするついて説明します。
関連項目:
8.4.1 構成ファイルのコピー
次の手順では、Oracle ILOMへのシリアル接続を使用します。かわりにSSH接続を使用する場合、「ネットワークの構成」でIPアドレスを工場出荷時の設定からカスタム設定に変更するときに、コンソール接続が切断されます。
構成ファイルをコピーするには、次の手順を実行します。
次の手順の<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
-
ラップトップを最初の新しいサーバーのOracle ILOM "SER MGT"ポートに差し込みます。
-
提供されたパスワードを使用して、
root
としてログインします。login as: root Using keyboard-interactive authentication. Password:
password
Oracle(R) Integrated Lights Out Manager Version 3.1.2.12 r74388 Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved. -> -
コンソールを開き、同じ資格証明でログインします。
-> start /SP/console Are you sure you want to start /SP/console (y/n)? y Serial console started. To stop, type ESC ( bda7 login: User: root Password: <
password
> # -
プロンプトが表示されない場合、[Enter]を押します。
-
元のOracle Big Data Appliance構成ファイルを、ラックの第1サーバー(サーバー1)からログインした新しいサーバーにコピーします。IP_addressをサーバー1の実際のIPアドレスに置換します。
# scp root@IP_address:/opt/oracle/bda/\{rack-network.json,cluster-network.json\} /opt/oracle/bda
または、サーバー間のファイルのコピーにUSBフラッシュ・ドライブを使用します。
-
新しい
<rackname>-rack-expansion.json
構成ファイルと<clustername>-cluster-expansion.json
構成ファイルをUSBフラッシュ・ドライブから同じ/opt/oracle/dba
ディレクトリにコピーします。copyコマンドで、次の例に示すようにファイルの名前を変更します。# mkdir /mnt/usb # /opt/oracle/bda/bin/showusb /dev/sdm1 # mount /dev/sdm1 /mnt/usb # cp /mnt/usb/ <clustername>-cluster-expansion.json /opt/oracle/bda/cluster-expansion.json # cp /mnt/usb/ <rackname>-rack-expansion.json /opt/oracle/bda/rack-expansion.json
フラッシュ・ドライブの使用に関する一般的な手順は、「Oracle Big Data Applianceへの構成ファイルのコピー」を参照してください。
8.4.2 ネットワークの構成
ネットワークを構成するには、次の手順を実行します。
-
# cd /opt/oracle/bda # cd network # ./rack-networksetup
このステップを完了すると、サーバーはカスタムIPアドレスを取得します。
-
Ciscoスイッチ・アップリンク・ケーブルをローカル・ネットワークに再接続します。
-
IPアドレスを変更したときにSSH接続が切断された場合、再接続します。
-
カスタムIPアドレスを使用し、SSHを使用して第1サーバーのOracle ILOMに接続します。
-
Oracle Install Coordinatorによって提供されたパスワードを使用して、
root
ユーザーとしてログインします。
シリアル接続を使用している場合、rack-networksetupの完了後も接続されている可能性があります。そうではない場合、[Esc]+[(]を押して、再接続の前にOracle ILOMプロンプトを取得します。
-
-
管理ネットワークが正しく設定されていることを確認します。次のコマンドを実行して、レポートされたIPアドレスが構成ファイル内のアドレスと一致することを確認します。
# dcli -j "eth0_ips[range]" "ifconfig eth0 | grep 'inet '"
-
ラック構成ファイルに対して
bdacheckib —m
を実行して、インフィニバンド・トポロジを検証します。# cd /opt/oracle/bda # bdacheckib -m rack-network.json
-
パスワードなしSSHがまだ動作していることを確認します。
# cd /opt/oracle/bda # dcli -j "eth0_ips[range]" "hostname ; date"
パスワードの入力を求められた場合、[Ctrl]+[C]を複数回押します。
dcli
コマンドが失敗した場合、サーバーを構成する最初の手順のステップ5および6を繰り返します。 -
ステップ6の
date
ユーティリティの出力を使用して、すべてのサーバーおよびスイッチのクロックが同期していることを確認します。時間は数秒以内である必要があります。同期されていない場合、手動で時間を変更するか、デバイスを再起動するか、またはCiscoスイッチを通じてNTPサーバーへのルーティングを確認できます。このコマンドを発行してNTPクライアントのステータスを確認します。
# ntpq -p 127.0.0.1
-
# ./cluster-networksetup | tee /tmp/bdanet_exp.out
-
クラスタの第1サーバーでない場合、サーバーからログアウトします。
8.5 新しいサーバーへのOracle Big Data Applianceソフトウェアのインストール
新しいサーバーは、既存のクラスタに追加するか、または新しいクラスタとして構成できます。
既存のクラスタにサーバーを追加するには、次の手順を実行します。
-
「クラスタへのサーバーの追加」の手順を実行します。
サーバーを別のクラスタとして構成するには、次の手順を実行します。
-
Oracle Big Data Appliance構成生成ユーティリティを実行し、構成ファイルを生成します。「構成ファイルの生成」を参照してください。
-
Mammothユーティリティを実行してソフトウェアをインストールします。「新規ラックへのソフトウェアのインストール」を参照してください。