9 複数のOracle Big Data Applianceラックの接続

この章では、複数のOracle Big Data Applianceラックを組み合せて1つの大規模クラスタにする方法について説明します。内容は次のとおりです。

9.1 別のラックの追加によるラックの拡張

マルチラックHadoopクラスタを作成するか、Oracle Exadata Database MachineからOracle Big Data Applianceに対するアクセスを提供する場合、複数のラックを相互に接続する必要があります。各ラックは、停止させずにケーブルでまとめることができます。

ケーブルを配線する手順では、次のことに注意してください。

ラックを相互にケーブルでつないでいる間、パフォーマンスが多少低下します。この低下の原因は、ネットワーク帯域幅が減少するためと、ケーブルが外されたときのパケット損失によってデータの再送信が発生するためです。
環境は、1つのリーフ・スイッチをオフにする必要があるため、高可用性環境にはなりません。すべてのトラフィックは、残りのリーフ・スイッチを経由します。
既存のラックのみが稼働し、新しいラックの電源は落ちています。
システムで実行中のソフトウェアには、インフィニバンドの再起動に関連する問題が存在しないことが要件です。
ケーブル配線の前に、拡張システムに移行するための適切なIPアドレスで新しいラックを構成する必要があり、重複IPアドレスは許可されません。
既存のスパイン・スイッチは、ケーブル配線の作業中は優先度10に設定します。この設定によって、ネットワーク・ファブリック内でスパイン・スイッチの優先度が他のスイッチより高くなります。スパイン・スイッチは、ケーブル配線の作業中に新しいサブネット・マネージャ・マスターが設定されるたびに、最初にサブネット・マネージャ・マスターの役割を割り当てられます。

9.2 マルチラック・ケーブル配線の前提条件

接続されたすべてのOracle Big Data ApplianceおよびOracle Exadata Database Machineラック上のすべてのSun Network QDR InfiniBand Gatewayスイッチでファームウェア・バージョン2.1.3-4 NM2以上が実行されていることを確認します。必要に応じてファームウェアを更新してください。

Sun Network QDR InfiniBand Gatewayスイッチのファームウェアをv2.0.xからv2.1.x以上に更新する場合、ゲートウェイ・インスタンス番号の降順で更新するように注意してください。一番大きいゲートウェイ番号のスイッチから開始してください。

Oracle ILOMインタフェースから、このハードウェア・コマンドを使用してゲートウェイ・インスタンス番号を取得します。

setgwinstance --list

Oracle Big Data Applianceのファームウェアのアップグレードの詳細は、My Oracle SupportのドキュメントID 1534255.1を参照してください。

9.3 ケーブル配線による2つのラックの接続

次の手順では、2つのラックをケーブルで接続する方法について説明します。この手順では、各ラックが相互に隣接していると仮定します。この手順では、既存のラックがR1、新しいラックがR2です。

2つのラックをケーブルで接続するには、次の手順を実行します。

次のように、スパイン・スイッチの現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
1. アクティブなシステムのインフィニバンド・スイッチにログインします。
2. getmasterコマンドを使用して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
3. スパイン・スイッチにログインします。
4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
5. setsmpriority 10コマンドを使用して、優先度を10に設定します。
6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
7. 手順1.bを繰り返して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
新しいラックが既存のラックの近くにあることを確認します。インフィニバンド・ケーブルは、各ラックのサーバーに到達できる必要があります。
新しいラック(R2)を完全に停止します。
表F-2に従って新しいラックのリーフ・スイッチをケーブルで接続します。
リーフ・スイッチR1 IB2を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがR1 IB3にフェイルオーバーされます。
R1 IB2とR1 IB3間のすべてのスイッチ間リンクを切断します。
表F-1に従ってリーフ・スイッチR1 IB2をケーブルで接続します。
リーフ・スイッチR1 IB2の電源を投入します。
R1 IB2が完全に稼働するまで3分間待機します。

スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にR1 IB1、R1 IB2、R1 IB3という3つのスイッチが表示されます。
リーフ・スイッチR1 IB3を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがR1 IB2にフェイルオーバーされます。
表F-1に従ってリーフ・スイッチR1 IB3をケーブルで接続します。
リーフ・スイッチR1 IB3の電源を投入します。
R1 IB3が完全に稼働するまで3分間待機します。

スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にR1 IB1、R1 IB2、R1 IB3という3つのスイッチが表示されます。
R2のすべてのインフィニバンド・スイッチの電源を投入します。
スイッチが完全に稼働するまで3分間待機します。

スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にR1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2、R2 IB3という6つのスイッチが表示されます。
任意のスイッチでgetmasterコマンドを実行して、サブネット・マネージャ・マスターがR1 IB1で実行されていることを確認します。
R2のすべてのサーバーの電源を投入します。
スパイン・スイッチR1 IB1にログインし、次のようにその優先度を8に下げます。
1. disablesmコマンドを使用して、サブネット・マネージャを停止します。
2. setsmpriority 8コマンドを使用して、優先度を8に設定します。
3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
サブネット・マネージャ・マスターがいずれかのスパイン・スイッチで実行されていることを確認します。

ラックをケーブルで接続した後、ラックの構成に進みます。

9.4 ケーブル配線による複数のラックの接続

次の手順では、複数のラックをケーブルで接続する方法について説明します。この手順では、各ラックが相互に隣接していると仮定します。この手順では、既存のラックがR1、R2、... Rn、新しいラックがRn+1であり、サブネット・マネージャ・マスターがR1 IB1で実行されています。

最大で18個のラックを追加のスイッチなしでケーブル接続できます。

複数のラックをケーブル接続する手順:

次のように、スパイン・スイッチの現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
1. アクティブなシステムのインフィニバンド・スイッチにログインします。
2. getmasterコマンドを使用して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
3. スパイン・スイッチにログインします。
4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
5. setsmpriority 10コマンドを使用して、優先度を10に設定します。
6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
7. 手順1.bを繰り返して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
新しいラックが既存のラックの近くにあることを確認します。インフィニバンド・ケーブルは、各ラックのサーバーに到達できる必要があります。
新しいラック(Rn+1)を完全に停止します。
「マルチラック・ケーブル配線の表」の適切な表に従って新しいラックのリーフ・スイッチをケーブルで接続します。たとえば、ラックRn+1がR4の場合、表F-9を使用します。
元の各ラックで次の手順を完了します。これらの手順で、RxはR1からRnのラック番号を表します。
1. リーフ・スイッチRx IB2を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがRx IB3にフェイルオーバーされます。
2. 「マルチラック・ケーブル配線の表」に従ってリーフ・スイッチRx IB2をケーブルで接続します。
3. リーフ・スイッチRx IB2の電源を投入します。
4. Rx IB2が完全に稼働するまで3分間待機します。
  
  スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にラックR1、R2、... RnのIB1、IB2、IB3というn*3個のスイッチが表示されます。
5. リーフ・スイッチRx IB3を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがRx IB2にフェイルオーバーされます。
6. 「マルチラック・ケーブル配線の表」に従ってリーフ・スイッチRx IB3をケーブルで接続します。
7. リーフ・スイッチRx IB3の電源を投入します。
8. Rx IB3が完全に稼働するまで3分間待機します。
  
  スイッチを確認するには、スイッチにログインしてibswitchesコマンドを入力します。通常は、出力にラックR1、R2、... RnのIB1、IB2、IB3というn*3個のスイッチが表示されます。
  
  「マルチラック・ケーブル配線の表」に従ってすべてのラックを再ワイヤリングする必要があります。
Rn+1のすべてのインフィニバンド・スイッチの電源を投入します。
スイッチが完全に稼働するまで3分間待機します。

スイッチを確認するには、スイッチにログインしてibswitchesコマンドを実行します。通常は、出力にラックR1、R2、... Rn+1のIB1、IB2、IB3という(n+1)*3個のスイッチが表示されます。
任意のスイッチでgetmasterコマンドを入力して、サブネット・マネージャ・マスターがR1 IB1で実行されていることを確認します。
Rn+1のすべてのサーバーの電源を投入します。
スパイン・スイッチR1 IB1にログインし、次のようにその優先度を8に下げます。
1. disablesmコマンドを入力して、サブネット・マネージャを停止します。
2. setsmpriority 8コマンドを入力して、優先度を8に設定します。
3. enablesmコマンドを入力して、サブネット・マネージャを再起動します。
任意のスイッチでgetmasterコマンドを入力して、サブネット・マネージャ・マスターがいずれかのスパイン・スイッチで実行されていることを確認します。
任意のスイッチで次のコマンドを入力して、サブネット・マネージャがすべてのスパイン・スイッチで実行されていることを確認します。
```
ibdiagnet -r 
```
通常は、各スパイン・スイッチの出力の「Summary Fabric SM-state-priority」セクションに、実行中として表示されます。スパイン・スイッチが実行されていない場合、スイッチにログインしてenablesmコマンドを入力し、サブネット・マネージャを有効にします。
現在4つ以上のラックがある場合、各ラックのリーフ・スイッチにログインしてdisablesmコマンドを入力し、サブネット・マネージャを無効にします。