複数のOracle Big Data Applianceラックの接続

9.1 別のラックの追加によるラックの拡張

マルチラックHadoopクラスタを作成するか、Oracle Exadata Database MachineからOracle Big Data Applianceに対するアクセスを提供する場合、複数のラックを相互に接続する必要があります。各ラックは、停止させずにケーブルでまとめることができます。

ケーブルを配線する手順では、次のことに注意してください。

ラックを相互にケーブルでつないでいる間、パフォーマンスが多少低下します。この低下の原因は、ネットワーク帯域幅が減少するためと、ケーブルが外されたときのパケット損失によってデータの再送信が発生するためです。
環境は、1つのリーフ・スイッチをオフにする必要があるため、高可用性環境にはなりません。すべてのトラフィックは、残りのリーフ・スイッチを経由します。
既存のラックのみが稼働し、新しいラックの電源は落ちています。
システムで実行中のソフトウェアには、インフィニバンドの再起動に関連する問題が存在しないことが要件です。
ケーブル配線の前に、拡張システムに移行するための適切なIPアドレスで新しいラックを構成する必要があり、重複IPアドレスは許可されません。
既存のスパイン・スイッチは、ケーブル配線の作業中は優先度10に設定します。この設定によって、ネットワーク・ファブリック内でスパイン・スイッチの優先度が他のスイッチより高くなります。スパイン・スイッチは、ケーブル配線の作業中に新しいサブネット・マネージャ・マスターが設定されるたびに、最初にサブネット・マネージャ・マスターの役割を割り当てられます。
クラスタを新しいラックに拡張するには、最初のラック内に少なくとも4つのノードがある必要があります。クラスタに後で追加されたラックの場合は、最小でも3つのノードが必要です。

9.2 マルチラック・ケーブル配線の前提条件

すべてのスイッチでのファームウェアの確認

接続されたすべてのOracle Big Data ApplianceおよびOracle Exadata Database Machineラック上のすべてのSun Network QDR InfiniBand Gatewayスイッチでサポートされているファームウェアが実行されていることを確認します。最小バージョンはNM2 2.1.8-2です。バージョン2.2.9-3をお薦めします。必要に応じてファームウェアを更新してください。

注意:

NM2 2.2.7-2は、さらなるアップグレードのための前提条件です。2.2.8-2または2.2.9-3のファームウェアにアップグレードする前に、まず2.2.7-2にアップグレードする必要があります。そうしないと、ファームウェアの更新に失敗します。

Sun Network QDR InfiniBand Gatewayスイッチのファームウェアをv2.0.xからv2.1.x以上に更新する場合、ゲートウェイ・インスタンス番号の降順で更新するように注意してください。一番大きいゲートウェイ番号のスイッチから開始してください。

Oracle ILOMインタフェースから、このハードウェア・コマンドを使用してゲートウェイ・インスタンス番号を取得します。

setgwinstance --list

Oracle Big Data Applianceでのインフィニバンド・ファームウェアのアップグレードの詳細は、My Oracle Support Doc 1534255.1を参照してください。

オラクル社提供のケーブルの使用

Exadata Database Machineや他のオラクル社提供のエンジニアド・システムへの接続を含め、インフィニバンド・スイッチへの接続にはオラクル社提供のケーブルのみを使用することをお薦めします。オラクル社では、他のソースのケーブルの動作保証または検証を行いません。また、このようなラック対ラック接続でのサード・パーティ製ケーブルの使用から発生する問題に対してサポートを提供することはできません。

9.3 ケーブル配線による2つのラックの接続

次の手順では、2つのラックをケーブルで接続する方法について説明します。この手順では、各ラックが相互に隣接していると仮定します。この手順では、既存のラックがR1、新しいラックがR2です。

2つのラックをケーブルで接続するには、次の手順を実行します。

次のように、スパイン・スイッチの現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
1. アクティブなシステムのインフィニバンド・スイッチにログインします。
2. getmasterコマンドを使用して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
3. スパイン・スイッチにログインします。
4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
5. setsmpriority 10コマンドを使用して、優先度を10に設定します。
6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
7. ステップ1.bを繰り返して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
新しいラックが既存のラックの近くにあることを確認します。インフィニバンド・ケーブルは、各ラックのサーバーに到達できる必要があります。
新しいラック(R2)を完全に停止します。
表F-2に従って新しいラックのリーフ・スイッチをケーブルで接続します。
リーフ・スイッチR1 IB2を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがR1 IB3にフェイルオーバーされます。
R1 IB2とR1 IB3間のすべてのスイッチ間リンクを切断します。
表F-1に従ってリーフ・スイッチR1 IB2をケーブルで接続します。
リーフ・スイッチR1 IB2の電源を投入します。
R1 IB2が完全に稼働するまで3分間待機します。

スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にR1 IB1、R1 IB2、R1 IB3という3つのスイッチが表示されます。
リーフ・スイッチR1 IB3を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがR1 IB2にフェイルオーバーされます。
表F-1に従ってリーフ・スイッチR1 IB3をケーブルで接続します。
リーフ・スイッチR1 IB3の電源を投入します。
R1 IB3が完全に稼働するまで3分間待機します。

スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にR1 IB1、R1 IB2、R1 IB3という3つのスイッチが表示されます。
R2のすべてのインフィニバンド・スイッチの電源を投入します。
スイッチが完全に稼働するまで3分間待機します。

スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にR1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2、R2 IB3という6つのスイッチが表示されます。
任意のスイッチでgetmasterコマンドを実行して、サブネット・マネージャ・マスターがR1 IB1で実行されていることを確認します。
R2のすべてのサーバーの電源を投入します。
スパイン・スイッチR1 IB1にログインし、次のようにその優先度を8に下げます。
1. disablesmコマンドを使用して、サブネット・マネージャを停止します。
2. setsmpriority 8コマンドを使用して、優先度を8に設定します。
3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
サブネット・マネージャ・マスターがいずれかのスパイン・スイッチで実行されていることを確認します。

ラックをケーブルで接続した後、ラックの構成に進みます。

9.4 ケーブル配線による複数のラックの接続

次の手順では、複数のラックをケーブルで接続する方法について説明します。この手順では、各ラックが相互に隣接していると仮定します。この手順では、既存のラックがR1、R2、... Rn、新しいラックがRn+1であり、サブネット・マネージャ・マスターがR1 IB1で実行されています。

最大で18個のラックを追加のスイッチなしでケーブル接続できます。

複数のラックをケーブル接続する手順:

次のように、スパイン・スイッチの現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
1. アクティブなシステムのインフィニバンド・スイッチにログインします。
2. getmasterコマンドを使用して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
3. スパイン・スイッチにログインします。
4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
5. setsmpriority 10コマンドを使用して、優先度を10に設定します。
6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
7. ステップ1.bを繰り返して、サブネット・マネージャ・マスターがスパイン・スイッチで実行されていることを確認します。
新しいラックが既存のラックの近くにあることを確認します。インフィニバンド・ケーブルは、各ラックのサーバーに到達できる必要があります。
新しいラック(Rn+1)を完全に停止します。
「マルチラック・ケーブル配線の表」の適切な表に従って新しいラックのリーフ・スイッチをケーブルで接続します。たとえば、ラックRn+1がR4の場合、表F-9を使用します。

注意:

重大な中断となる可能性を回避するために、ライブ・ネットワーク内での配線は慎重に行う必要があります。

新しいインフィニバンド・トポロジに使用するケーブル配線表には、ラックを接続するためにリーフ・スイッチのポートをスパイン・スイッチのポートに接続する方法が示されています。スパイン・スイッチのこれらのポートの一部は、既存のインフィニバンド・トポロジをサポートするためにすでに使用されている可能性があります。このような場合は、新しいラックのリーフ・スイッチのケーブルのみを接続し、その状態にしておきます。終端できなかったケーブルを記録します。

この時点では、既存のラックのスパイン・スイッチのケーブルを外さないでください。ステップ5では、既存のラックのリーフ・スイッチを再配線し(リーフ・スイッチごとに行い、再配線しているリーフ・スイッチの電源が切断されます)、現在使用中のポートを解放する方法について説明しています。その時点で、表に示されているように、新しいラックのリーフ・スイッチから既存のラックのスパイン・スイッチにケーブルの逆側の終端を接続できます。
.
元の各ラックで次の手順を完了します。これらのステップで、RxはR1からRnのラック番号を表します。
1. リーフ・スイッチRx IB2を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがRx IB3にフェイルオーバーされます。
2. 「マルチラック・ケーブル配線の表」に従ってリーフ・スイッチRx IB2をケーブルで接続します。
3. リーフ・スイッチRx IB2の電源を投入します。
4. Rx IB2が完全に稼働するまで3分間待機します。
  
  スイッチを確認するには、ログインしてibswitchesコマンドを実行します。通常は、出力にラックR1、R2、... RnのIB1、IB2、IB3というn*3個のスイッチが表示されます。
5. リーフ・スイッチRx IB3を停止します。これによって、すべてのサーバーでインフィニバンド・トラフィックがRx IB2にフェイルオーバーされます。
6. 「マルチラック・ケーブル配線の表」に従ってリーフ・スイッチRx IB3をケーブルで接続します。
7. リーフ・スイッチRx IB3の電源を投入します。
8. Rx IB3が完全に稼働するまで3分間待機します。
  
  スイッチを確認するには、スイッチにログインしてibswitchesコマンドを入力します。通常は、出力にラックR1、R2、... RnのIB1、IB2、IB3というn*3個のスイッチが表示されます。
  
  「マルチラック・ケーブル配線の表」に従ってすべてのラックを再ワイヤリングする必要があります。
Rn+1のすべてのインフィニバンド・スイッチの電源を投入します。
スイッチが完全に稼働するまで3分間待機します。

スイッチを確認するには、スイッチにログインしてibswitchesコマンドを実行します。通常は、出力にラックR1、R2、... Rn+1のIB1、IB2、IB3という(n+1)*3個のスイッチが表示されます。
任意のスイッチでgetmasterコマンドを入力して、サブネット・マネージャ・マスターがR1 IB1で実行されていることを確認します。
Rn+1のすべてのサーバーの電源を投入します。
スパイン・スイッチR1 IB1にログインし、次のようにその優先度を8に下げます。
1. disablesmコマンドを入力して、サブネット・マネージャを停止します。
2. setsmpriority 8コマンドを入力して、優先度を8に設定します。
3. enablesmコマンドを入力して、サブネット・マネージャを再起動します。
任意のスイッチでgetmasterコマンドを入力して、サブネット・マネージャ・マスターがいずれかのスパイン・スイッチで実行されていることを確認します。
任意のスイッチで次のコマンドを入力して、サブネット・マネージャがすべてのスパイン・スイッチで実行されていることを確認します。
```
ibdiagnet -r 
```
通常は、各スパイン・スイッチの出力の「Summary Fabric SM-state-priority」セクションに、実行中として表示されます。スパイン・スイッチが実行されていない場合、スイッチにログインしてenablesmコマンドを入力し、サブネット・マネージャを有効にします。
現在4つ以上のラックがある場合、各ラックのリーフ・スイッチにログインしてdisablesmコマンドを入力し、サブネット・マネージャを無効にします。