6.1.1 InfiniBandネットワーク・ファブリックを使用したマルチラック配線の準備

ラックをまとめて追加して、システム容量およびパフォーマンスを向上できます。ラックを配線する場合、次の点に注意してください。

• このドキュメントに示すケーブル長は、ラックが相互に隣接していると仮定します。ラックが隣接していない場合、上げ床に障害物がある場合、または頭上の配線を使用している場合は、長いケーブルが必要になることがあります。光ケーブルの場合、サポートされる最大ケーブル長は100 mです。銅ケーブルの場合、サポートされる最大ケーブル長は5 mです。

• サーバー名にラック・ユニット番号を入れることをお薦めします。これで、診断中にサーバーを識別できます。

• 追加ラックのOracle Exadata Deployment Assistantを完了すると、SCANアドレスが要求されます。ただし、元のラックのSCANアドレスが使用されるため、これらのSCANアドレスは使用されません。生成されたインストール・ファイルから新しいSCANアドレスを手動で削除してください。

• ソフトウェア所有者のアカウント名およびグループ名とその識別子は、元のラックの名前および識別子と一致する必要があります。

• 既存のディスク・グループに追加のグリッド・ディスクを使用する場合は、新しいラックのグリッド・ディスク・サイズが元のラックと同じであることを確認してください。

• 4つ以上のラックを配線してInfiniBandネットワークを構成している場合、リーフ・スイッチのサブネット・マネージャを無効化してください。

• マスター・サブネット・マネージャがスパイン・スイッチにあることを確認します。

• Oracle Exadata Database Machineクオータ・ラックは、次のように拡張できます。

  • 2つのOracle Exadata Database Machineクオータ・ラックを接続します。各リーフ・スイッチで、外部接続用の6つのポートのうち少なくとも4つオープンされています。6つのポートはそれぞれのリーフ・スイッチで5B、6A、6B、7A、7Bおよび12Aです。各ラック内のリーフ・スイッチ間で既存の7つのスイッチ間リンクを保持します。外部接続用に用意されたポートを使用して、ラック間のリーフ・スイッチをそれぞれ2つのリンクと接続します。

  • 1台のOracle Exadata Database Machineクオータ・ラックと、1台のOracle Exadata Database Machineハーフ・ラックまたはOracle Exadata Database Machineフル・ラックを接続します。各リーフ・スイッチで、外部接続用のポートが少なくとも4つオープンされています。Oracle Exadata Database Machineハーフ・ラックまたはOracle Exadata Database Machineフル・ラックのスパイン・スイッチはスパイン・スイッチのままです。各ラック内のリーフ・スイッチ間で既存の7つのスイッチ間リンクを保持します。外部接続用に用意されたポートを使用して、ラック間のリーフ・スイッチをそれぞれ2つのリンクと接続します。

  • 1台のOracle Exadata Database Machineクオータ・ラックと、2台以上のOracle Exadata Database Machineハーフ・ラックまたはOracle Exadata Database Machineフル・ラックを接続します。ラックはファットツリー・トポロジを使用して相互接続されます。それぞれ2つのリンクを使用して、クオータ・ラックの各リーフ・スイッチを各ハーフ・ラックまたはフル・ラックのスパイン・スイッチに接続します。ラックが5つ以上ある場合は、2つではなく1つのリンクを使用します。クオータ・ラックのリーフ・スイッチ間で7つのスイッチ間リンクが解除されます。

    ノート:

    追加のラックに複数のクオータ・ラックを接続する場合は、それらのクオータ・ラック用にSun Datacenter InfiniBand Switch 36スイッチを購入する必要があります。

• Oracle Exadata Database Machine X4-2以降、またはOracle Exadata Database Machine X3-8フル・ラックまたはOracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)ハーフ・ラックを拡張する場合は、Sun Datacenter InfiniBand Switch 36スイッチが付属した拡張キットを注文してください。

ラックを配線する前に、次のタスクを実行します:

1. 配線するラックの数を決定します。

2. キットのスペア・ケーブルおよび既存のスイッチ間ケーブルの数を計算します。

   ノート:

   Oracle Exadata Database Machine X4-2以降のラック、またはExadata Storage Server X4-2L Serverを搭載したOracle Exadata Database Machine X3-8フル・ラックには、スペア・ケーブルまたは3つ目のSun Datacenter InfiniBand Switch 36スイッチは付属していません。Oracle Exadata Database Machine X4-2以降のラック、またはExadata Storage Server X4-2L Serverを搭載したOracle Exadata Database Machine X3-8フル・ラックを拡張する場合は、ケーブルとSun Datacenter InfiniBand Switch 36スイッチを注文する必要があります。

   Oracle Exadata Database Machine X4-2より前のOracle Exadataラックの場合、InfiniBandケーブルを追加購入しなくても最大で3つのOracle Exadata Database Machineフル・ラックを接続できます。次の表に、スイッチのスペア・ケーブルを示します。

   ケーブル	スペア	スイッチ間	合計
   InfiniBand 2 mケーブル	0	7	7
   InfiniBand 3 mケーブル	6	2	8
   InfiniBand 5 mケーブル	10	0	10

   4つ以上のラックを接続する場合、10メートルのQSFP-QSFP QDR InfiniBand光ケーブルを追加購入する必要があります。光ケーブル1本当たり2つのQSFP SRトランシーバが必要です。次の表に、ラックの相互接続に必要なラック数およびケーブルを示します。

   ラック数	必要な3 mのケーブル	必要な5 mのケーブル	必要な10 mのケーブル
   2	16	16	0
   3	18	30	0
   4	16	40	8
   5	20	42	18
   6	24	46	26
   7	28	44	40
   8	16	52	60

3. 次の道具を用意します。

   • ペン

   • メモ帳

   • 懐中電灯

   • ケーブルおよびラックのラベル

   • ケーブル・タイ(フック・アンド・ループ・ストラップをお薦めします)

4. ラックの接頭辞のネーミング方法を決定します。たとえば、元のラックの接頭辞がdbm01の場合、2番目のラックの接頭辞にdbm02、3番目のラックの接頭辞にdbm03というように名前を付けます。

5. ラックの一意なホスト名およびIPアドレスを確認します。ラックに相互接続されているすべてのサーバーに、一意な名前およびIPアドレスを使用する必要があります。

   サーバー名およびIPアドレスの表記規則は、次の場合に異なる可能性があります。

   • すべてのOracle Exadata Database Machineフル・ラックの初期設置: システム・アドレスの割当ておよびホスト名を完全にする必要があります。

   • 既存のクラスタへの新しいOracle Exadata Database Machineフル・ラックの追加: 新しいラック構成には、新しいOracle Exadata Database Machineの一意なホスト名およびIPアドレスが必要です。同じサブネットのIPアドレスは、既存のシステムと競合できません。

   • 2つの既存のOracle Exadata Database Machineフル・ラックのクラスタ化: Oracle Exadata Database Machineに一意なホスト名およびIPアドレスがすでに割り当てられている場合または全体のクラスタを再構成する必要がある場合のみ、ホスト名およびIPアドレスを割り当てることができます。マシンを同じサブネットに設定し、IPアドレスが競合しないようにする必要があります。

6. 新しいサーバーのIPアドレスが同じサブネットにあり、現在インストールされているサーバーと重複しないことを確認します。

7. nm2versionコマンドを使用して、元のスイッチのファームウェアが新しいスイッチと同じレベルにあることを確認します。ファームウェアが同じレベルにない場合は、ファームウェア・パッチを適用します。