複数のInfiniBandネットワーク・ファブリック・ラックの配線

InfiniBandネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。

この手順は、InfiniBandネットワーク・ファブリック(X8以前)を使用するシステムを対象としています。

スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
1. アクティブなシステムで任意のInfiniBandスイッチにログインします。
2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。
  次の例は、スパイン・スイッチdm01sw-ib1でサブネット・マネージャ・マスターが実行されていることを示しています。
```
# getmaster
20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36
QDR switch dm01sw-ib1.example.com enhanced port 0 lid 1 lmc 0
```
  スパイン・スイッチでサブネット・マネージャ・マスターが実行されていない場合は、次のステップを実行します。
  1. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。
  2. サブネット・マネージャ・マスターのリーフ・スイッチにrootユーザーとしてログインします。
  3. スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。
  4. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまでステップ1.b.iiと1.b.iiiを繰り返します。
  5. この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。
3. サブネット・マネージャ・マスター・スパイン・スイッチにログインします。
4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
5. setsmpriority 10コマンドを使用して優先度を10に設定します。
6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
新しいラックが既存ラックの近くにあることを確認します。
InfiniBandケーブルは各ラックのサーバーまで届く必要があります。
新しいラック(Rn+1)を完全に停止します。
InfiniBandネットワーク・ファブリック(X2からX8)を使用するZDLRA Rackモデルのマルチラック配線表の該当する表に従って、新しいラックのリーフ・スイッチを配線します。

たとえば、ラックRn+1がR4の場合は、表24-9を使用します。

注意:

重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。

新しいInfiniBandトポロジに使用する配線表では、ラックに接続するためにリーフ・スイッチのポートをスパイン・スイッチのポートに接続する方法について説明しています。スパイン・スイッチのこれらのポートの一部は、既存のInfiniBandトポロジをサポートするためにすでに使用されている可能性があります。このような場合、新しいラックのリーフ・スイッチのケーブルのみを接続し、この時点で停止します。終了できなかったケーブルをノートにとります。

この時点で既存のラックのスパイン・スイッチのケーブルを抜かないでください。ステップ5では、既存のラックでリーフ・スイッチを再度配線する方法について説明します(順に、再度配線されるリーフ・スイッチの電源がオフになります)。これにより、現在使用中のポートが解放されます。この時点で、ケーブルのもう一方の端を、新しいラックのリーフ・スイッチから、表に示されている既存のラックのスパイン・スイッチに接続できます。
元の各ラックに対して次の手順を実行します。
このステップで、RxはR1からRnまでのラック番号を表します。
1. リーフ・スイッチRx IB2の電源をオフにします。
  これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB3にフェイルオーバーされます。
2. InfiniBandネットワーク・ファブリック(X2からX8)を使用するZDLRA Rackモデルのマルチラック配線表に従って、リーフ・スイッチRx IB2を配線します。
3. リーフ・スイッチRx IB2の電源をオンにします。
4. Rx IB2が完全に操作状態になるまで少なくとも3分待ちます。
  
  スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。
5. リーフ・スイッチRx IB3の電源をオフにします。
  これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB2にフェイルオーバーされます。
6. InfiniBandネットワーク・ファブリック(X2からX8)を使用するZDLRA Rackモデルのマルチラック配線表に従って、リーフ・スイッチRx IB3を配線します。
7. リーフ・スイッチRx IB3の電源をオンにします。
8. Rx IB3が完全に操作状態になるまで少なくとも3分待ちます。
  
  スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。
これで、InfiniBandネットワーク・ファブリック(X2からX8)を使用するZDLRA Rackモデルのマルチラック配線表に従って、すべてのラックが再接続されます。
新しいラックのすべてのInfiniBandスイッチの電源をオンにします。
スイッチが完全に操作状態になるまで3分待ちます。

スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...Rn+1のIB1、IB2およびIB3に対して(n+1)*3スイッチが出力表示されます。
任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。
新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
スパイン・スイッチR1 IB1にログインし、優先度を8に下げます。
1. disablesmコマンドを使用して、サブネット・マネージャを停止します。
2. setsmpriority 8コマンドを使用して優先度を8に設定します。
3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
任意のスイッチからgetmasterコマンドを使用し、スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
任意のスイッチから次のコマンドを入力して、各スパイン・スイッチでサブネット・マネージャが実行中であることを確認します。
```
ibdiagnet -r
```
各スパイン・スイッチは、出力のSummary Fabric SM-state-priorityセクションで実行中と表示されます。スパイン・スイッチが実行中でない場合は、スイッチにログインし、enablesmコマンドを使用してサブネット・マネージャを有効化します。
現在、4つ以上のラックがある場合は、各ラックのリーフ・スイッチにログインし、disablesmコマンドを使用してサブネット・マネージャを無効化します。