2.3.3.2 複数のInfiniBandネットワーク・ファブリック・ラックの配線

InfiniBandネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。

この手順は、InfiniBandネットワーク・ファブリック(X8以前)を使用するシステムを対象としています。

  1. スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
    1. アクティブなシステムで任意のInfiniBandスイッチにログインします。
    2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。

      次の例は、スパイン・スイッチdm01sw-ib1でサブネット・マネージャ・マスターが実行されていることを示しています。 

      # getmaster
20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36
QDR switch dm01sw-ib1.example.com enhanced port 0 lid 1 lmc 0
      スパイン・スイッチでサブネット・マネージャ・マスターが実行されていない場合は、次のステップを実行します。

      1. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。

      2. サブネット・マネージャ・マスターのリーフ・スイッチにrootユーザーとしてログインします。

      3. スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。

      4. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまでステップ1.b.iiと1.b.iiiを繰り返します。

      5. この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。

    3. サブネット・マネージャ・マスター・スパイン・スイッチにログインします。
    4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
    5. setsmpriority 10コマンドを使用して優先度を10に設定します。
    6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
    7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
  2. 新しいラックが既存ラックの近くにあることを確認します。
    InfiniBandケーブルは各ラックのサーバーまで届く必要があります。
  3. 新しいラック(Rn+1)を完全に停止します。
  4. InfiniBandネットワーク・ファブリック(X2からX8)を使用するOracle Exadata Rackモデルのマルチラック配線表の該当する表に従って、新しいラックのリーフ・スイッチを配線します。

    たとえば、ラックRn+1がR4の場合は、表6-9を使用します。

    注意:

    重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。

    新しいInfiniBandトポロジに使用する配線表では、ラックに接続するためにリーフ・スイッチのポートをスパイン・スイッチのポートに接続する方法について説明しています。スパイン・スイッチのこれらのポートの一部は、既存のInfiniBandトポロジをサポートするためにすでに使用されている可能性があります。このような場合、新しいラックのリーフ・スイッチのケーブルのみを接続し、この時点で停止します。終了できなかったケーブルをノートにとります。

    この時点で既存のラックのスパイン・スイッチのケーブルを抜かないでください。ステップ5では、既存のラックでリーフ・スイッチを再度配線する方法について説明します(順に、再度配線されるリーフ・スイッチの電源がオフになります)。これにより、現在使用中のポートが解放されます。この時点で、ケーブルのもう一方の端を、新しいラックのリーフ・スイッチから、表に示されている既存のラックのスパイン・スイッチに接続できます。

  5. 元の各ラックに対して次の手順を実行します。
    このステップで、RxはR1からRnまでのラック番号を表します。
    1. リーフ・スイッチRx IB2の電源をオフにします。
      これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB3にフェイルオーバーされます。
    2. InfiniBandネットワーク・ファブリック(X2からX8)を使用するOracle Exadata Rackモデルのマルチラック配線表に従って、リーフ・スイッチRx IB2を配線します。
    3. リーフ・スイッチRx IB2の電源をオンにします。
    4. Rx IB2が完全に操作状態になるまで少なくとも3分待ちます。

      スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

    5. リーフ・スイッチRx IB3の電源をオフにします。
      これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB2にフェイルオーバーされます。
    6. InfiniBandネットワーク・ファブリック(X2からX8)を使用するOracle Exadata Rackモデルのマルチラック配線表に従って、リーフ・スイッチRx IB3を配線します。
    7. リーフ・スイッチRx IB3の電源をオンにします。
    8. Rx IB3が完全に操作状態になるまで少なくとも3分待ちます。

      スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

  6. 新しいラックのすべてのInfiniBandスイッチの電源をオンにします。
  7. スイッチが完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...Rn+1のIB1、IB2およびIB3に対して(n+1)*3スイッチが出力表示されます。

  8. 任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。
  9. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
  10. スパイン・スイッチR1 IB1にログインし、優先度を8に下げます。
    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。
    2. setsmpriority 8コマンドを使用して優先度を8に設定します。
    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
  11. 任意のスイッチからgetmasterコマンドを使用し、スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
  12. 任意のスイッチから次のコマンドを入力して、各スパイン・スイッチでサブネット・マネージャが実行中であることを確認します。
    ibdiagnet -r

    各スパイン・スイッチは、出力のSummary Fabric SM-state-priorityセクションで実行中と表示されます。スパイン・スイッチが実行中でない場合は、スイッチにログインし、enablesmコマンドを使用してサブネット・マネージャを有効化します。

  13. 現在、4つ以上のラックがある場合は、各ラックのリーフ・スイッチにログインし、disablesmコマンドを使用してサブネット・マネージャを無効化します。

親トピック: 複数のラックの配線