1. オーナーズ・ガイド
  2. インストールおよび構成
  3. 複数のラックを使用したRecovery Applianceの拡張

8 複数のラックを使用したRecovery Applianceの拡張

この章では、複数のRecovery Applianceラックの配線方法について説明します。内容は次のとおりです。

関連項目:

マルチラック配線表

マルチラック構成の概要

ラックを追加して、システム容量およびパフォーマンスを向上できます。Recovery Applianceは、柔軟な構成が可能です。ラックは、2台の計算サーバーと、3台以上のストレージ・サーバーで構成されます。Recovery Appliance X6またはX5のフル・ラックには18台のストレージ・サーバー、Recovery Appliance X4のフル・ラックには14台のストレージ・サーバーを設置できます。最大構成はフル・ラックの18です。

ストレージ・サーバーの台数に関係なく、複数のRecovery Applianceラックを配線できます(フル・ラックである必要はありません)。複数のラックのInfiniBandネットワークは、スパイン・スイッチで接続します。スパイン・スイッチとケーブルは注文する必要があります。

ラックを配線する前に、次のことを実行してください。

  1. 配線するラックの数を決定します。

  2. 設置に必要な、合計本数分のInfiniBandケーブルを入手します。「複数ラック配線表」を参照してください。

  3. 各ラックの一番下のラック・ユニット(U1)に、Sun Datacenter InfiniBand Switch 36スパイン・スイッチが設置されていることを確認してください。「Recovery Appliance X8、X7、X6およびX5ラックのレイアウト」または「Recovery Appliance X4ラックのレイアウト」を、それぞれ参照してください。

  4. 次の道具を用意します。

    • ペン

    • メモ帳

    • 懐中電灯

    • ケーブルおよびラックのラベル

    • ケーブル・タイ(フック・アンド・ループ・ストラップをお薦めします)

    関連項目:

    ケーブルのラベルの詳細は、「InfiniBandスイッチの部品」を参照してください

  5. 安全ガイドラインを確認します。Zero Data Loss Recovery Applianceセーフティおよびコンプライアンス・ガイドを参照してください。

「別のラックの追加によるラックの拡張」

Recovery Applianceは、別のRecovery Applianceラックに追加することで拡張できます。手順には、ラックの配線と構成が含まれます。ラックは、停止時間なしで配線できます。

次の点に注意してください。

  • ラック配線中にパフォーマンスが低下します。このパフォーマンスの低下は、ネットワーク帯域幅が小さくなったことと、ケーブルを抜いた時のパケット損失によるデータ再送信によるものです。

  • リーフ・スイッチを1つオフにする必要があるため、高可用性環境にはなりません。トラフィックはすべて残りのリーフ・スイッチ経由で送信されます。

  • 既存のラックのみが操作可能で、新しいラックはすべて停止します。

  • システム上で実行中のソフトウェアには、InfiniBandの再起動に関連する問題がないようにしてください。

  • 新しいラックには配線前に、拡張システムに移行される適切なIPアドレスが構成されている必要があります。同じIPアドレスを使用することはできません。

  • 既存のスパイン・スイッチは、配線手順中は優先度10に設定されます。この設定により、ファブリックのその他のスイッチより、スパイン・スイッチの優先度が高くなります。配線手順中に、新しいサブネット・マネージャ・マスターが設定されるたびに、スパイン・スイッチが最初にサブネット・マネージャ・マスター・ロールを取得します。

スパイン・スイッチの追加

1つのInfiniBandファブリックに複数のラックを構成する場合は、各ラックにスパイン・スイッチが必要です。スパイン・スイッチは出荷前に工場でインストールすることも、サイトでインストールすることもできます。Recovery Applianceは、スパイン・スイッチとして、第3のSun Datacenter InfiniBand Switch 36を使用します。

注意:

この手順はRecovery Applianceに固有です。Sun Datacenter InfiniBand Switch 36のマニュアルのステップとは異なります。

  1. ラック・コンポーネント追加のガイドラインを確認します。「安全上の注意点およびガイドライン」を参照してください。
  2. 梱包用の段ボールからSun Datacenter InfiniBand Switch 36スイッチ・コンポーネントを出します。

    • Sun Datacenter InfiniBand Switch 36スイッチ

    • ケーブル金具およびラック取付けキット

    • ケーブル管理金具およびカバー

    • 2つのラック・レール構成部品

    • 各種ねじおよび係留ナット

    • Sun Datacenter InfiniBand Switch 36ドキュメント

    スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。

  3. 適切な穴に各ラック・レールのケージ・ナットを設置します。
  4. カットアウト付きの金具をスイッチの電源側に取り付けます。
  5. C金具をInfiniBandポート側のスイッチに取り付けます。
  6. 前面からラックの途中までスイッチをスライドします。右側のC金具をとおして2本の電源コードを抜く間、できるだけスイッチをラックの左側に維持する必要があります。
  7. 柄の長い16インチのNo.3プラス・ドライバを使用して、ラックの背面からスイッチのC金具にスライド・レールを設置します。
  8. スライド・レールのケーブル・アーム金具をラックの背面に取り付けます。
  9. ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置し、そのねじに手が届くようにしておきます。
  10. ケーブル・アーム金具を正しい位置まで回転します。
  11. 上のねじを設置します。
  12. 両方のねじを締めます。
  13. 反対側で、ステップ7から12を繰り返します。
  14. 前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。
  15. プラス・ドライバを使用して、ねじを締めます。
  16. ラックU2のサーバーをロックされたサービス位置にスライドアウトし、スイッチに手が届きやすいようにします。
  17. スイッチの後部にケーブル管理アームの下部を設置します。
  18. ケーブルを適切なポートに接続します。
  19. ケーブル管理アームの上部を設置します。
  20. ラックU2のサーバーをラックにスライドします。
  21. 電源コードを前面のInfiniBandスイッチ電源スロットに設置します。
  22. スイッチの前に穴の開いたフィラー・パネルを設置します。

「InfiniBandケーブルの床および床下配線」

Sun Datacenter InfiniBand Switch 36スイッチにより、床または床下配線のInfiniBandケーブルを使用できます。床および床下配線では、ケーブルの重量に対するInfiniBandケーブルの伸長をスイッチのラックの高さに制限します。

注意:

頭上の配線の詳細は、このガイドに含まれていません。頭上の配線の詳細は、オラクル社のサービス・エンジニアに問い合せてください。

2つのラックの配線

この項では、隣り合った2つのラックの配線方法について説明します。既存のラックはR1で、新しいラックはR2です。

2つのラックを配線するには、次のようにします。

  1. スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。

    1. アクティブなシステムで任意のInfiniBandスイッチにログインします。

    2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。実行中でない場合は、「サブネット・マネージャ・マスターとしてのスパイン・スイッチの設定」の手順に従ってください。

    3. スパイン・スイッチにログインします。

    4. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    5. setsmpriority 10コマンドを使用して優先度を10に設定します。

    6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

    7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。

  2. 新しいラックが既存ラックの近くにあることを確認します。InfiniBandケーブルは各ラックのサーバーまで届く必要があります。

  3. 新しいラック(R2)を完全に停止します。

  4. 表G-4に従って、新しいラックのリーフ・スイッチを配線します。

  5. リーフ・スイッチR1 IB2の電源をオフにします。これにより、すべての計算サーバーおよびストレージ・サーバーのInfiniBandトラフィックがR1 IB3にフェイルオーバーされます。

  6. R1IB2とR1 IB3間のすべての内部スイッチ・リンクを切断します。

  7. 表G-3に従って、リーフ・スイッチR1 IB2を配線します。

  8. リーフ・スイッチR1 IB2の電源をオンにします。

  9. R1 IB2が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

  10. リーフ・スイッチR1 IB3の電源をオフにします。これにより、すべての計算サーバーおよびストレージ・サーバーのInfiniBandトラフィックがR1 IB2にフェイルオーバーされます。

  11. 表G-3に従って、リーフ・スイッチR1 IB3を配線します。

  12. リーフ・スイッチR1 IB3の電源をオンにします。

  13. R1 IB3が完全に操作状態になるまで3分待ちます。

  14. スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

  15. R2のすべてのInfiniBandスイッチの電源をオンにします。

  16. スイッチが完全に操作状態になるまで3分待ちます。

  17. スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。6つのスイッチ、R1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2およびR2 IB3が出力表示されます。

  18. 任意のスイッチからgetmasterコマンドを実行して、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。

  19. R2のすべてのサーバーの電源をオンにします。

  20. スパイン・スイッチR1 IB1にログインし、優先度を8に下げます。

    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    2. setsmpriority 8コマンドを使用して優先度を8に設定します。

    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

  21. スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。

ラックを配線したら、「Recovery Applianceラックの構成」の説明に従って構成します。

「複数のラックの配線」

この項では、隣り合った複数のラックの配線方法について説明します。既存のラックはR1、R2、...Rn、新しいラックはRn+1で、サブネット・マネージャ・マスターはR1 IB1で実行中です。

複数のラックを配線するには、次のようにします。

  1. スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。

    1. アクティブなシステムで任意のInfiniBandスイッチにログインします。

    2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。実行中でない場合は、「サブネット・マネージャ・マスターとしてのスパイン・スイッチの設定」の手順に従ってください。

    3. スパイン・スイッチにログインします。

    4. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    5. setsmpriority 10コマンドを使用して優先度を10に設定します。

    6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

    7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。

  2. 新しいラックが既存ラックの近くにあることを確認します。InfiniBandケーブルは各ラックのサーバーまで届く必要があります。

  3. 新しいラック(Rn+1)を完全に停止します。

  4. 「マルチラック配線表」の該当する表に従って、新しいラックのリーフ・スイッチを配線します。たとえば、ラックRn+1がR4の場合は、表G-11を参照します。

  5. 元の各ラックに対して次の手順を実行します。このステップで、RxはR1からRnまでのラック番号を表します。

    1. リーフ・スイッチRx IB2の電源をオフにします。これにより、すべての計算サーバーおよびストレージ・サーバーのInfiniBandトラフィックがRx IB3にフェイルオーバーされます。

    2. 「マルチラック配線表」に従って、リーフ・スイッチRx IB2を配線します。

    3. リーフ・スイッチRx IB2の電源をオンにします。

    4. Rx IB2が完全に操作状態になるまで3分待ちます。

    5. スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

    6. リーフ・スイッチRx IB3の電源をオフにします。これにより、すべての計算サーバーおよびストレージ・サーバーのInfiniBandトラフィックがRx IB2にフェイルオーバーされます。

    7. 「マルチラック配線表」に従って、リーフ・スイッチRx IB3を配線します。

    8. リーフ・スイッチRx IB3の電源をオンにします。

    9. Rx IB3が完全に操作状態になるまで3分待ちます。

    10. スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

    11. すべてが再配線されるまで、「マルチラック配線表」に従って、それぞれのラックにこのステップを繰り返します。

  6. Rn+1のすべてのInfiniBandスイッチの電源をオンにします。

  7. スイッチが完全に操作状態になるまで3分待ちます。

  8. スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...Rn+1のIB1、IB2およびIB3に対して(n+1)*3スイッチが出力表示されます。

  9. 任意のスイッチからgetmasterコマンドを実行して、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。

  10. Rn+1のすべてのサーバーの電源をオンにします。

  11. スパイン・スイッチR1 IB1にログインし、優先度を8に下げます。

    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    2. setsmpriority 8コマンドを使用して優先度を8に設定します。

    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

  12. 任意のスイッチからgetmasterコマンドを実行し、スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。

  13. 任意のスイッチから次のコマンドを使用して、各スパイン・スイッチでサブネット・マネージャが実行中であることを確認します。

    ibdiagnet -r

    出力のファブリックSMの優先度状態の概要セクションに、スパイン・スイッチが実行中であることが表示されます。

  14. スパイン・スイッチが実行中でない場合は、そのスイッチにログインし、enablesmコマンドを使用してサブネット・マネージャを有効化します。

  15. 現在、4つ以上のラックがある場合は、各ラックのリーフ・スイッチにログインし、disablesmコマンドを使用してサブネット・マネージャを無効化します

複数のラックの構成

新しいラックへのハードウェアの設置に加え、次の手順も実行する必要があります。