2つのInfiniBandネットワーク・ファブリック・ラックの配線

InfiniBandネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。

この手順では、相互に隣接するラックを仮定します。

この手順では、既存のラックはR1で、新しいラックはR2です。

1. 次のように、スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。

   1. アクティブなシステム上のRDMAネットワーク・ファブリック・スイッチにログインします。

   2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。

   3. スパイン・スイッチにログインします。

   4. disablesmコマンドを使用して、サブネット・マネージャを停止します。

   5. setsmpriority 10コマンドを使用して優先度を10に設定します。

   6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

   7. getmasterコマンドを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。

2. 新しいラックが既存ラックの近くにあることを確認します。RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。

3. 新しいラック(R2)を完全に停止します。

4. InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、2台のリーフ・スイッチ R2 IB2とR2 IB3を新しいラック内で配線します。新しいラックR2内の(既存ラックR1ではありません)リーフ・スイッチとスパイン・スイッチ間の2つの接続および各リーフ・スイッチ間の7つの既存のスイッチの相互接続を解除する必要があります。

5. すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。

6. リーフ・スイッチR1 IB2の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのRDMAネットワーク・ファブリック・トラフィックがR1 IB3にフェイルオーバーされます。

7. R1 IB2とR1 IB3間の7つすべてのスイッチ間リンクを解除し、R1 IB2とスパイン・スイッチR1 IB1の間の1つの接続も解除します。

8. InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、リーフ・スイッチR1 IB2を配線します。

9. リーフ・スイッチR1 IB2の電源をオンにします。

10. R1 IB2が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

11. すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。

12. リーフ・スイッチR1 IB3の電源をオフにします。すべてのデータベース・サーバーおよびストレージ・サーバーのRDMAネットワーク・ファブリック・トラフィックがR1 IB2にフェイルオーバーされます。

13. R1 IB3とスパイン・スイッチR1 IB1間の1つの接続を解除します。

14. InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、リーフ・スイッチR1 IB3を配線します。

15. リーフ・スイッチR1 IB3の電源をオンにします。

16. R1 IB3が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

17. R2のすべてのInfiniBandスイッチの電源をオンにします。

18. スイッチが完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。6つのスイッチ、R1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2およびR2 IB3が出力表示されます。

19. 任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。

20. R2のすべてのサーバーの電源をオンにします。

21. スパイン・スイッチR1 IB1にログインし、次のように優先度を8に下げます。

    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    2. setsmpriority 8コマンドを使用して優先度を8に設定します。

    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

22. スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。