既存のシステムへの別のラックの追加の概要
ラックを配線する前に次のノートを確認してください。
-
RoCEネットワーク・ファブリックを使用するラック(X8M以降)を拡張する手順は、InfiniBandネットワーク・ファブリックを使用するラック(X8以前)の場合の手順とは異なります。
-
InfiniBandネットワーク・ファブリックを使用するラックは、停止時間なしで配線できます。RoCEネットワーク・ファブリックを使用するラックでは、使用する手順によって、ラックを配線する際に停止時間が必要になる場合があります。
-
重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。
-
ラック配線中にパフォーマンスが低下する可能性があります。このパフォーマンスの低下は、ケーブルを抜いたときのパケット損失によるデータ再送信およびネットワーク帯域幅が小さくなることによるものです。
-
RDMAネットワーク・ファブリックの冗長性は、ラックの配線中に損われる可能性があります。これは、RDMAネットワーク・ファブリック・ポートまたはスイッチがオフラインになり、すべてのトラフィックが残りのスイッチを使用する必要がある場合に発生します。
-
ラックを追加するときは、既存のラックのみが稼働します。これは、新しいラックのサーバーの電源が最初に切断されていることを前提としています。
-
システム上で実行中のソフトウェアにRDMAネットワーク・ファブリックの再起動関連の問題はありません。構成を確認するには、複数のラックを接続する前に、各ラックで個別に
infinicheck
を実行します。 -
各ZDLRA Rackに3つのRDMAネットワーク・ファブリック・スイッチがすでに設置されていると想定されています。
-
新しいラックには配線前に拡張システムに移行される適切なIPアドレスが構成されており、重複するIPアドレスはありません。
- RoCEネットワーク・ファブリックを使用するラックでは、各スパイン・スイッチで1つのループバックIPインタフェースを使用し、各リーフ・スイッチで2つのループバックIPインタフェースを使用します。IPアドレス指定スキームでは、IANAの共有アドレス領域100.64.0.0/10が使用されます。これにより、他のスキームを使用するネットワークのIPv4アドレスと重複することはありません。
- リーフのループバック0のIPは、100.64.0.101、100.64.0.102、100.64.0.103などとして割り当てられます。
- リーフのループバック1のIPは、100.64.1.101、100.64.1.102、100.64.1.103などとして割り当てられます。
- スパインのループバック0のIPは、100.64.0.201、100.64.0.202から100.64.0.208までとして割り当てられます。