2.3.2.1.1 別のX9M以降のモデルのラックの追加による停止時間なしのX9M以降のモデルのラックの拡張
警告:
実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。
ノート:
その他の背景情報は、「X9M以降のモデルのラックにおけるマルチラック配線の理解」を参照してください。
この手順を使用して、通常のX9M以降のモデルのラックを拡張するには、別のX9M以降のモデルのラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。
次に、手順の概要を示します。
-
このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。
-
構成および物理的な配線
このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。
-
下位リーフ・スイッチの部分的な構成(ステップ3)
このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。
-
上位リーフ・スイッチの部分的な構成(ステップ4)
このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。
-
下位リーフ・スイッチの完了(ステップ5)
このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。
-
上位リーフ・スイッチの完了(ステップ6)
このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。
-
-
このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。
手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。
ノート:
-
この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。
-
スイッチ間ポートはポート4から7、ポート30から33です。
-
ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。
-
データベース・サーバー・ポートはポート15から22です。
他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えたX9M-8システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。
-
-
この手順では、次のネーミングの略称および表記規則を使用します。
-
既存のラックの略称はR1で、新しいラックの略称はR2です。
-
LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。
-
SSはスパイン・スイッチを識別します。
-
特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。
-
-
ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。
ヒント:
ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。
-
操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。
-
RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。
- システムを準備します。
- ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを調達して準備します。
ラックのインターコネクトに必要なRDMAネットワーク・ファブリック・ケーブルがすべてあることを確認します。
すべてのケーブルの両端にラベルを付けます。
この手順の後半で説明があるまで、既存のケーブルを外したり、新しいケーブルを接続しないでください。
必要なクロスラック配線の詳細は、次を参照してください:
指定されたケーブル長はすべて、ラックが物理的に隣接していることを前提としています。そうでない場合は、より長いケーブルが必要になることがあります。
- 物理的に既存のラック(R1)の近くに新しいラック(R2)を配置します。
RDMAネットワーク・ファブリック・ケーブルが各ラックのスイッチに到達できることを確認します。
- 新しいラック(R2)のすべてのサーバーおよびネットワーク・スイッチの電源をオンにします。
これには、データベース・サーバー、ストレージ・サーバー、RoCEネットワーク・ファブリック・リーフ・スイッチおよび管理ネットワーク・スイッチが含まれます。
- 新しいラック(R2)を既存の管理ネットワークに接続します。
ラック間でIPアドレスの競合がないこと、およびRoCEネットワーク・ファブリック・スイッチ上の管理インタフェースにアクセスできることを確認します。
- 各RoCEネットワーク・ファブリック・スイッチ(R1LL、R1UL、R2LLおよびR2UL)の現在のスイッチ構成のバックアップがあることを確認します。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。
- 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルをダウンロードします。
この手順では、My Oracle Supportのドキュメント2704997.1からダウンロードする必要がある特定のRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。
警告:
システムでExadata Secure RDMA Fabric Isolationが使用されているかどうかに応じて、異なるスイッチ構成ファイルを使用する必要があります。システム構成に一致する正しいアーカイブをダウンロードしてください。
Secure Fabricを使用しないシステム構成の場合は、
online_multi-rack_14uplinks.zipをダウンロードします。Secure Fabricを使用するシステム構成の場合は、online_SF_enabled_multi-rack_14uplinks.zipをダウンロードします。必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを含むアーカイブをダウンロードして抽出します。RoCEネットワーク・ファブリック・スイッチ上の管理インタフェースへのアクセス権を持つサーバーにファイルを配置します。
- 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを両方のラックのリーフ・スイッチにコピーします。
次のコマンドを使用して、Secure Fabricが有効になっていないシステム上のすべてのRoCEネットワーク・ファブリック・スイッチに、必要な構成ファイルをコピーできます。
-
# scp roce_multi_14uplinks_online_step3_R1_LL.cfg admin@R1LL_IP:/ -
# scp roce_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/ -
# scp roce_multi_14uplinks_online_step4_R1_UL.cfg admin@R1UL_IP:/ -
# scp roce_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/ -
# scp roce_multi_14uplinks_online_step5.cfg admin@R1LL_IP:/ -
# scp roce_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/
Secure Fabricが有効になっているシステムでは、次のコマンドを使用できます。
-
# scp roce_SF_multi_14uplinks_online_step3_R1_LL.cfg admin@R1LL_IP:/ -
# scp roce_SF_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/ -
# scp roce_SF_multi_14uplinks_online_step4_R1_UL.cfg admin@R1UL_IP:/ -
# scp roce_SF_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/ -
# scp roce_SF_multi_14uplinks_online_step5.cfg admin@R1LL_IP:/ -
# scp roce_SF_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/
前述のコマンドで、必要に応じて、適切なIPアドレスまたはホスト名を置き換えます。たとえば、R1LL_IPのかわりに、既存のラック(R1)の下位リーフ・スイッチ(LL)を管理IPアドレスまたはホスト名に置き換えます。
ノート:
この手順の残りの部分のコマンド例では、Secure Fabricが有効になっていないシステム構成の構成ファイルを使用します。必要に応じて、Secure Fabric対応のスイッチ構成ファイルを使用するようにコマンドを調整します。 -
- すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でファームウェアを最新の使用可能なリリースに更新します。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。
- RoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)を調べて、ケーブル接続されたポートのポート・カテゴリを確認します。
すべてのRoCEネットワーク・ファブリック・リーフ・スイッチで
show interface statusコマンドを実行します。-
R1LL# show interface status -
R1UL# show interface status -
R2LL# show interface status -
R2UL# show interface status
出力を調べて、次のようにポート・カテゴリを確認します。
-
スイッチ間ポートはポート4から7、ポート30から33であることを確認します。
-
ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29であることを確認します。
-
データベース・サーバー・ポートはポート15から22であることを確認します。
たとえば:
R1LL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 -- xcvrAbsen 1 auto auto -- Eth1/2 -- xcvrAbsen 1 auto auto -- Eth1/3 -- xcvrAbsen 1 auto auto -- Eth1/4 ISL1 connected trunk full 100G QSFP-100G-CR4 Eth1/5 ISL2 connected trunk full 100G QSFP-100G-CR4 Eth1/6 ISL3 connected trunk full 100G QSFP-100G-CR4 Eth1/7 ISL4 connected trunk full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 connected 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 connected 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 connected 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 connected 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 connected 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 ISL5 connected trunk full 100G QSFP-100G-CR4 Eth1/31 ISL6 connected trunk full 100G QSFP-100G-CR4 Eth1/32 ISL7 connected trunk full 100G QSFP-100G-CR4 Eth1/33 ISL8 connected trunk full 100G QSFP-100G-CR4 Eth1/34 -- xcvrAbsen 1 auto auto -- Eth1/35 -- xcvrAbsen 1 auto auto -- Eth1/36 -- xcvrAbsen 1 auto auto -- Po100 -- connected trunk full 100G -- Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
- ラック(R1およびR2)ごとに、
verify_roce_cables.pyスクリプトを実行してRoCEネットワーク・ファブリックの配線を確認します。verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。
両方のラックに対して
verify_roce_cables.pyスクリプトを実行します。-
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1 -
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
CABLE OK?列の出力にOKステータスが含まれていることを確認します。次の例は、予想されるコマンド結果を示しています。
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1 SWITCH PORT (EXPECTED PEER) LOWER LEAF (rack1sw-rocea0) : CABLE OK? UPPER LEAF (rack1sw-roceb0) : CABLE OK? ----------- --------------- -------------------------------- : -------- -------------------------------- : --------- Eth1/4 (ISL peer switch) : rack1sw-rocea0 Ethernet1/4 : OK rack1sw-roceb0 Ethernet1/4 : OK Eth1/5 (ISL peer switch) : rack1sw-rocea0 Ethernet1/5 : OK rack1sw-roceb0 Ethernet1/5 : OK Eth1/6 (ISL peer switch) : rack1sw-rocea0 Ethernet1/6 : OK rack1sw-roceb0 Ethernet1/6 : OK Eth1/7 (ISL peer switch) : rack1sw-rocea0 Ethernet1/7 : OK rack1sw-roceb0 Ethernet1/7 : OK Eth1/8 (RU39) : rack1celadm14 port-1 : OK rack1celadm14 port-2 : OK Eth1/9 (RU37) : rack1celadm13 port-1 : OK rack1celadm13 port-2 : OK Eth1/10 (RU35) : rack1celadm12 port-1 : OK rack1celadm12 port-2 : OK Eth1/11 (RU33) : rack1celadm11 port-1 : OK rack1celadm11 port-2 : OK Eth1/12 (RU31) : rack1celadm10 port-1 : OK rack1celadm10 port-2 : OK Eth1/13 (RU29) : rack1celadm09 port-1 : OK rack1celadm09 port-2 : OK Eth1/14 (RU27) : rack1celadm08 port-1 : OK rack1celadm08 port-2 : OK Eth1/15 (RU26) : rack1adm08 port-1 : OK rack1adm08 port-2 : OK Eth1/16 (RU25) : rack1adm07 port-1 : OK rack1adm07 port-2 : OK Eth1/17 (RU24) : rack1adm06 port-1 : OK rack1adm06 port-2 : OK Eth1/18 (RU23) : rack1adm05 port-1 : OK rack1adm05 port-2 : OK Eth1/19 (RU19) : rack1adm04 port-1 : OK rack1adm04 port-2 : OK Eth1/20 (RU18) : rack1adm03 port-1 : OK rack1adm03 port-2 : OK Eth1/21 (RU17) : rack1adm02 port-1 : OK rack1adm02 port-2 : OK Eth1/22 (RU16) : rack1adm01 port-1 : OK rack1adm01 port-2 : OK Eth1/23 (RU14) : rack1celadm07 port-1 : OK rack1celadm07 port-2 : OK Eth1/24 (RU12) : rack1celadm06 port-1 : OK rack1celadm06 port-2 : OK Eth1/25 (RU10) : rack1celadm05 port-1 : OK rack1celadm05 port-2 : OK Eth1/26 (RU08) : rack1celadm04 port-1 : OK rack1celadm04 port-2 : OK Eth1/27 (RU06) : rack1celadm03 port-1 : OK rack1celadm03 port-2 : OK Eth1/28 (RU04) : rack1celadm02 port-1 : OK rack1celadm02 port-2 : OK Eth1/29 (RU02) : rack1celadm01 port-1 : OK rack1celadm01 port-2 : OK Eth1/30 (ISL peer switch) : rack1sw-rocea0 Ethernet1/30 : OK rack1sw-roceb0 Ethernet1/30 : OK Eth1/31 (ISL peer switch) : rack1sw-rocea0 Ethernet1/31 : OK rack1sw-roceb0 Ethernet1/31 : OK Eth1/32 (ISL peer switch) : rack1sw-rocea0 Ethernet1/32 : OK rack1sw-roceb0 Ethernet1/32 : OK Eth1/33 (ISL peer switch) : rack1sw-rocea0 Ethernet1/33 : OK rack1sw-roceb0 Ethernet1/33 : OK -
- ラック(R1およびR2)ごとに、
infinicheckコマンドを使用してRoCEネットワーク・ファブリック操作を検証します。-
-zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。 -
-sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。 -
最後に、
-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。
各コマンドにおいて、ホスト入力ファイル(
hosts.rack1およびhosts.rack2)には、データベース・サーバーRoCEネットワーク・ファブリックIPアドレス(各データベース・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれ、セルの入力ファイル(cells.rack1およびcells.rack2)には、ストレージ・サーバーのRoCEネットワーク・ファブリックIPアドレス(各ストレージ・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれます。-
既存のラック(R1)で次の推奨コマンド・シーケンスを使用します。
-
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rack1 -c cells.rack1 -z -
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rack1 -c cells.rack1 -s -
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rack1 -c cells.rack1 -b
-
-
新しいラック(R2)で次の推奨コマンド・シーケンスを使用します。
-
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rack2 -c cells.rack2 -z -
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rack2 -c cells.rack2 -s -
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rack2 -c cells.rack2 -b
-
次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.rackN -c cells.rackN -b INFINICHECK [Network Connectivity, Configuration and Performance] #### FABRIC TYPE TESTS #### System type identified: RoCE Verifying User Equivalance of user=root from all DBs to all CELLs. #### RoCE CONFIGURATION TESTS #### Checking for presence of RoCE devices on all DBs and CELLs [SUCCESS].... RoCE devices on all DBs and CELLs look good Checking for RoCE Policy Routing settings on all DBs and CELLs [SUCCESS].... RoCE Policy Routing settings look good Checking for RoCE DSCP ToS mapping on all DBs and CELLs [SUCCESS].... RoCE DSCP ToS settings look good Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs [SUCCESS].... RoCE PFC and DSCP settings look good Checking for RoCE interface MTU settings. Expected value : 2300 [SUCCESS].... RoCE interface MTU settings look good Verifying switch advertised DSCP on all DBs and CELLs ports ( ) [SUCCESS].... Advertised DSCP settings from RoCE switch looks good #### CONNECTIVITY TESTS #### [COMPUTE NODES -> STORAGE CELLS] (60 seconds approx.) (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK [SUCCESS]....... All can talk to all storage cells [COMPUTE NODES -> COMPUTE NODES] ... -
- ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを調達して準備します。
- スパイン・スイッチ(R1SSおよびR2SS)を取り付けます。
- 既存のラック(R1SS)および新しいラック(R2SS)にスパイン・スイッチを物理的に設置して電源を投入します。
-
各スパイン・スイッチをRU1に物理的に設置します。
-
スパイン・スイッチごとに、管理イーサネット・インタフェースが管理ネットワークに接続されていることを確認し、電源を供給します。
-
各スパイン・スイッチで、Cisco Nexus C9336C-FX2スイッチの構成で説明した初期構成のステップを実行します。後で実行するため、ゴールデン構成設定を適用するステップをスキップします。
-
スパイン・スイッチごとに、管理イーサネット・インタフェースに対してpingテストを実行し、スイッチがオンラインでアクセス可能であることを確認します。
-
- ゴールデン構成設定を新しいスパイン・スイッチに適用します。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用を参照してください。
以前(ステップ1.h)にリーフ・スイッチのファームウェアの更新に使用した
patchmgrのインスタンスを使用できます。次のいずれかの
patchmgrコマンドを使用して、スイッチ・リスト・ファイル(spines.lst)を使用して、ゴールデン構成設定を両方のスパイン・スイッチに適用します。# cat spines.lst R1SS_IP:mspine.201 R2SS_IP:mspine.202 # ./patchmgr --roceswitches spines.lst --apply-config -log_dir /tmp/spinelogsノート:
スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。
- スパイン・スイッチのファームウェアをアップグレードします。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。
前のステップで使用した
patchmgrのインスタンスを使用できます。スイッチ・リスト・ファイル(
spines.lst)を使用し、次のいずれかのpatchmgrコマンドを使用して両方のスパイン・スイッチでファームウェアのアップグレードを実行します。# cat spines.lst R1SS_IP:mspine.201 R2SS_IP:mspine.202 # ./patchmgr --roceswitches spines.lst --upgrade -log_dir /tmp/spinelogsノート:
スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。
- RoCEネットワーク・ファブリック・ケーブルをスパイン・スイッチ(R1SSおよびR2SS)に接続します。
警告:
この段階では、ケーブルはスパイン・スイッチにのみ接続します。
後で混乱を回避するため、各ケーブルが正しいスイッチおよびポートに接続されていることを確認します。
いずれのケーブルもリーフ・スイッチに接続しないでください。
以前に(ステップ1.aで)準備したケーブルを使用します。
必要なクロスラック配線の詳細は、「X9M以降のモデルのラックにおける2ラック配線」を参照してください。
- 既存のラック(R1SS)および新しいラック(R2SS)にスパイン・スイッチを物理的に設置して電源を投入します。
- 下位リーフ・スイッチ(R1LLおよびR2LL)で構成の最初のラウンドを実行します。
このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。
ノート:
このステップの間、下位リーフ・スイッチ・ポートが停止されます。R1LLポートが停止している間、R1ULはRoCEネットワーク・ファブリックのみをサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1ULが停止した場合は可用性を維持できません。
- 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ・ポートを停止します。
-
R1LLの場合:
R1LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1LL(config)# interface ethernet 1/1-36 R1LL(config-if-range)# shut R1LL(config-if-range)# exit R1LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1LL(config)# <Ctrl-Z> R1LL# -
R2LLでコマンド・シーケンスを繰り返します。
R2LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2LL(config)# interface ethernet 1/1-36 R2LL(config-if-range)# shut R2LL(config-if-range)# exit R2LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2LL(config)# <Ctrl-Z> R2LL#
-
- 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。
スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。
-
R1LLでは、スイッチ構成ファイル名は
step3_R1_LL.cfgで終わる必要があります。R1LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R1_LL.cfg | grep 'none' R1LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1LL(config)# <Ctrl-Z> R1LL# -
R2LLでは、スイッチ構成ファイル名は
step3_R2_LL.cfgで終わる必要があります。R2LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R2_LL.cfg | grep 'none' R2LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2LL(config)# <Ctrl-Z> R2LL#
ノート:
このステップは、各スイッチで約5分から8分かかることがあります。
-
- 下位リーフ・スイッチ(R1LLおよびR2LL)でスイッチ間ポートを起動します。
-
R1LLの場合:
R1LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1LL(config)# interface ethernet 1/1-7, ethernet 1/30-36 R1LL(config-if-range)# no shut R1LL(config-if-range)# exit R1LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1LL(config)# <Ctrl-Z> R1LL# -
R2LLでコマンド・シーケンスを繰り返します。
R2LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2LL(config)# interface ethernet 1/1-7, ethernet 1/30-36 R2LL(config-if-range)# no shut R2LL(config-if-range)# exit R2LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2LL(config)# <Ctrl-Z> R2LL#
-
- 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
- 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ間ポートのステータスを確認します。
各下位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1LL# show interface status -
R2LL# show interface status
出力を調べて、スイッチ間ポートが
connectedであることを確認します。たとえば:
R1LL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 -- xcvrAbsen 1 auto auto -- Eth1/2 -- xcvrAbsen 1 auto auto -- Eth1/3 -- xcvrAbsen 1 auto auto -- Eth1/4 ISL1 connected trunk full 100G QSFP-100G-CR4 Eth1/5 ISL2 connected trunk full 100G QSFP-100G-CR4 Eth1/6 ISL3 connected trunk full 100G QSFP-100G-CR4 Eth1/7 ISL4 connected trunk full 100G QSFP-100G-CR4 Eth1/8 celadm14 disabled 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 disabled 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 disabled 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 disabled 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 disabled 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 disabled 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/30 ISL5 connected trunk full 100G QSFP-100G-CR4 Eth1/31 ISL6 connected trunk full 100G QSFP-100G-CR4 Eth1/32 ISL7 connected trunk full 100G QSFP-100G-CR4 Eth1/33 ISL8 connected trunk full 100G QSFP-100G-CR4 Eth1/34 -- xcvrAbsen 1 auto auto -- Eth1/35 -- xcvrAbsen 1 auto auto -- Eth1/36 -- xcvrAbsen 1 auto auto -- Po100 -- connected trunk full 100G -- Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
- 下位リーフ・スイッチ(R1LLおよびR2LL)でストレージ・サーバー・ポートを起動します。
-
R1LLの場合:
R1LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1LL(config)# interface ethernet 1/8-14, ethernet 1/23-29 R1LL(config-if-range)# no shut R1LL(config-if-range)# exit R1LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1LL(config)# <Ctrl-Z> R1LL# -
R2LLでコマンド・シーケンスを繰り返します。
R2LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2LL(config)# interface ethernet 1/8-14, ethernet 1/23-29 R2LL(config-if-range)# no shut R2LL(config-if-range)# exit R2LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2LL(config)# <Ctrl-Z> R2LL#
-
- 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
- 下位リーフ・スイッチ(R1LLおよびR2LL)のストレージ・サーバー・ポートのステータスを確認します。
各下位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1LL# show interface status -
R2LL# show interface status
出力を調べて、ストレージ・サーバーのポートが
connectedであることを確認します。たとえば:
R1LL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 -- xcvrAbsen 1 auto auto -- Eth1/2 -- xcvrAbsen 1 auto auto -- Eth1/3 -- xcvrAbsen 1 auto auto -- Eth1/4 ISL1 connected trunk full 100G QSFP-100G-CR4 Eth1/5 ISL2 connected trunk full 100G QSFP-100G-CR4 Eth1/6 ISL3 connected trunk full 100G QSFP-100G-CR4 Eth1/7 ISL4 connected trunk full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 connected 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 connected 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 connected 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 connected 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 connected 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 ISL5 connected trunk full 100G QSFP-100G-CR4 Eth1/31 ISL6 connected trunk full 100G QSFP-100G-CR4 Eth1/32 ISL7 connected trunk full 100G QSFP-100G-CR4 Eth1/33 ISL8 connected trunk full 100G QSFP-100G-CR4 Eth1/34 -- xcvrAbsen 1 auto auto -- Eth1/35 -- xcvrAbsen 1 auto auto -- Eth1/36 -- xcvrAbsen 1 auto auto -- Po100 -- connected trunk full 100G -- Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
- 下位リーフ・スイッチ(R1LLおよびR2LL)でデータベース・サーバー・ポートを起動します。
-
R1LLの場合:
R1LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1LL(config)# interface ethernet 1/15-22 R1LL(config-if-range)# no shut R1LL(config-if-range)# exit R1LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1LL(config)# <Ctrl-Z> R1LL# -
R2LLでコマンド・シーケンスを繰り返します。
R2LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2LL(config)# interface ethernet 1/15-22 R2LL(config-if-range)# no shut R2LL(config-if-range)# exit R2LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2LL(config)# <Ctrl-Z> R2LL#
-
- 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
- 下位リーフ・スイッチ(R1LLおよびR2LL)のデータベース・サーバー・ポートのステータスを確認します。
各下位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1LL# show interface status -
R2LL# show interface status
出力を調べて、データベース・サーバー・ポートが
connectedであることを確認します。たとえば:
R1LL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 -- xcvrAbsen 1 auto auto -- Eth1/2 -- xcvrAbsen 1 auto auto -- Eth1/3 -- xcvrAbsen 1 auto auto -- Eth1/4 ISL1 connected trunk full 100G QSFP-100G-CR4 Eth1/5 ISL2 connected trunk full 100G QSFP-100G-CR4 Eth1/6 ISL3 connected trunk full 100G QSFP-100G-CR4 Eth1/7 ISL4 connected trunk full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 connected 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 connected 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 connected 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 connected 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 connected 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 ISL5 connected trunk full 100G QSFP-100G-CR4 Eth1/31 ISL6 connected trunk full 100G QSFP-100G-CR4 Eth1/32 ISL7 connected trunk full 100G QSFP-100G-CR4 Eth1/33 ISL8 connected trunk full 100G QSFP-100G-CR4 Eth1/34 -- xcvrAbsen 1 auto auto -- Eth1/35 -- xcvrAbsen 1 auto auto -- Eth1/36 -- xcvrAbsen 1 auto auto -- Po100 -- connected trunk full 100G -- Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
ノート:
続行する前に、両方の下位リーフ・スイッチ(R1LLおよびR2LL)でステップ3のすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。
- 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ・ポートを停止します。
- 上位リーフ・スイッチ(R1ULおよびR2UL)で構成の最初のラウンドを実行します。
このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。
ノート:
このステップの開始時に、上位リーフ・スイッチ・ポートが停止されます。R1ULポートが停止している間、R1LLは既存のラックのRoCEネットワーク・ファブリックを排他的にサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1LLが停止した場合は可用性を維持できません。
- 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を停止します。
-
R1ULの場合:
R1UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1UL(config)# interface ethernet 1/1-36 R1UL(config-if-range)# shut R1UL(config-if-range)# exit R1UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1UL(config)# <Ctrl-Z> R1UL# -
R2ULでコマンド・シーケンスを繰り返します。
R2UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2UL(config)# interface ethernet 1/1-36 R2UL(config-if-range)# shut R2UL(config-if-range)# exit R2UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2UL(config)# <Ctrl-Z> R2UL#
-
- 両方のラックで、リーフ・スイッチ(R1LLからR1UL、およびR2LLからR2UL)間のスイッチ間リンクを削除します。
すべてのリーフ・スイッチで、スイッチ間リンクのケーブルを取り外します。
-
R1LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。
-
R1ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。
-
R2LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。
-
R2ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。
-
- 両方のラックで、上位リーフ・スイッチを両方のスパイン・スイッチに配線します(R1ULおよびR2ULからR1SSおよびR2SS)。
以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。
「X9M以降のモデルのラックにおける2ラック配線」の説明に従って、スイッチを配線します。
-
R1ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。
-
R2ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。
ノート:
各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチで
show lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。 -
- 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を再構成します。
スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。
-
R1ULでは、スイッチ構成ファイル名は
step4_R1_UL.cfgで終わる必要があります。R1UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R1_UL.cfg | grep 'none' R1UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1UL(config)# <Ctrl-Z> R1UL# -
R2ULでは、スイッチ構成ファイル名は
step4_R2_UL.cfgで終わる必要があります。R2UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R2_UL.cfg | grep 'none' R2UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2UL(config)# <Ctrl-Z> R2UL#
ノート:
このステップは、各スイッチで約5分から8分かかることがあります。
-
- 上位リーフ・スイッチ(R1ULおよびR2UL)のRoCEネットワーク・ファブリック・ポートのステータスを確認します。
各上位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1UL# show interface status -
R2UL# show interface status
出力を調べて、すべてのケーブル接続されたポートが
disabledであることを確認します。たとえば:
R1UL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 RouterPort1 disabled routed full 100G QSFP-100G-CR4 Eth1/2 RouterPort2 disabled routed full 100G QSFP-100G-CR4 Eth1/3 RouterPort3 disabled routed full 100G QSFP-100G-CR4 Eth1/4 RouterPort4 disabled routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort5 disabled routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 disabled routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort7 disabled routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 disabled 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 disabled 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 disabled 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 disabled 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 disabled 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 disabled 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort8 disabled routed full 100G QSFP-100G-CR4 Eth1/31 RouterPort9 disabled routed full 100G QSFP-100G-CR4 Eth1/32 RouterPort10 disabled routed full 100G QSFP-100G-CR4 Eth1/33 RouterPort11 disabled routed full 100G QSFP-100G-CR4 Eth1/34 RouterPort12 disabled routed full 100G QSFP-100G-CR4 Eth1/35 RouterPort13 disabled routed full 100G QSFP-100G-CR4 Eth1/36 RouterPort14 disabled routed full 100G QSFP-100G-CR4 Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto --ノート:
続行する前に、両方の上位リーフ・スイッチ(R1ULおよびR2UL)で、ステップ4のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。
-
- 上位リーフ・スイッチの構成を確認します。
以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用した
patchmgrのインスタンスを使用できます。スイッチ・リスト・ファイル(
ul.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の上位リーフ・スイッチを確認します。# cat ul.lst R1UL_IP:mleaf_u14.102 R2UL_IP:mleaf_u14.104セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルで
msfleaf_u14タグを使用します。# cat ul.lst R1UL_IP:msfleaf_u14.102 R2UL_IP:msfleaf_u14.104次に、推奨されるコマンドと予想される結果の例を示します。
# ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log 2020-08-10 13:40:09 -0700 :Working: Initiating config verification... Expect up to 6 minutes for each switch Mon Aug 10 13:40:13 PDT 2020 1 of 4 :Verifying config on switch ... ... Mon Aug 10 13:40:32 PDT 2020: [INFO ] Config matches template: ... Mon Aug 10 13:40:32 PDT 2020: [SUCCESS ] Config validation successful! 2020-08-10 13:40:32 -0700 Config check on RoCE switch(es) 2020-08-10 13:40:32 -0700 Completed run of command: ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log 2020-08-10 13:40:32 -0700 :INFO : config attempted on nodes in file ul.lst: [R1UL_IP R2UL_IP] 2020-08-10 13:40:32 -0700 :INFO : For details, check the following files in /tmp/log: 2020-08-10 13:40:32 -0700 :INFO : - updateRoceSwitch.log 2020-08-10 13:40:32 -0700 :INFO : - updateRoceSwitch.trc 2020-08-10 13:40:32 -0700 :INFO : - patchmgr.stdout 2020-08-10 13:40:32 -0700 :INFO : - patchmgr.stderr 2020-08-10 13:40:32 -0700 :INFO : - patchmgr.log 2020-08-10 13:40:32 -0700 :INFO : - patchmgr.trc 2020-08-10 13:40:32 -0700 :INFO : Exit status:0 2020-08-10 13:40:32 -0700 :INFO : Exiting.コマンド出力で、スイッチ構成が両方の上位リーフ・スイッチに適していることを確認します。停止しているポートに関するメッセージは無視してかまいません。
- 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を停止します。
- 下位リーフ・スイッチ(R1LLおよびR2LL)の構成を完了します。
このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。
- 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。
下位リーフ・スイッチ(R1LLおよびR2LL)の両方で次のコマンド・シーケンスを実行します。
以前(ステップ1.g)にスイッチにコピーした正しいスイッチ構成ファイルを使用する必要があります。このステップでは、構成ファイル名は
step5.cfgで終わる必要があります。-
R1LLの場合:
R1LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none' R1LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1LL(config)# <Ctrl-Z> R1LL# -
R2LLでコマンド・シーケンスを繰り返します。
R2LL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none' R2LL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2LL(config)# <Ctrl-Z> R2LL#
ノート:
このステップは、各スイッチで約5分から8分かかることがあります。
-
- 両方のラックで、下位リーフ・スイッチを両方のスパイン・スイッチ(R1LLおよびR2LLからR1SSおよびR2SS)に配線します。
以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。
「X9M以降のモデルのラックにおける2ラック配線」の説明に従って、スイッチを配線します。
-
R1LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。
-
R2LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。
ノート:
各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチで
show lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。 -
- 下位リーフ・スイッチで、配線されたすべてのRoCEネットワーク・ファブリック・ポート(R1LLおよびR2LL)が接続されていることを確認します。
各下位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1LL# show interface status -
R2LL# show interface status
出力を調べて、すべてのケーブル接続されたポートが
connectedであることを確認します。たとえば:
R1LL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 RouterPort1 connected routed full 100G QSFP-100G-CR4 Eth1/2 RouterPort2 connected routed full 100G QSFP-100G-CR4 Eth1/3 RouterPort3 connected routed full 100G QSFP-100G-CR4 Eth1/4 RouterPort4 connected routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort5 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 connected routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort7 connected routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 connected 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 connected 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 connected 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 connected 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 connected 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort8 connected routed full 100G QSFP-100G-CR4 Eth1/31 RouterPort9 connected routed full 100G QSFP-100G-CR4 Eth1/32 RouterPort10 connected routed full 100G QSFP-100G-CR4 Eth1/33 RouterPort11 connected routed full 100G QSFP-100G-CR4 Eth1/34 RouterPort12 connected routed full 100G QSFP-100G-CR4 Eth1/35 RouterPort13 connected routed full 100G QSFP-100G-CR4 Eth1/36 RouterPort14 connected routed full 100G QSFP-100G-CR4 Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto --ノート:
続行する前に、下位の両方のリーフ・スイッチ(R1LLおよびR2LL)で、ステップ5のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。
-
- 下位リーフ・スイッチの構成を確認します。
以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用した
patchmgrのインスタンスを使用できます。スイッチ・リスト・ファイル(
ll.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の下位リーフ・スイッチを確認します。# cat ll.lst R1LL_IP:mleaf_u14.101 R2LL_IP:mleaf_u14.103セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルで
msfleaf_u14タグを使用します。# cat ll.lst R1LL_IP:msfleaf_u14.101 R2LL_IP:msfleaf_u14.103次に、推奨されるコマンドと予想される結果の例を示します。
# ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log 2020-08-10 13:45:09 -0700 :Working: Initiating config verification... Expect up to 6 minutes for each switch Mon Aug 10 13:45:13 PDT 2020 1 of 4 :Verifying config on switch ... ... Mon Aug 10 13:45:32 PDT 2020: [INFO ] Config matches template: ... Mon Aug 10 13:45:32 PDT 2020: [SUCCESS ] Config validation successful! 2020-08-10 13:45:32 -0700 Config check on RoCE switch(es) 2020-08-10 13:45:32 -0700 Completed run of command: ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log 2020-08-10 13:45:32 -0700 :INFO : config attempted on nodes in file ll.lst: [R1LL_IP R2LL_IP] 2020-08-10 13:45:32 -0700 :INFO : For details, check the following files in /tmp/log: 2020-08-10 13:45:32 -0700 :INFO : - updateRoceSwitch.log 2020-08-10 13:45:32 -0700 :INFO : - updateRoceSwitch.trc 2020-08-10 13:45:32 -0700 :INFO : - patchmgr.stdout 2020-08-10 13:45:32 -0700 :INFO : - patchmgr.stderr 2020-08-10 13:45:32 -0700 :INFO : - patchmgr.log 2020-08-10 13:45:32 -0700 :INFO : - patchmgr.trc 2020-08-10 13:45:32 -0700 :INFO : Exit status:0 2020-08-10 13:45:32 -0700 :INFO : Exiting.コマンド出力で、スイッチ構成が両方の下位リーフ・スイッチに適していることを確認します。
- nveが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。
各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。
-
R1LL# show nve peers -
R2LL# show nve peers
この時点で、
State=Upを持つnveピアが1つ表示されます。たとえば:
R1LL# show nve peers Interface Peer-IP State LearnType Uptime Router-Mac --------- --------------- ----- --------- -------- ----------------- nve1 100.64.1.103 Up CP 00:04:29 n/a -
- BGPが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。
各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。
-
R1LL# show logging log | grep BGP -
R2LL# show logging log | grep BGP
異なるIPアドレスに関連付けられている右端の列に
Upがある2つのエントリを探します。たとえば:
R1LL# show logging log | grep BGP 2020 Aug 10 13:47:13 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.201 Up 2020 Aug 10 13:47:24 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.202 Up -
- 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。
- 上位リーフ・スイッチ(R1ULおよびR2UL)の構成を完了します。
このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。
- 上位リーフ・スイッチ(R1ULおよびR2UL)でスイッチ間ポートを起動します。
-
R1ULの場合:
R1UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1UL(config)# interface ethernet 1/1-7, ethernet 1/30-36 R1UL(config-if-range)# no shut R1UL(config-if-range)# exit R1UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1UL(config)# <Ctrl-Z> R1UL# -
R2ULでコマンド・シーケンスを繰り返します。
R2UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2UL(config)# interface ethernet 1/1-7, ethernet 1/30-36 R2UL(config-if-range)# no shut R2UL(config-if-range)# exit R2UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2UL(config)# <Ctrl-Z> R2UL#
-
- 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
- 上位リーフ・スイッチ(R1ULおよびR2UL)のスイッチ間ポートのステータスを確認します。
各上位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1UL# show interface status -
R2UL# show interface status
出力を調べて、スイッチ間ポートが
connectedであることを確認します。たとえば:
R1UL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 RouterPort1 connected routed full 100G QSFP-100G-CR4 Eth1/2 RouterPort2 connected routed full 100G QSFP-100G-CR4 Eth1/3 RouterPort3 connected routed full 100G QSFP-100G-CR4 Eth1/4 RouterPort4 connected routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort5 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 connected routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort7 connected routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 disabled 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 disabled 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 disabled 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 disabled 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 disabled 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 disabled 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort8 connected routed full 100G QSFP-100G-CR4 Eth1/31 RouterPort9 connected routed full 100G QSFP-100G-CR4 Eth1/32 RouterPort10 connected routed full 100G QSFP-100G-CR4 Eth1/33 RouterPort11 connected routed full 100G QSFP-100G-CR4 Eth1/34 RouterPort12 connected routed full 100G QSFP-100G-CR4 Eth1/35 RouterPort13 connected routed full 100G QSFP-100G-CR4 Eth1/36 RouterPort14 connected routed full 100G QSFP-100G-CR4 Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
- 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートを起動します。
-
R1ULの場合:
R1UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1UL(config)# interface ethernet 1/8-14, ethernet 1/23-29 R1UL(config-if-range)# no shut R1UL(config-if-range)# exit R1UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1UL(config)# <Ctrl-Z> R1UL# -
R2ULでコマンド・シーケンスを繰り返します。
R2UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2UL(config)# interface ethernet 1/8-14, ethernet 1/23-29 R2UL(config-if-range)# no shut R2UL(config-if-range)# exit R2UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2UL(config)# <Ctrl-Z> R2UL#
-
- 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
- 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートのステータスを確認します。
各上位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1UL# show interface status -
R2UL# show interface status
出力を調べて、ストレージ・サーバーのポートが
connectedであることを確認します。たとえば:
R1UL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 RouterPort1 connected routed full 100G QSFP-100G-CR4 Eth1/2 RouterPort2 connected routed full 100G QSFP-100G-CR4 Eth1/3 RouterPort3 connected routed full 100G QSFP-100G-CR4 Eth1/4 RouterPort4 connected routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort5 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 connected routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort7 connected routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 connected 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 connected 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 connected 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 connected 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 connected 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 disabled 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 disabled 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 disabled 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 disabled 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 disabled 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 disabled 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 disabled 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 disabled 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort8 connected routed full 100G QSFP-100G-CR4 Eth1/31 RouterPort9 connected routed full 100G QSFP-100G-CR4 Eth1/32 RouterPort10 connected routed full 100G QSFP-100G-CR4 Eth1/33 RouterPort11 connected routed full 100G QSFP-100G-CR4 Eth1/34 RouterPort12 connected routed full 100G QSFP-100G-CR4 Eth1/35 RouterPort13 connected routed full 100G QSFP-100G-CR4 Eth1/36 RouterPort14 connected routed full 100G QSFP-100G-CR4 Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
- 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートを起動します。
-
R1ULの場合:
R1UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R1UL(config)# interface ethernet 1/15-22 R1UL(config-if-range)# no shut R1UL(config-if-range)# exit R1UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R1UL(config)# <Ctrl-Z> R1UL# -
R2ULでコマンド・シーケンスを繰り返します。
R2UL# configure terminal Enter configuration commands, one per line. End with CNTL/Z. R2UL(config)# interface ethernet 1/15-22 R2UL(config-if-range)# no shut R2UL(config-if-range)# exit R2UL(config)# copy running-config startup-config [########################################] 100% Copy complete, now saving to disk (please wait)... Copy complete R2UL(config)# <Ctrl-Z> R2UL#
-
- 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
- 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートのステータスを確認します。
各上位リーフ・スイッチで
show interface statusコマンドを実行します。-
R1UL# show interface status -
R2UL# show interface status
出力を調べて、データベース・サーバー・ポートが
connectedであることを確認します。たとえば:
R1UL# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- Eth1/1 RouterPort1 connected routed full 100G QSFP-100G-CR4 Eth1/2 RouterPort2 connected routed full 100G QSFP-100G-CR4 Eth1/3 RouterPort3 connected routed full 100G QSFP-100G-CR4 Eth1/4 RouterPort4 connected routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort5 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 connected routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort7 connected routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 Eth1/9 celadm13 connected 3888 full 100G QSFP-100G-CR4 Eth1/10 celadm12 connected 3888 full 100G QSFP-100G-CR4 Eth1/11 celadm11 connected 3888 full 100G QSFP-100G-CR4 Eth1/12 celadm10 connected 3888 full 100G QSFP-100G-CR4 Eth1/13 celadm09 connected 3888 full 100G QSFP-100G-CR4 Eth1/14 celadm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/15 adm08 connected 3888 full 100G QSFP-100G-CR4 Eth1/16 adm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/17 adm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/18 adm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/19 adm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/20 adm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/21 adm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/22 adm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/23 celadm07 connected 3888 full 100G QSFP-100G-CR4 Eth1/24 celadm06 connected 3888 full 100G QSFP-100G-CR4 Eth1/25 celadm05 connected 3888 full 100G QSFP-100G-CR4 Eth1/26 celadm04 connected 3888 full 100G QSFP-100G-CR4 Eth1/27 celadm03 connected 3888 full 100G QSFP-100G-CR4 Eth1/28 celadm02 connected 3888 full 100G QSFP-100G-CR4 Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort8 connected routed full 100G QSFP-100G-CR4 Eth1/31 RouterPort9 connected routed full 100G QSFP-100G-CR4 Eth1/32 RouterPort10 connected routed full 100G QSFP-100G-CR4 Eth1/33 RouterPort11 connected routed full 100G QSFP-100G-CR4 Eth1/34 RouterPort12 connected routed full 100G QSFP-100G-CR4 Eth1/35 RouterPort13 connected routed full 100G QSFP-100G-CR4 Eth1/36 RouterPort14 connected routed full 100G QSFP-100G-CR4 Lo0 Routing loopback i connected routed auto auto -- Lo1 VTEP loopback inte connected routed auto auto -- Vlan1 -- down routed auto auto -- nve1 -- connected -- auto auto -- -
- リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でnveが稼働していることを確認します。
各リーフ・スイッチで次のコマンドを実行し、出力を調べます。
-
R1LL# show nve peers -
R1UL# show nve peers -
R2LL# show nve peers -
R2UL# show nve peers
出力には、
State=Upを持つnveピアが3つ表示されます。たとえば:
R1UL# show nve peers Interface Peer-IP State LearnType Uptime Router-Mac --------- --------------- ----- --------- -------- ----------------- nve1 100.64.1.101 Up CP 00:04:29 n/a nve1 100.64.1.103 Up CP 00:07:48 n/a nve1 100.64.1.104 Up CP 00:04:10 n/a -
- BGPが上位リーフ・スイッチ(R1ULおよびR2UL)で稼働していることを確認します。
各上位リーフ・スイッチで次のコマンドを実行し、出力を調べます。
-
R1UL# show logging log | grep BGP -
R2UL# show logging log | grep BGP
出力で、異なるIPアドレスに関連付けられている右端の列に
Upがある2つのエントリを探します。たとえば:
R1UL# show logging log | grep BGP 2020 Aug 10 13:57:13 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.201 Up 2020 Aug 10 13:57:24 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.202 Up -
- 上位リーフ・スイッチ(R1ULおよびR2UL)でスイッチ間ポートを起動します。
- 各ラック(R1およびR2)で、
verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。
両方のラックに対して
verify_roce_cables.pyスクリプトを実行します。-
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1 -
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
「X9M以降のモデルのラックにおける2ラック配線」の表に対して、
verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。次の例は、予想されるコマンド結果の抽出を示します。
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1 SWITCH PORT (EXPECTED PEER) LOWER LEAF (rack1sw-rocea0) : CABLE OK? UPPER LEAF (rack1sw-roceb0) : CABLE OK? ----------- --------------- --------------------------- : --------- --------------------------- : --------- ...# cd /opt/oracle.SupportTools/ibdiagtools # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2 SWITCH PORT (EXPECTED PEER) LOWER LEAF (rack2sw-rocea0) : CABLE OK? UPPER LEAF (rack2sw-roceb0) : CABLE OK? ----------- --------------- --------------------------- : --------- --------------------------- : --------- ... -
infinicheckコマンドを使用して、インターコネクトされた両方のラック間のRoCEネットワーク・ファブリック操作を検証します。次の推奨されるコマンド・シーケンスを使用して、両方のラック間のRoCEネットワーク・ファブリック操作を確認します。
各コマンドにおいて、
hosts.allには両方のラックのデータベース・サーバーRoCEネットワーク・ファブリックIPアドレス(各データベース・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれ、cells.allには両方のラックのストレージ・サーバーのRoCEネットワーク・ファブリックIPアドレス(各ストレージ・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれます。-
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.all -c cells.all -z -
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.all -c cells.all -s -
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.all -c cells.all -b
各
infinicheckコマンドの詳細は、ステップ1.kを参照してください。次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。
# cd /opt/oracle.SupportTools/ibdiagtools # ./infinicheck -g hosts.all -c cells.all -b INFINICHECK [Network Connectivity, Configuration and Performance] #### FABRIC TYPE TESTS #### System type identified: RoCE Verifying User Equivalance of user=root from all DBs to all CELLs. #### RoCE CONFIGURATION TESTS #### Checking for presence of RoCE devices on all DBs and CELLs [SUCCESS].... RoCE devices on all DBs and CELLs look good Checking for RoCE Policy Routing settings on all DBs and CELLs [SUCCESS].... RoCE Policy Routing settings look good Checking for RoCE DSCP ToS mapping on all DBs and CELLs [SUCCESS].... RoCE DSCP ToS settings look good Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs [SUCCESS].... RoCE PFC and DSCP settings look good Checking for RoCE interface MTU settings. Expected value : 2300 [SUCCESS].... RoCE interface MTU settings look good Verifying switch advertised DSCP on all DBs and CELLs ports ( ) [SUCCESS].... Advertised DSCP settings from RoCE switch looks good #### CONNECTIVITY TESTS #### [COMPUTE NODES -> STORAGE CELLS] (60 seconds approx.) (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK [SUCCESS]....... All can talk to all storage cells [COMPUTE NODES -> COMPUTE NODES] ...-
この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。
新しいハードウェアの構成を参照してください。