2.3.2.2 許容停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
停止時間を許容できるRoCEネットワーク・ファブリックを使用する2つのラックを配線するには、このより単純な手順を使用します。
この手順は、Oracle Exadata System Softwareリリース20.1.0以降を使用したRoCEネットワーク・ファブリック(X8M以降)があるシステムを対象としています。
この手順では、既存のラックはR1で、新しいラックはR2です。
システム構成に応じて、適用可能な配線表を使用します。
- ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを調達して準備します。
ラックのインターコネクトに必要なRDMAネットワーク・ファブリック・ケーブルがすべてあることを確認します。
すべてのケーブルの両端にラベルを付けます。
この手順の後半で説明があるまで、既存のケーブルを外したり、新しいケーブルを接続しないでください。
必要なクロスラック配線の詳細は、システム構成に適用可能な配線表を参照してください。次も参照してください:
指定されたケーブル長はすべて、ラックが物理的に隣接していることを前提としています。そうでない場合は、より長いケーブルが必要になることがあります。
- 新しいラックが既存ラックの近くにあることを確認します。
RDMAネットワーク・ファブリック・ケーブルが各ラックのスイッチに到達できることを確認します。
- 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。
- 新しいラック(R2)と既存のラック(R1)のすべてのサーバーを停止します。スイッチは使用可能なままにしておく必要があります。
- すべてのRoCEネットワーク・ファブリック・スイッチで、ファームウェアを入手可能な最新リリースに更新します。
このステップでは、すべてのスイッチを、単一ラック・システムに属しているかのように扱います。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。
- マルチラック・ゴールデン構成設定をRoCEネットワーク・ファブリック・スイッチに適用します。
Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用に示した手順を使用してください。
- リーフ・スイッチ・サーバー・ポートを有効にします。
前のステップでマルチラック・ゴールデン構成設定を適用した結果、リーフ・スイッチ・サーバー・ポートが無効になっている場合があります。
リーフ・スイッチ・サーバー・ポートが有効になっていることを確認するには、4つのリーフ・スイッチそれぞれにログインし、各リーフ・スイッチで次のコマンドを実行します:
rack1sw-rocea0# config term rack1sw-rocea0# int eth1/8-30 rack1sw-rocea0# no shut rack1sw-rocea0# copy running-config startup-config - スイッチの物理的な配線を行います。
- ラック2で、2つのリーフ・スイッチ(R2ULおよびR2LL)の間にある既存のスイッチ間接続を取り外します。
- ラック2で、該当する配線表を使用して、各リーフ・スイッチをスパイン・スイッチに配線します。
- ラック1で、2つのリーフ・スイッチ(R1ULおよびR1LL)の間にある既存のスイッチ間接続を取り外します。
- ラック1で、該当する配線表を使用して、各リーフ・スイッチをスパイン・スイッチに配線します。
- 各スイッチが使用可能で、接続されていることを確認します。
6つの各スイッチ(2つのスパイン・スイッチおよび4つのリーフ・スイッチ)について、
show interface statusコマンドの出力で、接続されているスイッチ間ポートごとにconnectedと100Gが表示されることを確認します。適切な配線表を使用して、接続するポートを特定します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。
スパイン・スイッチから実行すると、出力は次のようになります。
rack1sw-roces0# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- ... Eth1/5 RouterPort5 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 connected routed full 100G QSFP-100G-SR4 Eth1/7 RouterPort7 connected routed full 100G QSFP-100G-CR4 Eth1/8 RouterPort8 connected routed full 100G QSFP-100G-SR4 Eth1/9 RouterPort9 connected routed full 100G QSFP-100G-CR4 Eth1/10 RouterPort10 connected routed full 100G QSFP-100G-SR4 Eth1/11 RouterPort11 connected routed full 100G QSFP-100G-CR4 Eth1/12 RouterPort12 connected routed full 100G QSFP-100G-SR4 Eth1/13 RouterPort13 connected routed full 100G QSFP-100G-CR4 Eth1/14 RouterPort14 connected routed full 100G QSFP-100G-SR4 Eth1/15 RouterPort15 connected routed full 100G QSFP-100G-CR4 Eth1/16 RouterPort16 connected routed full 100G QSFP-100G-SR4 Eth1/17 RouterPort17 connected routed full 100G QSFP-100G-CR4 Eth1/18 RouterPort18 connected routed full 100G QSFP-100G-SR4 Eth1/19 RouterPort19 connected routed full 100G QSFP-100G-CR4 Eth1/20 RouterPort20 connected routed full 100G QSFP-100G-SR4 Eth1/21 RouterPort21 xcvrAbsen routed full 100G -- ...リーフ・スイッチから実行すると、出力は次のようになります。
rack1sw-rocea0# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- ... Eth1/4 RouterPort1 connected routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort2 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort3 connected routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort4 connected routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 ... Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort5 connected routed full 100G QSFP-100G-SR4 Eth1/31 RouterPort6 connected routed full 100G QSFP-100G-SR4 Eth1/32 RouterPort7 connected routed full 100G QSFP-100G-SR4 Eth1/33 RouterPort8 connected routed full 100G QSFP-100G-SR4 ... - ラックR1およびR2のすべてのスイッチについて、近隣探索をチェックします。
各スイッチにログインし、
show lldp neighborsコマンドを使用します。すべてのスイッチが表示されていることを確認し、スイッチ・ポートの割当てを、該当する配線表と照合して確認します。スパイン・スイッチでは、各ラックの2つのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。
ノート:
Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。rack1sw-roces0# show lldp neighbors ... Device ID Local Intf Hold-time Capability Port ID rack1-adm0 mgmt0 120 BR Ethernet1/47 rack1sw-roceb0 Eth1/5 120 BR Ethernet1/5 rack2sw-roceb0 Eth1/6 120 BR Ethernet1/5 rack1sw-roceb0 Eth1/7 120 BR Ethernet1/7 rack2sw-roceb0 Eth1/8 120 BR Ethernet1/7 rack1sw-roceb0 Eth1/9 120 BR Ethernet1/4 rack2sw-roceb0 Eth1/10 120 BR Ethernet1/4 rack1sw-roceb0 Eth1/11 120 BR Ethernet1/6 rack2sw-roceb0 Eth1/12 120 BR Ethernet1/6 rack1sw-rocea0 Eth1/13 120 BR Ethernet1/5 rack2sw-rocea0 Eth1/14 120 BR Ethernet1/5 rack1sw-rocea0 Eth1/15 120 BR Ethernet1/7 rack2sw-rocea0 Eth1/16 120 BR Ethernet1/7 rack1sw-rocea0 Eth1/17 120 BR Ethernet1/4 rack2sw-rocea0 Eth1/18 120 BR Ethernet1/4 rack1sw-rocea0 Eth1/19 120 BR Ethernet1/6 rack2sw-rocea0 Eth1/20 120 BR Ethernet1/6 Total entries displayed: 17各リーフ・スイッチでは、2つのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。
ノート:
Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。rack1sw-rocea0# show lldp neighbors ... Device ID Local Intf Hold-time Capability Port ID switch mgmt0 120 BR Ethernet1/46 rack1sw-roces0 Eth1/4 120 BR Ethernet1/17 rack1sw-roces0 Eth1/5 120 BR Ethernet1/13 rack1sw-roces0 Eth1/6 120 BR Ethernet1/19 rack1sw-roces0 Eth1/7 120 BR Ethernet1/15 rack2sw-roces0 Eth1/30 120 BR Ethernet1/17 rack2sw-roces0 Eth1/31 120 BR Ethernet1/13 rack2sw-roces0 Eth1/32 120 BR Ethernet1/19 rack2sw-roces0 Eth1/33 120 BR Ethernet1/15 rocetoi-ext-sw Eth1/36 120 BR Ethernet1/49 Total entries displayed: 10 - ラックR1およびR2のすべてのサーバーの電源を入れます。
- 各ラックで、
verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。
verify_roce_cables.pyスクリプトの出力を、該当する配線表と照合して確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。
次の出力は、コマンドの結果の部分的な例を示しています。
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1 SWITCH PORT (EXPECTED PEER) LEAF-1 (rack1sw-rocea0) : CABLE OK? LEAF-2 (rack1sw-roceb0) : CABLE OK? ----------- -------------- --------------------------- : -------- ----------------------- : --------- Eth1/4 (ISL peer switch) : rack1sw-roces0 Ethernet1/17 : OK rack1sw-roces0 Ethernet1/9 : OK Eth1/5 (ISL peer switch) : rack1sw-roces0 Ethernet1/13 : OK rack1sw-roces0 Ethernet1/5 : OK Eth1/6 (ISL peer switch) : rack1sw-roces0 Ethernet1/19 : OK rack1sw-roces0 Ethernet1/11: OK Eth1/7 (ISL peer switch) : rack1sw-roces0 Ethernet1/15 : OK rack1sw-roces0 Ethernet1/7 : OK Eth1/12 (celadm10) : rack1celadm10 port-1 : OK rack1celadm10 port-2 : OK Eth1/13 (celadm09) : rack1celadm09 port-1 : OK rack1celadm09 port-2 : OK Eth1/14 (celadm08) : rack1celadm08 port-1 : OK rack1celadm08 port-2 : OK ... Eth1/15 (adm08) : rack1dbadm08 port-1 : OK rack1dbadm08 port-2 : OK Eth1/16 (adm07) : rack1dbadm07 port-1 : OK rack1dbadm07 port-2 : OK Eth1/17 (adm06) : rack1dbadm06 port-1 : OK rack1dbadm06 port-2 : OK ... Eth1/30 (ISL peer switch) : rack2sw-roces0 Ethernet1/17 : OK rack2sw-roces0 Ethernet1/9 : OK Eth1/31 (ISL peer switch) : rack2sw-roces0 Ethernet1/13 : OK rack2sw-roces0 Ethernet1/5 : OK Eth1/32 (ISL peer switch) : rack2sw-roces0 Ethernet1/19 : OK rack2sw-roces0 Ethernet1/11: OK Eth1/33 (ISL peer switch) : rack2sw-roces0 Ethernet1/15 : OK rack2sw-roces0 Ethernet1/7 : OK# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2 SWITCH PORT (EXPECTED PEER) LEAF-1 (rack2sw-rocea0) : CABLE OK? LEAF-2 (rack2sw-roceb0) : CABLE OK? ----------- -------------- --------------------------- : -------- ----------------------- : --------- Eth1/4 (ISL peer switch) : rack1sw-roces0 Ethernet1/18 : OK rack1sw-roces0 Ethernet1/10: OK ... infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。次の推奨コマンド・シーケンスを使用してください。各コマンドの
hosts.lstにはデータベース・サーバーRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれ、cells.lstにはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。-
-zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。たとえば:# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z -
-sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。たとえば:# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s -
最後に、
-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。たとえば:# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b INFINICHECK [Network Connectivity, Configuration and Performance] #### FABRIC TYPE TESTS #### System type identified: RoCE Verifying User Equivalance of user=root from all DBs to all CELLs. #### RoCE CONFIGURATION TESTS #### Checking for presence of RoCE devices on all DBs and CELLs [SUCCESS].... RoCE devices on all DBs and CELLs look good Checking for RoCE Policy Routing settings on all DBs and CELLs [SUCCESS].... RoCE Policy Routing settings look good Checking for RoCE DSCP ToS mapping on all DBs and CELLs [SUCCESS].... RoCE DSCP ToS settings look good Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs [SUCCESS].... RoCE PFC and DSCP settings look good Checking for RoCE interface MTU settings. Expected value : 2300 [SUCCESS].... RoCE interface MTU settings look good Verifying switch advertised DSCP on all DBs and CELLs ports ( ) [SUCCESS].... Advertised DSCP settings from RoCE switch looks good #### CONNECTIVITY TESTS #### [COMPUTE NODES -> STORAGE CELLS] (60 seconds approx.) (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK [SUCCESS]....... All can talk to all storage cells [COMPUTE NODES -> COMPUTE NODES] ...
-
- ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。