- オーナーズ・ガイド
- Oracle Zero Data Loss Recovery Applianceの拡張
- 別のラックの追加によるラックの拡張
- 複数のラックの配線
- Oracle Exadata System Softwareリリース20.1.0以降を使用した複数のRoCEネットワーク・ファブリック・ラックの配線
Oracle Exadata System Softwareリリース20.1.0以降を使用した複数のRoCEネットワーク・ファブリック・ラックの配線
Oracle Exadata System Softwareリリース20.1.0以降を使用して、RoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。
この手順は、RoCEネットワーク・ファブリック(X8M以降)を使用するシステムを対象としています。
この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。
rack5sw-roces0:ラック5のスパイン・スイッチ(SS)rack5sw-rocea0: ラック5の下位リーフ・スイッチ(R5LL)rack5sw-roceb0: ラック5の上位リーフ・スイッチ(R5UL)
ノート:
3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断しますシステムに応じて、適用可能な配線表を使用します。
- 新しいラックが既存のラックR1、R2、…、Rnの近くにあることを確認します。RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
- 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。スイッチごとに、『Oracle Exadata Database Machineメンテナンス・ガイド』のRoCEネットワーク・ファブリック・スイッチ設定のバックアップの項で示されているステップを完了します。
- 新しいラックR n+1のすべてのサーバーを停止します。Oracle Exadataラックの電源オフを参照してください。スイッチはオンラインのままで、使用可能な状態である必要があります。
- 新しいラックR n+1のRoCEネットワーク・ファブリック・スイッチにゴールデン構成設定を適用します。
『Oracle Exadata Database Machineメンテナンス・ガイド』のRoCE Network Fabricスイッチに対するゴールデン構成の適用に関する項に示した手順を使用してください。
- 新しいラックRn+1のスイッチの物理的な配線を行います。
注意:
重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。- 新しいラックRn+1の各リーフ・スイッチの間にある、8つの既存のスイッチ間接続を取り外します(ポート4、5、6、7および30、31、32、33)。
- 該当する配線表に従って、新しいラックでリーフ・スイッチを配線します。
たとえば、5番目のラックを追加していて、ラックRn+1がR5の場合は、「表24-14 5ラック・システムの5番目のラックのリーフ・スイッチ接続」を使用します。
- 既存のラックのスイッチに新しいラックを追加します(R1からRn)。
- 既存のラック(Rx)の場合、該当する配線表に従って、下部のリーフ・スイッチRxLLを配線します。
- 同じラックの場合、該当する配線表に従って、上部のリーフ・スイッチRxULを配線します。
- これらのステップを既存の各ラック(R1からRn)で繰り返します。
- 各スイッチが使用可能で、接続されていることを確認します。
ラックR1、R2、…、Rn、Rn+1の各スイッチについて、スイッチの
show interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。スパイン・スイッチから実行すると、出力は次のようになります。
rack1sw-roces0# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- ... Eth1/5 RouterPort5 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort6 connected routed full 100G QSFP-100G-SR4 Eth1/7 RouterPort7 connected routed full 100G QSFP-100G-CR4 Eth1/8 RouterPort8 connected routed full 100G QSFP-100G-SR4 Eth1/9 RouterPort9 connected routed full 100G QSFP-100G-CR4 Eth1/10 RouterPort10 connected routed full 100G QSFP-100G-SR4 Eth1/11 RouterPort11 connected routed full 100G QSFP-100G-CR4 Eth1/12 RouterPort12 connected routed full 100G QSFP-100G-SR4 Eth1/13 RouterPort13 connected routed full 100G QSFP-100G-CR4 Eth1/14 RouterPort14 connected routed full 100G QSFP-100G-SR4 Eth1/15 RouterPort15 connected routed full 100G QSFP-100G-CR4 Eth1/16 RouterPort16 connected routed full 100G QSFP-100G-SR4 Eth1/17 RouterPort17 connected routed full 100G QSFP-100G-CR4 Eth1/18 RouterPort18 connected routed full 100G QSFP-100G-SR4 Eth1/19 RouterPort19 connected routed full 100G QSFP-100G-CR4 Eth1/20 RouterPort20 connected routed full 100G QSFP-100G-SR4 Eth1/21 RouterPort21 xcvrAbsen routed full 100G -- ...リーフ・スイッチから実行すると、出力は次のようになります。
rack1sw-rocea0# show interface status -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- mgmt0 -- connected routed full 1000 -- -------------------------------------------------------------------------------- Port Name Status Vlan Duplex Speed Type -------------------------------------------------------------------------------- ... Eth1/4 RouterPort1 connected routed full 100G QSFP-100G-CR4 Eth1/5 RouterPort2 connected routed full 100G QSFP-100G-CR4 Eth1/6 RouterPort3 connected routed full 100G QSFP-100G-CR4 Eth1/7 RouterPort4 connected routed full 100G QSFP-100G-CR4 Eth1/8 celadm14 connected 3888 full 100G QSFP-100G-CR4 ... Eth1/29 celadm01 connected 3888 full 100G QSFP-100G-CR4 Eth1/30 RouterPort5 connected routed full 100G QSFP-100G-SR4 Eth1/31 RouterPort6 connected routed full 100G QSFP-100G-SR4 Eth1/32 RouterPort7 connected routed full 100G QSFP-100G-SR4 Eth1/33 RouterPort8 connected routed full 100G QSFP-100G-SR4 ... - ラックR1、R2、…、Rn、Rn+1のすべてのスイッチで、近隣探索をチェックします。各スイッチにログインし、
show lldp neighborsコマンドを使用します。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)を、該当する配線表に対して確認します。各スパイン・スイッチでは、各ラックのすべてのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。
ノート:
右端の出力列のインタフェース(Ethernet1/5など)は、該当する配線表に基づいて各スイッチで異なります。rack1sw-roces0# show lldp neighbors | grep roce rack1sw-roceb0 Eth1/5 120 BR Ethernet1/5 rack2sw-roceb0 Eth1/6 120 BR Ethernet1/5 rack1sw-roceb0 Eth1/7 120 BR Ethernet1/7 rack2sw-roceb0 Eth1/8 120 BR Ethernet1/7 rack1sw-roceb0 Eth1/9 120 BR Ethernet1/4 rack2sw-roceb0 Eth1/10 120 BR Ethernet1/4 rack3sw-roceb0 Eth1/11 120 BR Ethernet1/5 rack3sw-roceb0 Eth1/12 120 BR Ethernet1/7 rack1sw-rocea0 Eth1/13 120 BR Ethernet1/5 rack2sw-rocea0 Eth1/14 120 BR Ethernet1/5 rack1sw-rocea0 Eth1/15 120 BR Ethernet1/7 rack2sw-rocea0 Eth1/16 120 BR Ethernet1/7 rack3sw-rocea0 Eth1/17 120 BR Ethernet1/5 rack2sw-rocea0 Eth1/18 120 BR Ethernet1/4 rack3sw-rocea0 Eth1/19 120 BR Ethernet1/7 rack3sw-rocea0 Eth1/20 120 BR Ethernet1/4各リーフ・スイッチでは、すべてのラックのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。
ノート:
右端の出力列のインタフェース(Ethernet1/13など)は、該当する配線表に基づいて各スイッチで異なります。rack1sw-rocea0# show lldp neighbors | grep roce rack3sw-roces0 Eth1/4 120 BR Ethernet1/13 rack1sw-roces0 Eth1/5 120 BR Ethernet1/13 rack3sw-roces0 Eth1/6 120 BR Ethernet1/15 rack1sw-roces0 Eth1/7 120 BR Ethernet1/15 rack2sw-roces0 Eth1/30 120 BR Ethernet1/17 rack2sw-roces0 Eth1/31 120 BR Ethernet1/13 rack3sw-roces0 Eth1/32 120 BR Ethernet1/17 rack2sw-roces0 Eth1/33 120 BR Ethernet1/15 - 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
- 各ラックで、
verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。
verify_roce_cables.pyスクリプトの出力を、該当する配線表と照合して確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。
次の出力は、コマンドの結果の部分的な例を示しています。
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1 SWITCH PORT (EXPECTED PEER) LEAF-1 (rack1sw-rocea0) : CABLE OK? LEAF-2 (rack1sw-roceb0) : CABLE OK? ----------- -------------- --------------------------- : -------- ----------------------- : --------- Eth1/4 (ISL peer switch) : rack1sw-roces0 Ethernet1/17 : OK rack1sw-roces0 Ethernet1/9 : OK Eth1/5 (ISL peer switch) : rack1sw-roces0 Ethernet1/13 : OK rack1sw-roces0 Ethernet1/5 : OK Eth1/6 (ISL peer switch) : rack1sw-roces0 Ethernet1/19 : OK rack1sw-roces0 Ethernet1/11: OK Eth1/7 (ISL peer switch) : rack1sw-roces0 Ethernet1/15 : OK rack1sw-roces0 Ethernet1/7 : OK Eth1/12 (celadm10) : rack1celadm10 port-1 : OK rack1celadm10 port-2 : OK Eth1/13 (celadm09) : rack1celadm09 port-1 : OK rack1celadm09 port-2 : OK Eth1/14 (celadm08) : rack1celadm08 port-1 : OK rack1celadm08 port-2 : OK ... Eth1/15 (adm08) : rack1dbadm08 port-1 : OK rack1dbadm08 port-2 : OK Eth1/16 (adm07) : rack1dbadm07 port-1 : OK rack1dbadm07 port-2 : OK Eth1/17 (adm06) : rack1dbadm06 port-1 : OK rack1dbadm06 port-2 : OK ... Eth1/30 (ISL peer switch) : rack2sw-roces0 Ethernet1/17 : OK rack2sw-roces0 Ethernet1/9 : OK Eth1/31 (ISL peer switch) : rack2sw-roces0 Ethernet1/13 : OK rack2sw-roces0 Ethernet1/5 : OK Eth1/32 (ISL peer switch) : rack2sw-roces0 Ethernet1/19 : OK rack2sw-roces0 Ethernet1/11: OK Eth1/33 (ISL peer switch) : rack2sw-roces0 Ethernet1/15 : OK rack2sw-roces0 Ethernet1/7 : OK infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。次の推奨コマンド・シーケンスを使用してください。各コマンドの
hosts.lstにはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれ、cells.lstにはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。-
-zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。たとえば:# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z -
-sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。たとえば:# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s -
最後に、
-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。たとえば:# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b INFINICHECK [Network Connectivity, Configuration and Performance] #### FABRIC TYPE TESTS #### System type identified: RoCE Verifying User Equivalance of user=root from all DBs to all CELLs. #### RoCE CONFIGURATION TESTS #### Checking for presence of RoCE devices on all DBs and CELLs [SUCCESS].... RoCE devices on all DBs and CELLs look good Checking for RoCE Policy Routing settings on all DBs and CELLs [SUCCESS].... RoCE Policy Routing settings look good Checking for RoCE DSCP ToS mapping on all DBs and CELLs [SUCCESS].... RoCE DSCP ToS settings look good Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs [SUCCESS].... RoCE PFC and DSCP settings look good Checking for RoCE interface MTU settings. Expected value : 2300 [SUCCESS].... RoCE interface MTU settings look good Verifying switch advertised DSCP on all DBs and CELLs ports ( ) [SUCCESS].... Advertised DSCP settings from RoCE switch looks good #### CONNECTIVITY TESTS #### [COMPUTE NODES -> STORAGE CELLS] (60 seconds approx.) (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK [SUCCESS]....... All can talk to all storage cells [COMPUTE NODES -> COMPUTE NODES] ...
-