1. オーナーズ・ガイド
  2. Oracle Zero Data Loss Recovery Applianceの拡張
  3. 別のラックの追加によるラックの拡張
  4. 複数のラックの配線
  5. Oracle Exadata System Softwareリリース19.3以前を使用した複数のRoCEネットワーク・ファブリック・ラックの配線

Oracle Exadata System Softwareリリース19.3以前を使用した複数のRoCEネットワーク・ファブリック・ラックの配線

Oracle Exadata System Softwareリリース19.3以前を使用して、RoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。

この手順は、RoCEネットワーク・ファブリック(X8M以降)を使用するシステムを対象としています。

この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。

  • rack5sw-roces0:ラック5のスパイン・スイッチ(SS)
  • rack5sw-rocea0: ラック5の下位リーフ・スイッチ(R5LL)
  • rack5sw-roceb0: ラック5の上位リーフ・スイッチ(R5UL)

ノート:

3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断します
  1. 新しいラックが既存のラックR1、R2、…、Rnの近くにあることを確認します。
    RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
  2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。
    スイッチごとに、『Oracle Exadata Database Machineメンテナンス・ガイド』のRoCEネットワーク・ファブリック・スイッチ設定のバックアップの項で示されているステップを完了します。
  3. 新しいラックR n+1のすべてのサーバーを停止します。
    Oracle Exadataラックの電源オフを参照してください。スイッチはオンラインのままで、使用可能な状態である必要があります。
  4. 新しいラックRn+1のスパイン・スイッチに、マルチラックのスパイン・スイッチ構成を適用します。
    1. 最新のRDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。

      使用可能なRDMAネットワーク・ファブリック・パッチを検索するには、My Oracle Supportドキュメント888828.1でRDMAネットワーク・スイッチを検索します。Oracle Exadata System Softwareリリースの最新パッチをダウンロードして使用します。

    2. RDMAネットワーク・ファブリックのパッチZIPファイルを解凍し、ディレクトリをpatchmgrユーティリティの場所に変更します。
    3. 新しいスパイン・スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチ・ディレクトリから次のコマンドを実行します。ここで、n+1は新しいラックの番号です。 

      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_Rn+1SS.cfg
    4. スパイン・スイッチ構成ファイルのコピーを編集します。

      テキスト・エディタを使用して、3箇所の%SPINE_LOOPBACK_IP0%を次の表に示されているスイッチの正しいIPアドレスに置き換えます。使用している環境のRn+1と一致する値を使用します。

      スイッチ SPINE_LOOPBACK_IP0
      ラック3のスパイン・スイッチ(R3SS) 100.64.0.203
      ラック4のスパイン・スイッチ(R4SS) 100.64.0.204
      ラック5のスパイン・スイッチ(R5SS) 100.64.0.205
      ラック6のスパイン・スイッチ(R6SS) 100.64.0.206
      ラック7のスパイン・スイッチ(R7SS) 100.64.0.207
      ラック8のスパイン・スイッチ(R8SS) 100.64.0.208

      たとえば、既存の4ラック・システムにラックを追加する場合(n+1=5)、IPアドレス100.64.0.205を新しいラックのスパイン・スイッチ(R5SS)のSPINE_LOOPBACK_IP0として使用します。 

      ! Define loopback interface for underlay OSPF routing
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.201/32
 ip address 100.64.0.205/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.205

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! Create BGP route reflector to exchange routes across VTEPs
! Use CIDR block of IPs for neighbor range
! - log-neighbor-changes: Enables the generation of logging messages
! generated when the status of a BGP neighbor changes.
! - address-family ipv4 unicast: Enters address family configuration
! mode and Specifies IP Version 4 unicast address prefixes.
! address
router bgp 65502
 router-id 100.64.0.205
 log-neighbor-changes
    5. スパイン・スイッチ構成ファイルの3つの置換を確認します。

      たとえば、5番目のラックを追加する場合、スパイン・スイッチ構成ファイルのIPアドレス100.64.0.205をチェックします。

      $ grep 100.64 roce_spine_switch_multi_R5SS.cfg |grep -v ‘neighbor’ |grep -v ‘!’
 ip address 100.64.0.205/32
 router-id 100.64.0.205
 router-id 100.64.0.205
    6. 新しいラックRn+1のスパイン・スイッチに、更新されたマルチラック構成ファイルを適用します。

      1. 新しいラックRn+1のスイッチにログインし、既存の構成ファイルがあれば、それを削除します。たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。 

        rack5sw-roces0# delete bootflash:roce_spine_switch_multi.cfg
Do you want to delete "/roce_spine_switch_multi.cfg" ? (yes/no/abort) [y] y
rack5sw-roces0#

      2. スパイン・スイッチの変更された構成ファイルがあるサーバーにログインし、新しいラックのスパイン・スイッチにそのファイルをコピーします。たとえば、5番目のラックを追加する場合は、次のようにします。

        # scp roce_spine_switch_multi_R5SS.cfg admin@R5SS_IP_Address:/

      3. 変更したファイルがスパイン・スイッチに正常にコピーされたことを確認します。たとえば、5番目のラックを追加する場合は、新しいラックRn+1のスパイン・スイッチに再度ログインし、次のコマンドを使用します。 

        rack5sw-roces0# dir bootflash:roce_spine_switch_multi_R5SS.cfg
     27360 Nov 20 12:12:50 2019 roce_spine_switch_multi_R5SS.cfg
Usage for bootflash://sup-local
1829572608 bytes used
114893496320 bytes free
116723068928 bytes total

      4. 変更した構成をフラッシュにコピーします。

        たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。

        rack5sw-roces0# run-script bootflash:roce_spine_switch_multi_R5SS.cfg | grep 'none'

rack5sw-roces0# copy running-config startup-config

        ノート:

        スパイン・スイッチのrun-scriptコマンドは、完了までに約2分かかることがあります。
  5. 新しいラックRn+1のリーフ・スイッチに、マルチラックのリーフ・スイッチ構成を適用します。

    各リーフ・スイッチで、次のステップを実行します。ここで、SW#は、構成しているスイッチに応じて、値Rn+1LLまたはRn+1ULを表します。

    1. 既存のラックで使用されているOracle Exadata System SoftwareリリースのRDMAネットワーク・ファブリックのパッチZIPファイル(ステップ4.a)をダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. 各リーフ・スイッチのゴールデン構成ファイルのコピーを作成します。
      ラックでセキュア・ファブリックを有効にする場合は、roce_leaf_switch_multi.cfgファイルまたはroce_qinq_leaf_switch_multi.cfgファイルをコピーします。

      パッチ・ディレクトリから次のコマンドを2回実行します(SW#の値をRn+1LLおよびRn+1ULに置き換えます)。 

      # cp roce_switch_templates/roce_leaf_switch_multi.cfg roce_leaf_switch_multi_SW#.cfg
    4. リーフ・スイッチ構成ファイルの各コピーを編集して、ループバックIPアドレスを置き換えます。

      テキスト・エディタを使用して、3箇所の%LOOPBACK__IP0%および1箇所の%LOOPBACK__IP1%を、次の表に示されているリーフ・スイッチの正しいIPアドレスに置き換えます。

      スイッチ LEAF_LOOPBACK_IP0 LEAF_LOOPBACK_IP1

      ラック3の下位リーフ・スイッチ(R3LL)

      ラック3の上位リーフ・スイッチ(R3UL)

      100.64.0.105

      100.64.0.106

      100.64.1.105

      100.64.1.106

      ラック4の下位リーフ・スイッチ(R4LL)

      ラック4の上位リーフ・スイッチ(R4UL)

      100.64.0.107

      100.64.0.108

      100.64.1.107

      100.64.1.108

      ラック5の下位リーフ・スイッチ(R5LL)

      ラック5の上位リーフ・スイッチ(R5UL)

      100.64.0.109

      100.64.0.110

      100.64.1.109

      100.64.1.110

      ラック6の下位リーフ・スイッチ(R6LL)

      ラック6の上位リーフ・スイッチ(R6UL)

      100.64.0.111

      100.64.0.112

      100.64.1.111

      100.64.1.112

      ラック7の下位リーフ・スイッチ(R7LL)

      ラック7の上位リーフ・スイッチ(R7UL)

      100.64.0.113

      100.64.0.114

      100.64.1.113

      100.64.1.114

      ラック8の下位リーフ・スイッチ(R8LL)

      ラック8の上位リーフ・スイッチ(R8UL)

      100.64.0.115

      100.64.0.116

      100.64.1.115

      100.64.1.116

      たとえば、既存の4ラック・システムに5番目のラックを追加する場合、ラック5 (R5LL)の下位リーフ・スイッチの構成ファイルは次のようになります。

      ! Define loopback interface for IGP protocol for VTEP reachability
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.101/32
 ip address 100.64.0.109/32
 ip router ospf UNDERLAY area 0.0.0.0

! Define loopback interface for associating with local VTEP
interface loopback1
 description VTEP loopback interface
 !ip address 100.64.1.101/32
 ip address 100.64.1.109/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.109

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! - Create BGP route reflector to exchange routes across VTEPs
! Define max config 8 neighbor spines using their loopback IPs
! - BGP peers are located in an autonomous system (AS) that uses
! 4-byte AS numbers. Cisco recommends to pick a high value such
! as 65502 to avoid conflict with future bgp peers.
! - Create a template ‘BasePolicy’ that defines a peer policy
! template to define attributes for a particular address family.
router bgp 65502
 router-id 100.64.0.109
 log-neighbor-changes
    5. 各リーフ・スイッチ構成ファイルのIPアドレス置換を確認します。

      たとえば、5番目のラックを追加する場合、下位リーフ・スイッチ構成ファイル(R5LL)のIPアドレス100.64.0.109および100.64.1.109をチェックし、上位リーフ・スイッチ構成ファイル(R5UL)のIPアドレス100.64.0.110および100.64.1.110をチェックします。

      $ grep 100.64. roce_leaf_switch_multi_R5LL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.109/32
 ip address 100.64.1.109/32
 router-id 100.64.0.109
 router-id 100.64.0.109

$ grep 100.64. roce_leaf_switch_multi_R5UL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.110/32
 ip address 100.64.1.110/32
 router-id 100.64.0.110
 router-id 100.64.0.110
    6. 更新されたマルチラック構成ファイルを新しいラックの対応する各リーフ・スイッチに適用します。

      1. 各リーフ・スイッチにログインして、既存の構成ファイルを削除します。たとえば:

        rack5sw-rocea0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack5sw-rocea0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory
        rack5sw-roceb0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack5sw-roceb0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するリーフ・スイッチにコピーします。たとえば:

        # scp roce_leaf_switch_multi_R5LL.cfg admin@rack5sw-rocea0:/
User Access Verification
Password:
roce_leaf_switch_multi_R5LL.cfg 100% 167KB 487.6KB/s 00:00

# scp roce_leaf_switch_multi_R5UL.cfg admin@rack5sw-roceb0:/
User Access Verification
Password:
roce_leaf_switch_multi_R5UL.cfg

      3. 各リーフ・スイッチにログインし、変更したファイルが正常にコピーされたことを確認します。たとえば:

        rack5sw-rocea0# dir bootflash:roce_leaf_switch_multi_R5LL.cfg
    171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R5LL.cfg
Usage for bootflash://sup-local
2583580672 bytes used
114139488256 bytes free
116723068928 bytes total

rack5sw-roceb0# dir bootflash:roce_leaf_switch_multi_R5UL.cfg
    171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R5UL.cfg
Usage for bootflash://sup-local
2579836928 bytes used
114143232000 bytes free
116723068928 bytes total

      4. 変更した構成ファイルをフラッシュにコピーします。たとえば:

        rack5sw-rocea0# run-script bootflash:roce_leaf_switch_multi_R5LL.cfg | grep 'none'

rack5sw-rocea0# copy running-config startup-config
        rack5sw-roceb0# run-script bootflash:roce_leaf_switch_multi_R5UL.cfg | grep 'none'

rack5sw-roceb0# copy running-config startup-config

        ノート:

        リーフ・スイッチのrun-scriptコマンドは、完了までに約6分かかることがあります。
  6. patchmgrを使用し、RDMAネットワーク・ファブリック・スイッチの構成をゴールデン構成ファイルに対して検証します。
    1. (ステップ4.aで) RDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. すべてのラックのリーフ・スイッチとスパイン・スイッチのホスト名またはIPアドレスを含むファイルを作成します。
      たとえば、switches.lstという名前のファイルを作成します。このファイルには、各ラックのスパイン・スイッチおよび両方のリーフ・スイッチのホスト名またはIPアドレスが含まれています。各スイッチは新しい行に記述します。
    4. --verify_configオプションを指定してpatchmgrを実行します。

      次のコマンドで、switches.lstは問合せ対象のスイッチが含まれているファイルです。 

      $ ./patchmgr --roceswitches switches.lst --verify-config -log_dir /tmp

2019-11-20 14:12:27 -0800 :Working: Initiate config verify on RoCE switches from . Expect up to 6 minutes for each switch
                                                   

2019-11-20 14:12:30 -0800 1 of 15 :Verifying config on switch rack1sw-rocea0

2019-11-20 14:12:30 -0800: [INFO ] Dumping current running config locally as file: /tmp/run.rack1sw-rocea0.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Backed up switch config successfully
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [1/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch.cfg
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [2/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [INFO ] Config matches template: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Config validation successful!


2019-11-20 14:12:33 -0800 2 of 15 :Verifying config on switch rack1sw-roceb0
...
  7. 新しいラックRn+1のスイッチの物理的な配線を行います。

    注意:

    重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。
    1. 新しいラックRn+1の各リーフ・スイッチの間にある、8つの既存のスイッチ間接続を取り外します(ポート4、5、6、7および30、31、32、33)。
    2. マルチラック配線表の該当する表に従って、新しいラックでリーフ・スイッチを配線します。

      たとえば、5番目のラックを追加していて、ラックRn+1がR5の場合は、「表24-14 5ラック・システムの5番目のラックのリーフ・スイッチ接続」を使用します。

  8. 既存のラックのスイッチに新しいラックを追加します(R1からRn)。
    1. 既存のラック(Rx)の場合、マルチラック配線表の該当する表に従って、下部のリーフ・スイッチRxLLを配線します。
    2. 同じラックの場合、マルチラック配線表の該当する表に従って、上位リーフ・スイッチRxULを配線します。
    3. これらのステップを既存の各ラック(R1からRn)で繰り返します。
  9. 各スイッチが使用可能で、接続されていることを確認します。

    ラックR1、R2、…、Rn、Rn+1の各スイッチについて、スイッチのshow interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

    スパイン・スイッチから実行すると、出力は次のようになります。

    rack1sw-roces0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
...

    リーフ・スイッチから実行すると、出力は次のようになります。

    rack1sw-rocea0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
...
Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
...
  10. ラックR1、R2、…、Rn、Rn+1のすべてのスイッチで、近隣探索をチェックします。
    各スイッチにログインし、show lldp neighborsコマンドを使用します。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)をマルチラック配線表の該当する表に対して確認します。

    各スパイン・スイッチでは、各ラックのすべてのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    ノート:

    右端の出力列のインタフェース(Ethernet1/5など)は、該当する配線表に基づいて各スイッチで異なります。 
    rack1sw-roces0# show lldp neighbors | grep roce
rack1sw-roceb0 Eth1/5 120 BR Ethernet1/5
rack2sw-roceb0 Eth1/6 120 BR Ethernet1/5
rack1sw-roceb0 Eth1/7 120 BR Ethernet1/7
rack2sw-roceb0 Eth1/8 120 BR Ethernet1/7
rack1sw-roceb0 Eth1/9 120 BR Ethernet1/4
rack2sw-roceb0 Eth1/10 120 BR Ethernet1/4
rack3sw-roceb0 Eth1/11 120 BR Ethernet1/5
rack3sw-roceb0 Eth1/12 120 BR Ethernet1/7
rack1sw-rocea0 Eth1/13 120 BR Ethernet1/5
rack2sw-rocea0 Eth1/14 120 BR Ethernet1/5
rack1sw-rocea0 Eth1/15 120 BR Ethernet1/7
rack2sw-rocea0 Eth1/16 120 BR Ethernet1/7
rack3sw-rocea0 Eth1/17 120 BR Ethernet1/5
rack2sw-rocea0 Eth1/18 120 BR Ethernet1/4
rack3sw-rocea0 Eth1/19 120 BR Ethernet1/7
rack3sw-rocea0 Eth1/20 120 BR Ethernet1/4

    各リーフ・スイッチでは、すべてのラックのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    ノート:

    右端の出力列のインタフェース(Ethernet1/13など)は、該当する配線表に基づいて各スイッチで異なります。 
    rack1sw-rocea0# show lldp neighbors | grep roce
rack3sw-roces0 Eth1/4 120 BR Ethernet1/13
rack1sw-roces0 Eth1/5 120 BR Ethernet1/13
rack3sw-roces0 Eth1/6 120 BR Ethernet1/15
rack1sw-roces0 Eth1/7 120 BR Ethernet1/15
rack2sw-roces0 Eth1/30 120 BR Ethernet1/17
rack2sw-roces0 Eth1/31 120 BR Ethernet1/13
rack3sw-roces0 Eth1/32 120 BR Ethernet1/17
rack2sw-roces0 Eth1/33 120 BR Ethernet1/15
  11. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
  12. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    「Recovery Appliance X8Mモデルのマルチラック配線表」の該当する表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9 : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5 : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11: OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7 : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
...
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
...
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9 : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5 : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11: OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7 : OK
  13. infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。

    次の推奨コマンド・シーケンスを使用してください。各コマンドのhosts.lstにはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれ、cells.lstにはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。

    • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。たとえば: 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z

    • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。たとえば: 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s

    • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。たとえば: 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...