1. オーナーズ・ガイド
  2. Oracle Zero Data Loss Recovery Applianceの拡張
  3. 別のラックの追加によるラックの拡張
  4. 2つのラックの配線
  5. 停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
  6. Oracle Exadata System Softwareリリース19.3以前を使用した停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線

Oracle Exadata System Softwareリリース19.3以前を使用した停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線

停止時間を許容でき、Oracle Exadata System Softwareリリース19.3以前を使用している場合、RoCEネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。

この手順では、既存のラックはR1で、新しいラックはR2です。

  1. 新しいラックが既存ラックの近くにあることを確認します。
    RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
  2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

  3. 新しいラック(R2)と既存のラック(R1)のすべてのサーバーを停止します。
    スイッチは使用可能なままにしておく必要があります。
  4. すべてのRoCEネットワーク・ファブリック・スイッチで、ファームウェアを入手可能な最新リリースに更新します。

    このステップでは、すべてのスイッチを、単一ラック・システムに属しているかのように扱います。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

  5. マルチラックのスパイン・スイッチ構成を2つのスパイン・スイッチに適用します。
    1. 最新のRDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。

      使用可能なRDMAネットワーク・ファブリック・パッチを検索するには、My Oracle Supportドキュメント888828.1でRDMAネットワーク・スイッチを検索します。Oracle Exadata System Softwareリリースの最新パッチをダウンロードして使用します。

    2. RDMAネットワーク・ファブリックのパッチZIPファイルを解凍し、ディレクトリをpatchmgrユーティリティの場所に変更します。
    3. 各スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチ・ディレクトリから次のコマンドを実行します。

      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_R1SS.cfg
# cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_R2SS.cfg
    4. スパイン・スイッチ構成ファイルの各コピーを編集します。

      テキスト・エディタを使用して、すべての%SPINE_LOOPBACK_IP0%を、次の表に示されているスイッチの正しいIPアドレスに置き換えます。

      スイッチ SPINE_LOOPBACK_IP0
      ラック1のスパイン・スイッチ(R1SS) 100.64.0.201
      ラック2のスパイン・スイッチ(R2SS) 100.64.0.202

      次の例は、ラック1 (R1SS)のスパイン・スイッチのSPINE_LOOPBACK_IP0としてIPアドレス100.64.0.201を使用しています。 

      ! Define loopback interface for underlay OSPF routing
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.201/32
 ip address 100.64.0.201/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.201

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! Create BGP route reflector to exchange routes across VTEPs
! Use CIDR block of IPs for neighbor range
! - log-neighbor-changes: Enables the generation of logging messages
! generated when the status of a BGP neighbor changes.
! - address-family ipv4 unicast: Enters address family configuration
! mode and Specifies IP Version 4 unicast address prefixes.
! address
router bgp 65502
 router-id 100.64.0.201
 log-neighbor-changes
    5. スパイン・スイッチ構成ファイルの3つの置換を確認します。

      たとえば、ラック1 (R1SS)の場合、スパイン・スイッチ構成ファイルのIPアドレス100.64.0.201をチェックします。

      $ grep 100.64 roce_spine_switch_multi_R1SS.cfg |grep -v ‘neighbor’ |grep -v ‘!’
 ip address 100.64.0.201/32
 router-id 100.64.0.201
 router-id 100.64.0.201
    6. 更新されたマルチラック構成ファイルを対応するスパイン・スイッチに適用します。

      1. 各スパイン・スイッチにログインし、次のコマンドを使用して既存の構成ファイルを削除します。

        delete bootflash:roce_spine_switch_multi.cfg

        たとえば:

        rack1sw-roces0# delete bootflash:roce_spine_switch_multi.cfg
Do you want to delete "/roce_spine_switch_multi.cfg" ? (yes/no/abort) [y] y
rack1sw-roces0#

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するスパイン・スイッチにコピーします。

        # scp roce_spine_switch_multi_R1SS.cfg admin@R1SS_IP_Address:/
# scp roce_spine_switch_multi_R2SS.cfg admin@R2SS_IP_Address:/

      3. 変更したファイルがスパイン・スイッチに正常にコピーされたことを確認します。たとえば、最初のラックの場合、スパイン・スイッチに再度ログインし、次のコマンドを使用します。

        rack1sw-roces0# dir bootflash:roce_spine_switch_multi_R1SS.cfg
     27360 Nov 20 12:12:50 2019 roce_spine_switch_multi_R1SS.cfg
Usage for bootflash://sup-local
1829572608 bytes used
114893496320 bytes free
116723068928 bytes total

      4. 各スイッチに再度ログインして、変更された構成をフラッシュにコピーします。

        ラック1のスパイン・スイッチでは、次のコマンドを使用します。

        rack1sw-roces0# run-script bootflash:roce_spine_switch_multi_R1SS.cfg | grep 'none'
rack1sw-roces0# copy running-config startup-config

        ラック2のスパイン・スイッチでは、次のコマンドを使用します。

        rack2sw-roces0# run-script bootflash:roce_spine_switch_multi_R2SS.cfg | grep 'none'
rack2sw-roces0# copy running-config startup-config

        ノート:

        スパイン・スイッチのrun-scriptコマンドは、完了までに約2分かかることがあります。
  6. マルチラックのリーフ・スイッチ構成を4つのリーフ・スイッチに適用します。

    スイッチごとに、次のステップを実行します。ここで、SW#は、構成しているスイッチに応じて、値R1LL、R1UL、R2LLまたはR2ULを表します。

    1. 既存のラックで使用されるOracle Zero Data Loss Recovery Applianceソフトウェア・リリースのRDMAネットワーク・ファブリックのパッチZIPファイルを(前のステップで)ダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. 各リーフ・スイッチのゴールデン構成ファイルのコピーを作成します。
      ExadataセキュアRDMAファブリック分離を有効にする場合は、roce_leaf_switch_multi.cfgファイルまたはroce_qinq_leaf_switch_multi.cfgファイルをコピーします。

      パッチZIPファイルを解凍したら、パッチ・ディレクトリから次のコマンドを4回実行します(SW#の値をR1LL、R1UL、R2LLおよびR2ULに置き換えます)。 

      # cp roce_switch_templates/roce_leaf_switch_multi.cfg roce_leaf_switch_multi_SW#.cfg
    4. リーフ・スイッチ構成ファイルの各コピーを編集して、ループバックIPアドレスを置き換えます。

      テキスト・エディタを使用して、すべての%LOOPBACK__IP0%および%LOOPBACK__IP1%を、次の表に示されているリーフ・スイッチの正しいIPアドレスに置き換えます。

      2ラック・システムのリーフ・スイッチのループバックIPアドレスに使用されるスキームは、次のとおりです。

      スイッチ LEAF_LOOPBACK_IP0 LEAF_LOOPBACK_IP1
      ラック1の下位リーフ・スイッチ(R1LL) 100.64.0.101 100.64.1.101
      ラック1の上位リーフ・スイッチ(R1UL) 100.64.0.102 100.64.1.102
      ラック2の下位リーフ・スイッチ(R2LL) 100.64.0.103 100.64.1.103
      ラック2の上位リーフ・スイッチ(R2UL) 100.64.0.104 100.64.1.104

      次の例は、ラック1 (R1LL)の下位リーフ・スイッチのSPINE_LOOPBACK_IP0としてIPアドレス100.64.0.101を使用しています。 

      ! Define loopback interface for IGP protocol for VTEP reachability
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.101/32
 ip address 100.64.0.101/32
 ip router ospf UNDERLAY area 0.0.0.0

! Define loopback interface for associating with local VTEP
interface loopback1
 description VTEP loopback interface
 !ip address 100.64.1.101/32
 ip address 100.64.1.101/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.101

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! - Create BGP route reflector to exchange routes across VTEPs
! Define max config 8 neighbor spines using their loopback IPs
! - BGP peers are located in an autonomous system (AS) that uses
! 4-byte AS numbers. Cisco recommends to pick a high value such
! as 65502 to avoid conflict with future bgp peers.
! - Create a template ‘BasePolicy’ that defines a peer policy
! template to define attributes for a particular address family.
router bgp 65502
 router-id 100.64.0.101
 log-neighbor-changes
    5. 各リーフ・スイッチ構成ファイルのIPアドレス置換を確認します。

      たとえば、最初のラックの場合、下部リーフ・スイッチ構成ファイル(R1LL)のIPアドレス100.64.0.101および100.64.1.101と、上部リーフ・スイッチ構成ファイル(R1UL)のIPアドレス100.64.0.102および100.64.1.102をチェックします。

      $ grep 100.64. roce_leaf_switch_multi_R1LL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.101/32
 ip address 100.64.1.101/32
 router-id 100.64.0.101
 router-id 100.64.0.101

$ grep 100.64. roce_leaf_switch_multi_R1UL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.102/32
 ip address 100.64.1.102/32
 router-id 100.64.0.102
 router-id 100.64.0.102
    6. 更新されたマルチラック構成ファイルを対応する各リーフ・スイッチに適用します。

      1. 各リーフ・スイッチにログインして、既存の構成ファイルを削除します。たとえば:

        rack1sw-rocea0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack1sw-rocea0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory
        rack1sw-roceb0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack1sw-roceb0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するリーフ・スイッチにコピーします。たとえば:

        # scp roce_leaf_switch_multi_R1LL.cfg admin@R1LL_IP_Address:/
# scp roce_leaf_switch_multi_R1UL.cfg admin@R1UL_IP_Address:/
# scp roce_leaf_switch_multi_R2LL.cfg admin@R2LL_IP_Address:/
# scp roce_leaf_switch_multi_R2UL.cfg admin@R2UL_IP_Address:/

      3. 各リーフ・スイッチにログインし、変更したファイルが正常にコピーされたことを確認します。たとえば:

        rack1sw-rocea0# dir bootflash:roce_leaf_switch_multi_R1LL.cfg
    171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R1LL.cfg
Usage for bootflash://sup-local
2583580672 bytes used
114139488256 bytes free
116723068928 bytes total

rack1sw-roceb0# dir bootflash:roce_leaf_switch_multi_R1UL.cfg
    171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R1UL.cfg
Usage for bootflash://sup-local
2579836928 bytes used
114143232000 bytes free
116723068928 bytes total
        rack2sw-rocea0# dir bootflash:roce_leaf_switch_multi_R2LL.cfg
    171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R2LL.cfg
Usage for bootflash://sup-local
2583580672 bytes used
114139488256 bytes free
116723068928 bytes total

rack2sw-roceb0# dir bootflash:roce_leaf_switch_multi_R2UL.cfg
    171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R2UL.cfg
Usage for bootflash://sup-local
2579836928 bytes used
114143232000 bytes free
116723068928 bytes total

      4. 変更した構成ファイルをフラッシュにコピーします。たとえば:

        rack1sw-rocea0# run-script bootflash:roce_leaf_switch_multi_R1LL.cfg | grep 'none'
rack1sw-rocea0# copy running-config startup-config
        rack1sw-roceb0# run-script bootflash:roce_leaf_switch_multi_R1UL.cfg | grep 'none'
rack1sw-roceb0# copy running-config startup-config
        rack2sw-rocea0# run-script bootflash:roce_leaf_switch_multi_R2LL.cfg | grep 'none'
rack2sw-rocea0# copy running-config startup-config
        rack2sw-roceb0# run-script bootflash:roce_leaf_switch_multi_R2UL.cfg | grep 'none'
rack2sw-roceb0# copy running-config startup-config

        ノート:

        リーフ・スイッチのrun-scriptコマンドは、完了までに約6分かかることがあります。
  7. patchmgrを使用し、RDMAネットワーク・ファブリック・スイッチの構成をゴールデン構成ファイルに対して検証します。
    1. (前のステップで) RDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. 両方のラックのリーフ・スイッチとスパイン・スイッチのホスト名またはIPアドレスを含むファイルを作成します。
      たとえば、switches.lstという名前のファイルを作成します。このファイルには、2つのスパイン・スイッチおよび4つのリーフ・スイッチのホスト名またはIPアドレスが含まれている必要があります。各スイッチを新しい行に記述します。
    4. --verify_configオプションを指定してpatchmgrを実行します。

      次のコマンドで、switches.lstは問合せ対象のスイッチが1行に1つずつ含まれているファイルです。 

      $ ./patchmgr --roceswitches switches.lst --verify-config

2019-11-20 14:12:27 -0800 :Working: Initiate config verify on RoCE switches from . Expect up to 6 minutes for each switch
                                                   

2019-11-20 14:12:30 -0800 1 of 15 :Verifying config on switch rack1sw-rocea0

2019-11-20 14:12:30 -0800: [INFO ] Dumping current running config locally as file: /tmp/run.rack1sw-rocea0.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Backed up switch config successfully
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [1/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch.cfg
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [2/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [INFO ] Config matches template: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Config validation successful!


2019-11-20 14:12:33 -0800 2 of 15 :Verifying config on switch rack1sw-roceb0
...
  8. スイッチの物理的な配線を行います。
    1. ラック2で、2つのリーフ・スイッチ(R2ULおよびR2LL.)の間にある8つの既存のスイッチ間接続を取り外します。
    2. ラック2で、X8Mラックの2ラック配線の表を使用して、各リーフスイッチを配線します。
    3. ラック1で、2つのリーフ・スイッチ(R1ULおよびR1LL.)の間にある8つの既存のスイッチ間接続を取り外します。
    4. ラック1で、X8Mラックの2ラック配線の表を使用して、各リーフスイッチを配線します。
  9. 各スイッチが使用可能で、接続されていることを確認します。

    6つの各スイッチについて、show interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

    スパイン・スイッチから実行すると、出力は次のようになります。

    rack1sw-roces0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
...

    リーフ・スイッチから実行すると、出力は次のようになります。

    rack1sw-rocea0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
...
Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
...
  10. ラックR1およびR2のすべてのスイッチについて、近隣探索をチェックします。

    各スイッチにログインし、show lldp neighborsコマンドを使用します。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)をX8Mラックの2ラック配線の表に対して確認します。

    スパイン・スイッチでは、各ラックの2つのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    ノート:

    Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。 
    rack1sw-roces0# show lldp neighbors
...
Device ID            Local Intf      Hold-time  Capability  Port ID
rack1-adm0           mgmt0           120        BR          Ethernet1/47
rack1sw-roceb0       Eth1/5     120        BR          Ethernet1/5
rack2sw-roceb0       Eth1/6     120        BR          Ethernet1/5
rack1sw-roceb0       Eth1/7     120        BR          Ethernet1/7
rack2sw-roceb0       Eth1/8     120        BR          Ethernet1/7
rack1sw-roceb0       Eth1/9     120        BR          Ethernet1/4
rack2sw-roceb0       Eth1/10    120        BR          Ethernet1/4
rack1sw-roceb0       Eth1/11    120        BR          Ethernet1/6
rack2sw-roceb0       Eth1/12    120        BR          Ethernet1/6
rack1sw-rocea0       Eth1/13    120        BR          Ethernet1/5
rack2sw-rocea0       Eth1/14    120        BR          Ethernet1/5
rack1sw-rocea0       Eth1/15    120        BR          Ethernet1/7
rack2sw-rocea0       Eth1/16    120        BR          Ethernet1/7
rack1sw-rocea0       Eth1/17    120        BR          Ethernet1/4
rack2sw-rocea0       Eth1/18    120        BR          Ethernet1/4
rack1sw-rocea0       Eth1/19    120        BR          Ethernet1/6 
rack2sw-rocea0       Eth1/20    120        BR          Ethernet1/6
Total entries displayed: 17

    各リーフ・スイッチでは、2つのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    ノート:

    Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。 
    rack1sw-rocea0# show lldp neighbors
...
Device ID            Local Intf      Hold-time  Capability  Port ID
switch               mgmt0      120        BR          Ethernet1/46
rack1sw-roces0       Eth1/4     120        BR          Ethernet1/17
rack1sw-roces0       Eth1/5     120        BR          Ethernet1/13
rack1sw-roces0       Eth1/6     120        BR          Ethernet1/19
rack1sw-roces0       Eth1/7     120        BR          Ethernet1/15
rack2sw-roces0       Eth1/30    120        BR          Ethernet1/17
rack2sw-roces0       Eth1/31    120        BR          Ethernet1/13
rack2sw-roces0       Eth1/32    120        BR          Ethernet1/19
rack2sw-roces0       Eth1/33    120        BR          Ethernet1/15
rocetoi-ext-sw       Eth1/36    120        BR          Ethernet1/49
Total entries displayed: 10
  11. ラックR1およびR2のすべてのサーバーの電源を入れます。
  12. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    X8Mラックの2ラック配線の表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9 : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5 : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11: OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7 : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
...
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
...
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9 : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5 : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11: OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7 : OK

    # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack2sw-rocea0)     : CABLE OK?  LEAF-2 (rack2sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)  :  rack1sw-roces0 Ethernet1/18 : OK         rack1sw-roces0 Ethernet1/10: OK
...
  13. infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。

    次の推奨コマンド・シーケンスを使用してください。各コマンドのhosts.lstはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのカンマ区切りリストを含む入力ファイルの名前で、cells.lstはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

    • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。たとえば: 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z

    • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。たとえば: 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s

    • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。たとえば: 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...