1. オーナーズ・ガイド
  2. Oracle Zero Data Loss Recovery Applianceの拡張
  3. 別のラックの追加によるラックの拡張
  4. 2つのラックの配線
  5. 停止時間なしの2つのRoCEネットワーク・ファブリック・ラックの配線
  6. RA21以降のモデル・ラックの追加による停止時間なしのRA21以降のモデル・ラックの拡張

RA21以降のモデル・ラックの追加による停止時間なしのRA21以降のモデル・ラックの拡張

警告:

実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。

ノート:

その他の背景情報は、RA21以降のモデル・ラックのマルチラック配線の理解を参照してください。

この手順を使用して通常のRA21以降のモデル・ラックを拡張するには、2番目のRA21以降のモデル・ラックとまとめて配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。

次に、手順の概要を示します。

  • 準備(ステップ1と2)

    このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。

  • 構成および物理的な配線

    このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。

    • 下位リーフ・スイッチの部分的な構成(ステップ3)

      このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。

    • 上位リーフ・スイッチの部分的な構成(ステップ4)

      このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。

    • 下位リーフ・スイッチの完了(ステップ5)

      このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。

    • 上位リーフ・スイッチの完了(ステップ6)

      このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。

  • 検証とテスト(ステップ7および8)

    このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。

手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。

ノート:

  • この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。

    • スイッチ間ポートはポート4から7、ポート30から33です。

    • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。

    • データベース・サーバー・ポートはポート15から22です。

    他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えたX9M-8システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。

  • この手順では、次のネーミングの略称および表記規則を使用します。

    • 既存のラックの略称はR1で、新しいラックの略称はR2です。

    • LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。

    • SSはスパイン・スイッチを識別します。

    • 特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。

  • ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。

    ヒント:

    ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。

  • 操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。

  • RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。

  1. システムを準備します。
    1. 物理的に既存のラック(R1)の近くに新しいラック(R2)を配置します。

      RDMAネットワーク・ファブリック・ケーブルは、各ラックのスイッチに到達できる必要があります。

      必要なクロスラック配線情報の詳細は、RA21以降のモデル・ラックのための2ラック配線を参照してください。

    2. 新しいラック(R2)のすべてのサーバーおよびネットワーク・スイッチの電源をオンにします。

      これには、データベース・サーバー、ストレージ・サーバー、RoCEネットワーク・ファブリック・リーフ・スイッチおよび管理ネットワーク・スイッチが含まれます。

    3. ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを準備します。

      すべてのケーブルの両端にラベルを付けます。

      必要なクロスラック配線情報の詳細は、RA21以降のモデル・ラックのための2ラック配線を参照してください。

    4. 新しいラック(R2)を既存の管理ネットワークに接続します。

      ラック間でIPアドレスの競合がないこと、およびRoCEネットワーク・ファブリック・スイッチ上の管理インタフェースにアクセスできることを確認します。

    5. 各RoCEネットワーク・ファブリック・スイッチ(R1LL、R1UL、R2LLおよびR2UL)の現在のスイッチ構成のバックアップがあることを確認します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

    6. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルをダウンロードします。

      この手順では、My Oracle Supportのドキュメント2704997.1からダウンロードする必要がある特定のRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。

      警告:

      システムでExadata Secure RDMA Fabric Isolationが使用されているかどうかに応じて、異なるスイッチ構成ファイルを使用する必要があります。システム構成に一致する正しいアーカイブをダウンロードしてください。

      Secure Fabricを使用しないシステム構成の場合は、online_multi-rack_14uplinks.zipをダウンロードします。Secure Fabricを使用するシステム構成の場合は、online_SF_enabled_multi-rack_14uplinks.zipをダウンロードします。

      必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを含むアーカイブをダウンロードして抽出します。RoCEネットワーク・ファブリック・スイッチ上の管理インタフェースへのアクセス権を持つサーバーにファイルを配置します。

    7. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを両方のラックのリーフ・スイッチにコピーします。

      次のコマンドを使用して、Secure Fabricが有効になっていないシステム上のすべてのRoCEネットワーク・ファブリック・スイッチに、必要な構成ファイルをコピーできます。 

      1. # scp roce_multi_14uplinks_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_multi_14uplinks_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_multi_14uplinks_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/

      Secure Fabricが有効になっているシステムでは、次のコマンドを使用できます。 

      1. # scp roce_SF_multi_14uplinks_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_SF_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_SF_multi_14uplinks_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_SF_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_SF_multi_14uplinks_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_SF_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/

      前述のコマンドで、必要に応じて、適切なIPアドレスまたはホスト名を置き換えます。たとえば、R1LL_IPのかわりに、既存のラック(R1)の下位リーフ・スイッチ(LL)を管理IPアドレスまたはホスト名に置き換えます。

      ノート:

      この手順の残りの部分のコマンド例では、Secure Fabricが有効になっていないシステム構成の構成ファイルを使用します。必要に応じて、Secure Fabric対応のスイッチ構成ファイルを使用するようにコマンドを調整します。
    8. すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でファームウェアを最新の使用可能なリリースに更新します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

    9. RoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)を調べて、ケーブル接続されたポートのポート・カテゴリを確認します。

      すべてのRoCEネットワーク・ファブリック・リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R1UL# show interface status
      3. R2LL# show interface status
      4. R2UL# show interface status

      出力を調べて、次のようにポート・カテゴリを確認します。

      • スイッチ間ポートはポート4から7、ポート30から33であることを確認します。

      • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29であることを確認します。

      • データベース・サーバー・ポートはポート15から22であることを確認します。

      たとえば:

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    10. ラック(R1およびR2)ごとに、verify_roce_cables.pyスクリプトを実行してRoCEネットワーク・ファブリックの配線を確認します。

      verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

      ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

      両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

      1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
      2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

      CABLE OK?列の出力にOKステータスが含まれていることを確認します。

      次の例は、予想されるコマンド結果を示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)               LOWER LEAF (rack1sw-rocea0) : CABLE OK?             UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------          -------------------------------- : --------         -------------------------------- : ---------
    Eth1/4 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/4 : OK                     rack1sw-roceb0 Ethernet1/4 : OK
    Eth1/5 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/5 : OK                     rack1sw-roceb0 Ethernet1/5 : OK
    Eth1/6 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/6 : OK                     rack1sw-roceb0 Ethernet1/6 : OK
    Eth1/7 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/7 : OK                     rack1sw-roceb0 Ethernet1/7 : OK
    Eth1/8 (RU39)              :                 rack1celadm14 port-1 : OK                           rack1celadm14 port-2 : OK
    Eth1/9 (RU37)              :                 rack1celadm13 port-1 : OK                           rack1celadm13 port-2 : OK
   Eth1/10 (RU35)              :                 rack1celadm12 port-1 : OK                           rack1celadm12 port-2 : OK
   Eth1/11 (RU33)              :                 rack1celadm11 port-1 : OK                           rack1celadm11 port-2 : OK
   Eth1/12 (RU31)              :                 rack1celadm10 port-1 : OK                           rack1celadm10 port-2 : OK
   Eth1/13 (RU29)              :                 rack1celadm09 port-1 : OK                           rack1celadm09 port-2 : OK
   Eth1/14 (RU27)              :                 rack1celadm08 port-1 : OK                           rack1celadm08 port-2 : OK
   Eth1/15 (RU26)              :                    rack1adm08 port-1 : OK                              rack1adm08 port-2 : OK
   Eth1/16 (RU25)              :                    rack1adm07 port-1 : OK                              rack1adm07 port-2 : OK
   Eth1/17 (RU24)              :                    rack1adm06 port-1 : OK                              rack1adm06 port-2 : OK
   Eth1/18 (RU23)              :                    rack1adm05 port-1 : OK                              rack1adm05 port-2 : OK
   Eth1/19 (RU19)              :                    rack1adm04 port-1 : OK                              rack1adm04 port-2 : OK
   Eth1/20 (RU18)              :                    rack1adm03 port-1 : OK                              rack1adm03 port-2 : OK
   Eth1/21 (RU17)              :                    rack1adm02 port-1 : OK                              rack1adm02 port-2 : OK
   Eth1/22 (RU16)              :                    rack1adm01 port-1 : OK                              rack1adm01 port-2 : OK
   Eth1/23 (RU14)              :                 rack1celadm07 port-1 : OK                           rack1celadm07 port-2 : OK
   Eth1/24 (RU12)              :                 rack1celadm06 port-1 : OK                           rack1celadm06 port-2 : OK
   Eth1/25 (RU10)              :                 rack1celadm05 port-1 : OK                           rack1celadm05 port-2 : OK
   Eth1/26 (RU08)              :                 rack1celadm04 port-1 : OK                           rack1celadm04 port-2 : OK
   Eth1/27 (RU06)              :                 rack1celadm03 port-1 : OK                           rack1celadm03 port-2 : OK
   Eth1/28 (RU04)              :                 rack1celadm02 port-1 : OK                           rack1celadm02 port-2 : OK
   Eth1/29 (RU02)              :                 rack1celadm01 port-1 : OK                           rack1celadm01 port-2 : OK
   Eth1/30 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/30 : OK                    rack1sw-roceb0 Ethernet1/30 : OK
   Eth1/31 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/31 : OK                    rack1sw-roceb0 Ethernet1/31 : OK
   Eth1/32 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/32 : OK                    rack1sw-roceb0 Ethernet1/32 : OK
   Eth1/33 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/33 : OK                    rack1sw-roceb0 Ethernet1/33 : OK
    11. ラック(R1およびR2)ごとに、infinicheckコマンドを使用してRoCEネットワーク・ファブリック操作を検証します。

      • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。

      • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。

      • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。

      各コマンドにおいて、ホスト入力ファイル(hosts.rack1およびhosts.rack2)には、データベース・サーバーのホスト名またはRoCEネットワーク・ファブリックIPアドレス(各データベース・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれ、セルの入力ファイル(cells.rack1およびcells.rack2)には、ストレージ・サーバーのRoCEネットワーク・ファブリックIPアドレス(各ストレージ・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれます。

      1. 既存のラック(R1)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -b

      2. 新しいラック(R2)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -b

      次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rackN -c cells.rackN -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  2. スパイン・スイッチ(R1SSおよびR2SS)を取り付けます。
    1. 既存のラック(R1SS)および新しいラック(R2SS)にスパイン・スイッチを物理的に設置して電源を投入します。

      1. 各スパイン・スイッチをRU1に物理的に設置します。

      2. スパイン・スイッチごとに、管理イーサネット・インタフェースが管理ネットワークに接続されていることを確認し、電源を供給します。

      3. 各スパイン・スイッチで、Cisco Nexus C9336C-FX2スイッチの構成で説明した初期構成のステップを実行します。後で実行するため、ゴールデン構成設定を適用するステップをスキップします。

      4. スパイン・スイッチごとに、管理イーサネット・インタフェースに対してpingテストを実行し、スイッチがオンラインでアクセス可能であることを確認します。

    2. ゴールデン構成設定を新しいスパイン・スイッチに適用します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用を参照してください。

      以前(ステップ1.h)にリーフ・スイッチのファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      次のいずれかのpatchmgrコマンドを使用して、スイッチ・リスト・ファイル(spines.lst)を使用して、ゴールデン構成設定を両方のスパイン・スイッチに適用します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --apply-config -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    3. スパイン・スイッチのファームウェアをアップグレードします。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

      前のステップで使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(spines.lst)を使用し、次のいずれかのpatchmgrコマンドを使用して両方のスパイン・スイッチでファームウェアのアップグレードを実行します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --upgrade -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    4. RoCEネットワーク・ファブリック・ケーブルをスパイン・スイッチ(R1SSおよびR2SS)に接続します。

      警告:

      この段階では、ケーブルはスパイン・スイッチにのみ接続します。

      後で混乱を回避するため、各ケーブルが正しいスイッチおよびポートに接続されていることを確認します。

      いずれのケーブルもリーフ・スイッチに接続しないでください。

      以前(ステップ1.c)に準備したケーブルを使用します。

      必要なクロスラック配線情報の詳細は、RA21以降のモデル・ラックのための2ラック配線を参照してください。

  3. 下位リーフ・スイッチ(R1LLおよびR2LL)で構成の最初のラウンドを実行します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    ノート:

    このステップの間、下位リーフ・スイッチ・ポートが停止されます。R1LLポートが停止している間、R1ULはRoCEネットワーク・ファブリックのみをサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1ULが停止した場合は可用性を維持できません。

    1. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ・ポートを停止します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/1-36
R1LL(config-if-range)# shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/1-36
R2LL(config-if-range)# shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    2. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1LLでは、スイッチ構成ファイル名はstep3_R1_LL.cfgで終わる必要があります。 

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R1_LL.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでは、スイッチ構成ファイル名はstep3_R2_LL.cfgで終わる必要があります。 

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R2_LL.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    3. 下位リーフ・スイッチ(R1LLおよびR2LL)でスイッチ間ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    4. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    5. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ間ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      たとえば:

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    6. 下位リーフ・スイッチ(R1LLおよびR2LL)でストレージ・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    7. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    8. 下位リーフ・スイッチ(R1LLおよびR2LL)のストレージ・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      たとえば:

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    9. 下位リーフ・スイッチ(R1LLおよびR2LL)でデータベース・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/15-22
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/15-22
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    10. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    11. 下位リーフ・スイッチ(R1LLおよびR2LL)のデータベース・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      たとえば:

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --

    ノート:

    続行する前に、両方の下位リーフ・スイッチ(R1LLおよびR2LL)でステップ3のすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

  4. 上位リーフ・スイッチ(R1ULおよびR2UL)で構成の最初のラウンドを実行します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    ノート:

    このステップの開始時に、上位リーフ・スイッチ・ポートが停止されます。R1ULポートが停止している間、R1LLは既存のラックのRoCEネットワーク・ファブリックを排他的にサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1LLが停止した場合は可用性を維持できません。

    1. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を停止します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/1-36
R1UL(config-if-range)# shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/1-36
R2UL(config-if-range)# shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 両方のラックで、リーフ・スイッチ(R1LLからR1UL、およびR2LLからR2UL)間のスイッチ間リンクを削除します。

      すべてのリーフ・スイッチで、スイッチ間リンクのケーブルを取り外します。

      1. R1LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      2. R1ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      3. R2LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      4. R2ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

    3. 両方のラックで、上位リーフ・スイッチを両方のスパイン・スイッチに配線します(R1ULおよびR2ULからR1SSおよびR2SS)。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      RA21以降のモデル・ラックのための2ラック配線の説明に従って、スイッチを配線します。

      1. R1ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      2. R2ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    4. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1ULでは、スイッチ構成ファイル名はstep4_R1_UL.cfgで終わる必要があります。 

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R1_UL.cfg | grep 'none'
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでは、スイッチ構成ファイル名はstep4_R2_UL.cfgで終わる必要があります。 

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R2_UL.cfg | grep 'none'
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    5. 上位リーフ・スイッチ(R1ULおよびR2UL)のRoCEネットワーク・ファブリック・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがdisabledであることを確認します。

      たとえば:

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       disabled  routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --

      ノート:

      続行する前に、両方の上位リーフ・スイッチ(R1ULおよびR2UL)で、ステップ4のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    6. 上位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ul.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の上位リーフ・スイッチを確認します。 

      # cat ul.lst
R1UL_IP:mleaf_u14.102
R2UL_IP:mleaf_u14.104

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleaf_u14タグを使用します。 

      # cat ul.lst
R1UL_IP:msfleaf_u14.102
R2UL_IP:msfleaf_u14.104

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:40:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:40:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:40:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:40:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:40:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:32 -0700        :INFO   : config attempted on nodes in file ul.lst: [R1UL_IP R2UL_IP]
2020-08-10 13:40:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:40:32 -0700        :INFO   : Exit status:0
2020-08-10 13:40:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の上位リーフ・スイッチに適していることを確認します。停止しているポートに関するメッセージは無視してかまいません。

  5. 下位リーフ・スイッチ(R1LLおよびR2LL)の構成を完了します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    1. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      下位リーフ・スイッチ(R1LLおよびR2LL)の両方で次のコマンド・シーケンスを実行します。

      以前(ステップ1.g)にスイッチにコピーした正しいスイッチ構成ファイルを使用する必要があります。このステップでは、構成ファイル名はstep5.cfgで終わる必要があります。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    2. 両方のラックで、下位リーフ・スイッチを両方のスパイン・スイッチ(R1LLおよびR2LLからR1SSおよびR2SS)に配線します。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      RA21以降のモデル・ラックのための2ラック配線の説明に従って、スイッチを配線します。

      1. R1LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      2. R2LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    3. 下位リーフ・スイッチで、配線されたすべてのRoCEネットワーク・ファブリック・ポート(R1LLおよびR2LL)が接続されていることを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがconnectedであることを確認します。

      たとえば:

      R1LL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --

      ノート:

      続行する前に、下位の両方のリーフ・スイッチ(R1LLおよびR2LL)で、ステップ5のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    4. 下位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ll.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の下位リーフ・スイッチを確認します。 

      # cat ll.lst
R1LL_IP:mleaf_u14.101
R2LL_IP:mleaf_u14.103

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleaf_u14タグを使用します。 

      # cat ll.lst
R1LL_IP:msfleaf_u14.101
R2LL_IP:msfleaf_u14.103

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:45:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:45:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:45:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:45:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:45:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:32 -0700        :INFO   : config attempted on nodes in file ll.lst: [R1LL_IP R2LL_IP]
2020-08-10 13:45:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:45:32 -0700        :INFO   : Exit status:0
2020-08-10 13:45:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の下位リーフ・スイッチに適していることを確認します。

    5. nveが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R2LL# show nve peers

      この時点で、State=Upを持つnveピアが1つ表示されます。

      たとえば:

      R1LL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.103    Up        CP 00:04:29               n/a
    6. BGPが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show logging log | grep BGP
      2. R2LL# show logging log | grep BGP

      異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      たとえば:

      R1LL# show logging log | grep BGP
2020 Aug 10 13:47:13 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:47:24 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.202 Up
  6. 上位リーフ・スイッチ(R1ULおよびR2UL)の構成を完了します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    1. 上位リーフ・スイッチ(R1ULおよびR2UL)でスイッチ間ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    3. 上位リーフ・スイッチ(R1ULおよびR2UL)のスイッチ間ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      たとえば:

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    4. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    5. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    6. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      たとえば:

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    7. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/15-22
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/15-22
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    8. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    9. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      たとえば:

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    10. リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でnveが稼働していることを確認します。

      各リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R1UL# show nve peers
      3. R2LL# show nve peers
      4. R2UL# show nve peers

      出力には、State=Upを持つnveピアが3つ表示されます。

      たとえば:

      R1UL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.101    Up        CP 00:04:29               n/a
nve1         100.64.1.103    Up        CP 00:07:48               n/a
nve1         100.64.1.104    Up        CP 00:04:10               n/a
    11. BGPが上位リーフ・スイッチ(R1ULおよびR2UL)で稼働していることを確認します。

      各上位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1UL# show logging log | grep BGP
      2. R2UL# show logging log | grep BGP

      出力で、異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      たとえば:

      R1UL# show logging log | grep BGP
2020 Aug 10 13:57:13 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:57:24 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.202 Up
  7. 各ラック(R1およびR2)で、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

    両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

    verify_roce_cables.pyスクリプトの出力を、RA21以降のモデル・ラックのための2ラック配線の表と照合して確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    次の例は、予想されるコマンド結果の抽出を示します。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack1sw-rocea0) : CABLE OK?  UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
...
    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack2sw-rocea0) : CABLE OK?  UPPER LEAF (rack2sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
...
  8. infinicheckコマンドを使用して、インターコネクトされた両方のラック間のRoCEネットワーク・ファブリック操作を検証します。

    次の推奨されるコマンド・シーケンスを使用して、両方のラック間のRoCEネットワーク・ファブリック操作を確認します。

    各コマンドにおいて、hosts.allには両方のラックのデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックIPアドレス(各データベース・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれ、cells.allには両方のラックのストレージ・サーバーのRoCEネットワーク・ファブリックIPアドレス(各ストレージ・サーバーごとに2つのRoCEネットワーク・ファブリックIPアドレス)のリストが含まれます。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -z
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -s
    3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

    各infinicheckコマンドの詳細は、ステップ1.kを参照してください。

    次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...

この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。