1. 拡張およびマルチラック・ケーブリング・ガイド
  2. ハードウェアの拡張

2 ハードウェアの拡張

ラック内にデータベース・サーバーおよびストレージ・サーバーを追加することで、Oracle Exadata Database Machineを拡張できます。複数のラックをケーブルで接続することもできます。

すべての新しい機器は、カスタマ・サポートID(CSI)を受け取ります。Oracle Exadata Rackの新しい機器には、新しいCSIがあります。新しいCSIと既存のOracle Exadata Rack CSIを調整する場合は、Oracleサポート・サービスに連絡してください。Oracleサポート・サービスに連絡する場合は、元のインスタンス番号または使用可能なシリアル番号、および新しい番号をお手元に用意してください。

2.1 エイス・ラックの拡張

Oracle Exadata Database Machineエイス・ラック・システムの拡張プロセスは主に、他のExadataラックを拡張する場合と同じです。プロセスには主に、次のステージが含まれます。

  1. 既存のエイス・ラック・システム構成を確認します。

  2. 必要なハードウェアの設置を実行します。

    この段階では、一部のハードウェア・コンポーネントを取り付けるためにサーバーのシャットダウンが必要になることがあります。必要に応じて、システムの全体的な可用性を維持するために、ローリング方式でサーバーをシャットダウンします。

  3. 追加のハードウェア・リソースを構成します。

    このステージでは、次のことを行います。

    • 新しいデータベース・サーバー・リソースをデータベース・クラスタに追加します。

    • 新しいストレージ・サーバー・リソースを使用して、追加のグリッド・ディスクを作成します。これを使用して、既存のOracle ASMディスク・グループを拡張できます。

次の項では、Oracle Exadata Database Machineエイス・ラックに固有の追加情報および手順について説明します。

  • エイス・ラック拡張オプション
    この項では、様々なOracle Exadata Database Machineエイス・ラック・モデルで使用可能な拡張オプションの概要を示します。
  • エイス・ラック拡張手順
    この項では、一部のOracle Exadata Database Machineエイス・ラック・モデルを拡張するために必要となる可能性がある特定の手順について説明します。

親トピック: ハードウェアの拡張

2.1.1 エイス・ラックの拡張オプション

この項では、様々なOracle Exadata Database Machineエイス・ラック・モデルで使用可能な拡張オプションの概要を示します。

親トピック: エイス・ラックの拡張

2.1.1.1 X9M-2エイス・ラックのアップグレード・オプション

Oracle Exadata Database Machine X9M-2エイス・ラック・システムのアップグレードには、ハードウェアの変更が必要になります。エイス・ラック以外のシステムと比べて、エイス・ラック・データベース・サーバーは1つのCPUを搭載し、メモリーが少なく、エイス・ラック・ストレージ・サーバーはCPUコアが少なく、メモリーが少なく、ディスク・ストレージも少なく、フラッシュ・ストレージも少なくなります。

Oracle Exadata Database Machine X9M-2エイス・ラック・システムは、次のようにアップグレードできます。

  • データベース・サーバーにCPUアップグレード・キットを追加します。これにより、各データベース・サーバーにCPUが1つ追加されます。

    CPUアップグレード・キットの追加の一部として、次も行う必要があります。

    1. ネットワーク・インタフェース・カードをPCIeスロット2からPCIeスロット1に物理的に移動します。

    2. /opt/oracle.cellos/ipconf.plを実行して、OSネットワーク構成ファイルを再構成します。

  • データベース・サーバーにメモリー・アップグレード・キットを追加します。これにより、各データベース・サーバーに32 GB DIMMが4つ追加されます。

    384GBのメモリーを持つデータベース・サーバーでは、CPUアップグレード・キットをインストールする場合は、メモリー・アップグレード・キットをインストールする必要があります。

  • データベース・サーバーを追加します。

    標準(完全に構成された)データベース・サーバーを追加することで、処理能力を拡張できます。必須ではありませんが、ラック全体の一貫性を最大化するために、データベース・サーバーを追加する前に元のエイス・ラック・データベース・サーバーをアップグレードすることをお薦めします。

  • ストレージ・サーバーを追加します。

    エイス・ラック大容量ストレージ・サーバーを拡張するためのアップグレード・キットはありません。ただし、エイス・ラック大容量ストレージ・サーバーを追加することで、ストレージ容量を拡張できます。

    標準の大容量(HC)、Extreme Flash (EF)またはExtended (XT)ストレージ・サーバーを追加して、ストレージ容量を拡張することもできます。

2.1.1.2 X7-2、X8-2およびX8M-2エイス・ラックのアップグレード・オプション

Oracle Exadata Database Machine X7-2、X8-2またはX8M-2エイス・ラック・システムのアップグレードには、ハードウェアの変更が必要になります。エイス・ラックのデータベース・サーバーでは、CPUの1つがなくなり、CPU1のすべてのメモリーがCPU0に移動されています。ストレージ・サーバーは半分のコアが有効で、ディスクとフラッシュ・カードの半分が取り外されています。

Extreme Flashストレージ・サーバーを搭載したOracle Exadata Database Machine X7-2、X8-2またはX8M-2エイス・ラック・システムでは、CPUおよびフラッシュ・カードを追加して、システムをクオータ・ラックに拡張できます。

大容量ストレージ・サーバーを搭載したOracle Exadata Database Machine X7-2、X8-2またはX8M-2エイス・ラック・システムの場合は、CPUおよびメモリーをデータベース・サーバーおよびエイス・ラック高容量ストレージ・サーバーに追加してシステムを拡張できます。

具体的には、次のことを行います。

  • エイス・ラックX7-2、X8-2またはX8M-2データベース・サーバーを拡張するには:

    1. CPU1をインストールします

    2. CPU0のメモリーの半分をCPU1に移動します

    3. 10/25GbE PCIカードをPCIeスロット1に移動します

  • エイス・ラックX7-2、X8-2またはX8M-2 Extreme Flashストレージ・サーバーを拡張するには、4個のF640/F640v2フラッシュ・カードをPCIeスロット2、3、8および9に取り付けます。

2.1.1.3 X6-2エイス・ラックのアップグレード・オプション

Oracle Exadata Database Machine X6-2エイス・ラック・システムでは、エイス・ラック大容量ストレージ・サーバーを追加することで大容量(HC)ストレージを追加できます。個々のエイス・ラック大容量ストレージ・サーバーを拡張するためのアップグレード・キットはありません。

さらに、ソフトウェア専用のアップグレード・キットを使用して、X6-2エイス・ラック・データベース・サーバーおよびX6-2エイス・ラックExtreme Flash (EF)ストレージ・サーバー用として無効化されたハードウェア・リソースを有効にできます。

2.1.1.4 エイス・ラックX4-2およびX5-2の拡張オプション

Oracle Exadata Database Machineエイス・ラックX4-2およびX5-2には、完全に構成されたサーバーが含まれており、使用可能なシステム・リソース(CPU、RAMおよびストレージ)の約半分は無効になっています。その結果、X4-2またはX5-2システムのエイス・ラックからクォータ・ラックへの拡張は、無効なハードウェア・リソースを有効化するためにソフトウェアのみを使用して行われます。クォータ・ラックを超える拡張には、追加のハードウェアを含む追加の拡張キットが必要です。

2.1.2 エイス・ラックの拡張手順

この項では、一部のOracle Exadata Database Machineエイス・ラック・モデルを拡張するために必要となる可能性がある特定の手順について説明します。

次の手順の一部は、特定の状況でのみ適用されます。そのため、該当する場合は、手順の冒頭にある適用メモを確認してください。それ以外の場合、データベース・サーバーまたはストレージ・サーバーの追加によるエイス・ラックの拡張には、エイス・ラック以外のエラスティック拡張と同じ一般的な手順を使用します。「エラスティック構成の拡張」および「新しいハードウェアの構成」を参照してください。

また、次の手順では、

  • ディスク・グループ名とサイズは例です。実際のシステムに合せて、コマンドの値を変更するようにしてください。

  • 最初のデータベース・サーバーおよび他のすべてのデータベース・サーバーのrootユーザーと、すべてのストレージ・セルのcelladminユーザーの間にユーザー等価(パスワードなしSSH)が存在すると仮定しています。

  • セル・ホスト名とデータベース・サーバー・ホスト名それぞれのリストを含むテキスト・ファイルcell_groupおよびdb_groupを作成する必要があります。

エイス・ラックの拡張手順:

親トピック: エイス・ラックの拡張

2.1.2.1 エイス・ラックのOracle Exadata Database Machineの現在の構成の確認と検証

次の手順では、現在の構成を確認および検証する方法について説明します。

  1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

  2. 次のコマンドを使用して、ストレージ・サーバーの現在の構成を確認します。予想される出力はTRUEです。 

    # dcli -g cell_group -l celladmin 'cellcli -e LIST CELL attributes eighthrack'

  3. 次のコマンドを使用して、データベース・サーバーの現在のCPUコア数を確認します。

    # dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'

    次に、すべてのCPUコアが有効なOracle Exadata Database Machine X9M-2エイス・ラックから予想される出力の例を示します。 

    dm01db01: 32
dm01db02: 32

    アクティブなデータベース・サーバーのCPUコアの数が予想される値と異なる場合は、Oracleサポート・サービスに連絡してください。

2.1.2.2 Oracle Exadata Database Machineエイス・ラックのデータベース・サーバー・コアのアクティブ化

次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。

ノート:

この手順は次に対して適用されます。

  • 無効化された元のデータベース・サーバーのCPUコア

  • 承認されたCPUアップグレード・キットの一部である追加のCPUコア

データベース・サーバーを追加することでデータベース・サーバーのハードウェア・リソースを拡張する場合、次の操作は必要ありません。

  1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

  2. データベース・サーバー・グループで、次のdcliユーティリティ・コマンドを使用して、すべてのデータベース・サーバー・コアをアクティブにします。

    # dcli -g db_group -l root  'dbmcli  -e    \
ALTER DBSERVER pendingCoreCount = number_of_cores'

    前述のコマンドで、number_of_coresは、アクティブ化するコアの合計数です。この値には、既存のコア数とアクティブ化する追加のコア数が含まれます。次のコマンドは、Oracle Exadata Database Machine X5-2エイス・ラックのすべてのコアをアクティブ化します。 

    # dcli -g db_group -l root 'dbmcli -e ALTER DBSERVER pendingCoreCount = 36'

    各サーバー・モデルでサポートされるコア数の詳細は、Oracle Exadata Database Machineのキャパシティ・オンデマンドの制限に関する項を参照してください

  3. 各データベース・サーバーを再起動します。

    ノート:

    Oracle DatabaseとOracle Grid Infrastructureがアクティブな状態でローリング方式でこの手順を実行する場合は、データベース・サーバーを再起動する前に次の点を確認してください。

    • すべてのOracle ASMグリッド・ディスクがオンラインになっていること。

    • アクティブなOracle ASMリバランス操作がないこと。リバランス操作のステータスを確認するには、V$ASM_OPERATIONビューに問い合せます。

    • Oracle DatabaseとOracle Grid Infrastructureを適切な方法で停止し、必要であればサービスをフェイルオーバーすること

  4. 再起動が完了して次のサーバーに進む前に、データベース・サーバーで次の点を確認します。

    • Oracle DatabaseとOracle Grid Infrastructureサービスがアクティブであること。

      『Oracle Real Application Clusters管理およびデプロイメント・ガイド』のインスタンスが実行中であることを確認するためのSRVCTLの使用に関する項およびcrsctl status resource –w "TARGET = ONLINE" —tコマンドを参照してください。

    • アクティブ・コア数が正しいこと。dbmcli -e list dbserver attributes coreCountコマンドを使用して、コア数を確認します。

2.1.2.3 Oracle Exadata Database Machineエイス・ラックのストレージ・サーバー・コアおよびディスクのアクティブ化

次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。

ノート:

この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。

ストレージ・サーバーを追加することでストレージ・サーバーのハードウェア・リソースを拡張する場合、この手順は適用されません。

  1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

  2. 次のコマンドを使用してストレージ・サーバー・グループのコアをアクティブ化します。このコマンドはdcliユーティリティを使用し、celladminユーザーとして実行します。 

    # dcli -g cell_group -l celladmin cellcli -e "alter cell eighthRack=false"

  3. 次のコマンドを使用して、セル・ディスクを作成します。

    # dcli -g cell_group -l celladmin cellcli -e  "create celldisk all"

  4. 次のコマンドを使用して、フラッシュ・ログを再作成します。

    # dcli -g cell_group -l celladmin cellcli -e  "drop flashlog all force"
# dcli -g cell_group -l celladmin cellcli -e  "create flashlog all"

  5. 次のコマンドを使用して、フラッシュ・キャッシュを拡張します。

    # dcli -g cell_group -l celladmin cellcli -e  "alter flashcache all"
2.1.2.4 Oracle Exadata Database Machineエイス・ラックでの追加グリッド・ディスクの作成

適切なオフセットを確保するために、追加グリッド・ディスクの作成は特定の順序で行う必要があります。

ノート:

この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。

ストレージ・サーバーを追加することでストレージ・サーバーのハードウェア・リソースを拡張する場合、この手順は適用されません。

グリッド・ディスク作成の順序は、グリッド・ディスクの最初の作成プロセスで使用された順序と同じにする必要があります。Oracle Exadata Deployment Assistant (OEDA)を使用する標準デプロイメントの場合は、DATA、RECO、DBFS_DGの順です(存在する場合)。すべてのDATAグリッド・ディスクをまず作成し、次にRECOグリッド・ディスク、さらにDBFS_DGグリッド・ディスクを作成します(存在する場合)。

次の手順では、グリッド・ディスクを作成する方法について説明します。

ノート:

この手順で示すコマンドでは、標準のデプロイメント・グリッド・ディスク接頭辞名DATA、RECOおよびDBFS_DGを使用しています。サイズのチェックはセル・ディスク02で行います。セル・ディスク02を使用するのは、セル・ディスク00および01のディスク・レイアウトがサーバーの他のセル・ディスクとは異なるためです。

  1. 次のコマンドを使用して、グリッド・ディスクのサイズをチェックします。同じグリッド・ディスク接頭辞で開始するグリッド・ディスクでは各セルが同じサイズを返します。

    # dcli -g cell_group -l celladmin cellcli -e    \
"list griddisk attributes name, size where name like \'DATA.*_02_.*\'"

# dcli -g cell_group -l celladmin cellcli -e    \
"list griddisk attributes name, size where name like \'RECO.*_02_.*\'"

# dcli -g cell_group -l celladmin cellcli -e    \
"list griddisk attributes name, size where name like \'DBFS_DG.*_02_.*\'"

    表示されるサイズは、グリッド・ディスク作成で使用します。

  2. ステップ1で表示したサイズを使用してディスク・グループのグリッド・ディスクを作成します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。

表2-1 Oracle Exadata Database Machineエイス・ラックを拡張する際にディスク・グループを作成するコマンド

ラック コマンド

Extreme Flash Oracle Exadata Database Machine

 
dcli -g cell_group -l celladmin "cellcli -e create griddisk         \
DATA_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk         \
DATA_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk         \
DATA_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk         \
DATA_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk          \
RECO_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk          \
RECO_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk          \
RECO_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk          \
RECO_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk           \
DBFS_DG_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk           \
DBFS_DG_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk           \
DBFS_DG_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk           \
DBFS_DG_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

大容量Oracle Exadata Database Machine

 
dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DATA_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DATA_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DATA_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DATA_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DATA_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DATA_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=datasize"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
RECO_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk             \
RECO_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
RECO_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
RECO_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
RECO_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
RECO_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=recosize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DBFS_DG_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DBFS_DG_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DBFS_DG_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DBFS_DG_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DBFS_DG_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"

dcli -g cell_group -l celladmin "cellcli -e create griddisk            \
DBFS_DG_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=dbfssize, \
cachingPolicy=none"
2.1.2.5 Oracle Exadata Database Machineエイス・ラックでのグリッド・ディスクのOracle ASMディスク・グループへの追加

次の手順では、新しいグリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。

ノート:

この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。

ストレージ・サーバーを追加することでストレージ・サーバーのハードウェア・リソースを拡張する場合、この手順は適用されません。

Oracle Exadata Database Machineエイス・ラックでの追加グリッド・ディスクの作成で作成されたグリッド・ディスクは、対応する既存のOracle ASMディスク・グループにOracle ASMディスクとして追加する必要があります。

  1. 次を検証します。

    • リバランス操作が現在実行していないこと。
    • すべてのOracle ASMディスクがアクティブになっていること。

  2. Oracle Grid Infrastructureソフトウェアを実行している所有者として、最初のデータベース・サーバーにログインします。

  3. サーバーの+ASMインスタンスにアクセスするように環境を設定します。

  4. 次のコマンドを使用して、ASMインスタンスにsysasmユーザーとしてログインします。 

    $ sqlplus / as sysasm

  5. 次のように現在の設定を検証します。 

    SQL> set lines 100
SQL> column attribute format a20
SQL> column value format a20
SQL> column diskgroup format a20
SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup
FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG
WHERE DG.group_number=att.group_number AND att.name LIKE '%appliance.mode%'
ORDER BY att.group_number;

    出力は次のようになります。

    ATTRIBUTE            VALUE                DISKGROUP
-------------------- -------------------- --------------------
appliance.mode       TRUE                 DATAC1
appliance.mode       TRUE                 DBFS_DG
appliance.mode       TRUE                 RECOC1

  6. 次のコマンドを使用して、TRUEが表示されたすべてのディスク・グループのappliance.mode属性を無効化します。 

    SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='FALSE';
SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='FALSE';
SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='FALSE';

    このコマンドで、data_diskgroup、reco_diskgroupおよびdbfs_dg_diskgroupは、それぞれDATA、RECOおよびDBFS_DGディスク・グループの名前です。

  7. グリッド・ディスクをOracle ASMディスク・グループに追加します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。新しいディスクを調整するとシステムのリバランスが必要になります。

    表2-2 エイス・ラックのOracle Exadata Database Machineを拡張する際にディスク・グループを追加するコマンド

    ラック コマンド

    Extreme Flash Oracle Exadata Database Machine

    		 
    SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_FD_0[4-7]*'      \
REBALANCE POWER 32;
 
SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_FD_0[4-7]*'      \
REBALANCE POWER 32;
 
SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK 'o/*/DBFS_DG_FD_0[4-7]*'\
REBALANCE POWER 32;

    大容量Oracle Exadata Database Machine

    		 
    SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_CD_0[6-9]*','    \
o/*/DATA_CD_1[0-1]*' REBALANCE POWER 32;
 
SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_CD_0[6-9]*','    \
o/*/RECO_CD_1[0-1]*' REBALANCE POWER 32;
 
SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK '                       \
o/*/DBFS_DG_CD_0[6-9]*',' o/*/DBFS_DG_CD_1[0-1]*' REBALANCE POWER 32;

    成功すると、前述のコマンドによってDiskgroup alteredが返されます。

  8. (オプション)次のコマンドを使用して、現在のリバランス操作を監視します。

    SQL> SELECT * FROM  gv$asm_operation;

  9. 次のコマンドを使用して、appliance.mode属性を有効化します(ステップ6で無効化した場合)。 

    SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='TRUE';
SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='TRUE';
SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='TRUE';
2.1.2.6 Oracle Exadata Database Machineの拡張の検証

拡張後、新しい構成を検証します。

ノート:

この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。

サーバーを追加することでハードウェア・リソースを拡張する場合、この手順は適用されません。

  1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

  2. 次のコマンドを使用して、データベース・サーバーのコア数をチェックします。

    # dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'

  3. 次のコマンドを使用して、データベース・サーバーの構成を確認します。

    # dcli -g db_group -l root 'dbmcli -e list dbserver attributes eighthrack'

    出力はFALSEになる必要があります。

  4. 次のコマンドを使用して、ストレージ・サーバーの構成を確認します。

    # dcli -g cell_group -l celladmin 'cellcli -e list cell attributes eighthrack'

    出力はFALSEになる必要があります。

  5. 次のコマンドを使用して、各ディスク・グループのアプライアンス・モードを確認します。

    SQL> set lines 100
SQL> column attribute format a20
SQL> column value format a20
SQL> column diskgroup format a20
SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup    \
FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG                                 \
WHERE DG.group_number = att.group_number AND                                 \
att.name LIKE '%appliance.mode%' ORDER BY DG.group_number;

  6. 次のコマンドを使用して、Oracle ASMディスクの数を検証します。

    SQL> SELECT g.name,d.failgroup,d.mode_status,count(*)                      \
FROM v$asm_diskgroup g, v$asm_disk d                                       \
WHERE d.group_number=g.group_number                                        \
GROUP BY g.name,d.failgroup,d.mode_status;

NAME                      FAILGROUP                     MODE_ST   COUNT(*)
------------------------- ----------------------------- ------- ----------
DATAC1                    EXA01CELADM01                 ONLINE          12
DATAC1                    EXA01CELADM02                 ONLINE          12
DATAC1                    EXA01CELADM03                 ONLINE          12
RECOC1                    EXA01CELADM01                 ONLINE          12
RECOC1                    EXA01CELADM02                 ONLINE          12
RECOC1                    EXA01CELADM03                 ONLINE          12
RECOC2                    EXA01CELADM01                 ONLINE          12
RECOC2                    EXA01CELADM02                 ONLINE          12
RECOC2                    EXA01CELADM03                 ONLINE          12
DBFS_DG                   EXA01CELADM01                 ONLINE          10
DBFS_DG                   EXA01CELADM02                 ONLINE          10
DBFS_DG                   EXA01CELADM03                 ONLINE          10

    各大容量(HC)ストレージ・サーバー(エイス・ラック以外)には、12台のディスクが含まれています。

2.2 エラスティック構成の拡張

Exadata Database Machineは、Oracle Exadata Configuration Assistant (OECA)で定義されているように、最大でラックの容量までの多数のデータベース・サーバーおよびストレージ・サーバーで構成されるエラスティック構成で使用できます。

領域が使用可能な場合は、追加のデータベースおよびストレージ・サーバーを追加できます。詳細は、OECAを参照してください。アップグレード・プロセスには、新しいサーバーとケーブルの追加が含まれます。

ノート:

マシンがオンラインのときに停止することなくハードウェアを拡張できます。ただし、十分に注意する必要があります。また、ハードウェアを拡張する前に既存のスイッチおよびサーバーのパッチを適用する必要があります。

親トピック: ハードウェアの拡張

2.2.1 ドアの取外し

この手順は、Exadata Database Machineのドアを取り外す方法を示しています。

親トピック: エラスティック構成の拡張

2.2.2 新しいRDMAネットワーク・ファブリックのスイッチの追加

増加するリソース要件に応じて、新しいRDMAネットワーク・ファブリック・スイッチを個別に追加できます。

RoCEネットワーク・ファブリック・スイッチとInfiniBandネットワーク・ファブリック・スイッチの手順は異なります。

親トピック: エラスティック構成の拡張

2.2.2.1 RoCEネットワーク・ファブリック・スイッチの追加(Cisco Nexus 9336C-FX2)

この手順は、Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチを備えたシステムにのみ適用されます。

ノート:

この手順のステップは、Exadata Database Machineに固有のものです。Cicso Nexusマニュアルのステップとは異なります。

  1. Cisco Nexusスイッチのコンポーネントを梱包箱から 開梱します。次の項目が梱包箱にあります。

    • Cisco Nexus 9336C-FX2 Switch

    • ケーブル金具およびラック取付けキット

    • ケーブル管理金具およびカバー

    • 2つのラック・レール構成部品

    • 各種ねじおよび係留ナット

    • Cisco Nexus 9336C-FX2 Switchのドキュメント

    スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。

  2. RU1のラックからトラフを取り外します。RoCEネットワーク・ファブリック・スイッチの設置中は、ケーブルを脇に置きます。トラフは破棄できます。

  3. 適切な穴に各ラック・レールのケージ・ナットを設置します。

  4. カットアウト付きの金具をスイッチの電源側に取り付けます。

  5. C金具をスイッチのポート側に取り付けます。

  6. 前面からラックの途中までスイッチをスライドします。右側のC金具をとおして2本の電源コードを抜く間、できるだけスイッチをラックの左側に保持します。

  7. ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。

  8. スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。

  9. 組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。

    1. ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。

    2. ケーブル・アーム金具を正しい位置まで回転します。

    3. 上のねじを設置します。

    4. 両方のねじを締めます。

    できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。

  10. 前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。

  11. スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。

  12. スイッチの後部にケーブル管理アームの下部を設置します。

  13. ケーブルを適切なポートに接続します。

  14. ケーブル管理アームの上部を設置します。

  15. ラックU2のサーバーをラックにスライドします。

  16. 電源コードを前面のスイッチ電源装置スロットに取り付けます。

  17. 通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。

関連項目:

親トピック: 新しいRDMAネットワーク・ファブリック・スイッチの追加

2.2.2.2 InfiniBandネットワーク・ファブリック・スイッチ(Sun Datacenter InfiniBand Switch 36)の追加

この手順は、InfiniBandネットワーク・ファブリックを備えたシステムにのみ適用されます。

ノート:

この手順のステップは、Oracle Exadata Database Machineに固有のものです。Sun Datacenter InfiniBand Switch 36マニュアルのステップとは異なります。

  1. 梱包箱からSun Datacenter InfiniBand Switch 36スイッチ・コンポーネントを開梱します。次の項目が梱包箱にあります。

    • Sun Datacenter InfiniBand Switch 36スイッチ

    • ケーブル金具およびラック取付けキット

    • ケーブル管理金具およびカバー

    • 2つのラック・レール構成部品

    • 各種ねじおよび係留ナット

    • Sun Datacenter InfiniBand Switch 36ドキュメント

    スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。

  2. X5ラックのみ: RU1のラックからトラフを取り外し、Sun Datacenter InfiniBand Switch 36スイッチの設置中はケーブルを脇に置いておきます。トラフは破棄できます。

  3. 適切な穴に各ラック・レールのケージ・ナットを設置します。

  4. カットアウト付きの金具をスイッチの電源側に取り付けます。

  5. C金具をスイッチのSun Datacenter InfiniBand Switch 36ポート側に取り付けます。

  6. 前面からラックの途中までスイッチをスライドします。右側のC金具を介した2つの電源コードを抜く間、できるだけスイッチをラックの左側に維持する必要があります。

  7. ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。

  8. スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。

  9. 組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。

    1. ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。

    2. ケーブル・アーム金具を正しい位置まで回転します。

    3. 上のねじを設置します。

    4. 両方のねじを締めます。

    できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。

  10. 前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。

  11. スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。

  12. スイッチの後部にケーブル管理アームの下部を設置します。

  13. ケーブルを適切なポートに接続します。

  14. ケーブル管理アームの上部を設置します。

  15. ラックU2のサーバーをラックにスライドします。

  16. 電源コードを前面のSun Datacenter InfiniBand Switch 36スイッチ電源装置スロットに取り付けます。

  17. 通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。

関連項目:

親トピック: 新しいRDMAネットワーク・ファブリック・スイッチの追加

2.2.3 新しいサーバーの追加

容量がいっぱいでないOracle Exadata Rackに新しいサーバーを追加できます。

エラスティック構成方法を使用して、リソース要件の増加に対応するために必要に応じて個々のデータベース・サーバーまたはストレージ・サーバーを追加できます。詳細は、Oracle Exadata Configuration Assistant (OECA)を参照してください。アップグレード・プロセスには、新しいサーバーとケーブルの追加が含まれます。ハードウェアの追加が必要な場合があります。

ノート:

  • ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。

  • 新しいサーバーは手動で構成する必要があります。

  • 新しいサーバーの設置準備
    新しいサーバーを設置する前に、サーバーを取り付けるためのラック・ユニットを準備します。
  • ラック・アセンブリの設置
    設置の準備が完了したら、次に、新しいサーバーを保持するラック・アセンブリを取り付けます。
  • サーバーの設置
    設置の準備およびラック構成部品の取り付け後、新しいサーバーを設置します。

関連トピック

親トピック: エラスティック構成の拡張

2.2.3.1 新しいサーバーの設置準備

新しいサーバーを設置する前に、サーバーを取り付けるためのラック・ユニットを準備します。

  1. サーバーを設置するラック・ユニットを確認します。ラックの一番下の段から見て、空いている最初のユニットに設置します。

  2. ユニットにサーバーが設置されるまではケーブル・ハーネスが取り付けられているトラフを外して破棄します。

  3. 詰め物を取り出して破棄します。

2.2.3.2 ラック・アセンブリの設置

設置の準備が完了したら、次に、新しいサーバーを保持するラック・アセンブリを取り付けます。

  1. スライド・レール・ロックがサーバーの前にあり、取付け金具の5つのキー穴開口部が、シャーシ側面の5つの位置決めピンに合うように取付け金具をシャーシに対して配置します。

  2. ボール・ベアリング・トラックが前方で、適切な位置で固定されるように、スライド・レール構成部品を正しい向きに置きます。

  3. ラックの左側または右側のいずれかから、スライド・レール構成部品の背面をラック・レールの内側に合せ、カチッという音がしてロックされるまでアセンブリを押します。

    図2-1 背面ラック・レールの内側へのスライド・レール構成部品のロック

    図2-1の説明が続きます
    「図2-1 背面ラック・レールの内側へのスライド・レール構成部品のロック」の説明

  4. スライド・レール構成部品の前面をラック・レールの前面の外側に合せ、カチッという音がしてロックされるまでアセンブリを押します。

  5. ラックの反対側で、ステップ2から4を繰り返します。

2.2.3.3 サーバーの設置

設置の準備およびラック構成部品の取り付け後、新しいサーバーを設置します。

警告:

  • サーバーは重いので、サーバーの設置には少なくとも2名の作業者またはリフトが必要です。この手順を1人で実行すると、機器が損傷したり、けがをしたりする可能性があります。

  • ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。

  1. ラックにサーバーを設置する前に、サーバーの上部カバーのサービス・ラベルを参照します。

  2. スライド・レール構成部品にサーバーをはめ込みます。

    1. スライド・レールをスライド・レール構成部品にできるだけ奥まで押し込みます。

    2. 取付け金具の後端が、機器ラックに取り付けられているスライド・レール構成部品と揃うようにサーバーの位置を決めます。

      図2-2 ラック内のスライド・レール構成部品と取付け金具の後端の位置合せ


      図2-2の説明が続きます
      「図2-2 ラック内のスライド・レール構成部品と取付け金具の後端の位置合せ」の説明

      図内で引出し線で示しているのは次の部分です。

      1: スライド・レールに挿入される取付け金具

      2: スライドレール・リリース・レバー

    3. 取付け金具をスライド・レールに挿入し、取付け金具がスライド・レールのストップに接触するまでサーバーをラック内に押し込みます(約30cm(12インチ))。

    4. 両方の取付け金具のスライド・レール開放レバーを同時に押しながら、サーバーをラック内に押し込みます。

      ノート:

      1人がラックへのサーバーの出入れを行い、もう1人がケーブルやケーブル管理アーム(CMA)に目を配るというように、ラックへのサーバーの設置は2人で行うことをお薦めします。

    5. 取付け金具の前面のスライド・レール・ロックがスライド・レール構成部品にかみ合って、カチッという音がするまで押し込みます。

  3. Exadata Storage Serverの配線の説明に従って、新しいサーバーを配線します。

2.2.4 データベース・サーバーの配線

新しいデータベース・サーバーを設置したら、既存の機器を配線する必要があります。次の手順は、ラックの新しい機器を配線する方法を示しています。手順内のイメージは、Sun Fire X4170 M2 Oracle Database Serverを示しています。

ノート:

  • ラックの既存のケーブル接続は変更されません。

  • 青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。

  • 一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。

  • ラックの下から上に順次作業してください。上部にドングル、下部に電力ケーブルを装備したCMAを介してケーブルを配線します。

  • 3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。

  1. CAT5eケーブル、AC電源ケーブル、USBをサーバー背面のそれぞれのポートに接続します。ドングルの平らな面がCMA内部レールに接触していることを確認します。

    図2-3 サーバーの背面のケーブル

    図2-3の説明が続きます
    「図2-3 サーバーの背面のケーブル」の説明

  2. ケーブル管理アーム(CMA)の緑色の金具を調整します。

    図2-4 ケーブル管理アーム(CMA)の金具

    図2-4の説明が続きます
    「図2-4 ケーブル管理アーム(CMA)の金具」の説明

    CMAの図内引出し線の説明

    1. コネクタA

    2. 前部スライド・バー

    3. マジックテープ・ストラップ(6)

    4. コネクタB

    5. コネクタC

    6. コネクタD

    7. スライドレール・ラッチ金具(コネクタD用)

    8. 後部スライド・バー

    9. ケーブル・カバー

    10. ケーブル・カバー

  3. CMAをサーバーに接続します。

  4. CAT5eと電源ケーブルをワイヤ・クリップで配線します。

    図2-5 ケーブル管理アームを介して配線されたケーブル

    図2-5の説明が続きます
    「図2-5 ケーブル管理アームを介して配線されたケーブル」の説明

  5. CAT5eと電源ケーブルを、曲げ半径を最小に保持しながら曲げて、CMAに通します。

  6. CAT5eと電源ケーブルがケーブル留め具の下になるようにします。

    図2-6 ケーブル留め具の下に固定されたケーブル

    図2-6の説明が続きます
    「図2-6 ケーブル留め具の下に固定されたケーブル」の説明

  7. CMAを経由してケーブルを配線し、フックとループ・ストラップの間隔が同じになるようにします。

    図2-7 等間隔のフック・アンド・ループ・ストラップで固定されたケーブル

    図2-7の説明が続きます
    「図2-7 等間隔のフック・アンド・ループ・ストラップで固定されたケーブル」の説明

  8. RDMAネットワーク・ファブリックまたはTwinAxケーブルを、最初に曲げた状態でCMAに接続します。TwinAxケーブルはデータベース・サーバーへのクライアント・アクセス用です。

    図2-8 CMAに配置されているRDMAネットワーク・ファブリックまたはTwinAxケーブル

    図2-8の説明が続きます
    「図2-8 CMAに配置されているRDMAネットワーク・ファブリックまたはTwinAxケーブル」の説明

  9. RDMAネットワーク・ファブリックまたはTwinAxケーブルを、等間隔のフック・アンド・ループ・ストラップで固定します。

    図2-9 等間隔のフック・アンド・ループ・ストラップで固定されたRDMAネットワーク・ファブリックまたはTwinAxケーブル

    図2-9の説明が続きます
    「図2-9 等間隔のフック・アンド・ループ・ストラップで固定されたRDMAネットワーク・ファブリックまたはTwinAxケーブル」の説明

  10. ファイバ・コア・ケーブルを配線します。

  11. ケーブルをCMAの緑の留め具に通して収めます。

  12. 赤のILOMケーブルをデータベース・サーバーに接続します。

  13. ネットワーク・ケーブルをOracle Database Serverに接続します。

  14. Oracle DatabaseサーバーからRDMAネットワーク・ファブリック ・スイッチにケーブルを接続します。

  15. オレンジ色のイーサネット・ケーブルをKVMスイッチに接続します。

  16. 赤と青のイーサネット・ケーブルをCiscoスイッチに接続します。

  17. 次に示すように、各サーバーのスライド・レールおよびCMAの動作を確認します。

    ノート:

    このステップは、2人の作業者で実行することをお薦めします。1人がサーバーをラックの前後に動かし、もう1人がケーブルとCMAを監視します。

    1. スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。

    2. バインドまたはねじれがないか、接続されたケーブルを検査します。

    3. CMAがスライド・レールから一杯まで伸びることを確認します。

  18. 次に示すように、サーバーをラック内に押し込みます。

    1. 2対のスライド・レール・ストップを解放します。

    2. 両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。最初の対のストップは各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーです。レバーにはPUSHというラベルが付いています。サーバーは、約46cm(18インチ)スライドして停止します。

    3. ケーブルおよびCMAが引っかからずに格納されることを確認します。

    4. 両方のスライド・レール・リリース・ボタンを同時に押すか引いて、両方のスライド・レールがかみ合うまでサーバーを完全にラック内に押し込みます。2番目の対のストップは、各取付け金具の前面近くにあるスライド・レール・リリース・ボタンです。

  19. ケーブルをまとめてストラップで固定します。まとめるケーブルの数は8個以下にすることをお薦めします。

  20. ケーブルが動きにくかったり引っかかったりしていないか確認するため、サーバーをスライドアウトしてから完全に押し込んでケーブル配線を確認します。

  21. 残りのサーバーにこの手順を繰り返します。

  22. 電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。今回は施設のソケットに電力ケーブルを接続しないでください。

関連項目:

親トピック: エラスティック構成の拡張

2.2.5 ストレージ・サーバーの配線

新しいストレージ・サーバーを設置したら、既存の機器に接続する必要があります。

次の手順は、ラックの新しい機器を配線する方法を示しています。

ノート:

  • ラックの既存のケーブル接続は変更されません。

  • 青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。

  • 一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。

  • ラックの下から上に順次作業してください。

  • 3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。

  1. CMAをサーバーに取り付けます。

  2. フック・アンド・ループ・ストラップを通して、各ケーブルをそれぞれのポートに挿入し、次の順番でCMAにケーブルを配線します。

    1. 電源

    2. イーサネット

    3. RDMAネットワーク・ファブリック

    図2-10 サーバーの背面の電源ケーブルとネットワーク・ケーブル

    図2-10の説明が続きます
    「図2-10 サーバーの背面の電源ケーブルとネットワーク・ケーブル」の説明

  3. CMAを通してケーブルを配線し、CMAの内側と外側の両方のカーブで、フック・アンド・ループ・ストラップを使用して固定します。

    図2-11 CMAを通して配線され、フック・アンド・ループ・ストラップで固定されたケーブル

    図2-11の説明が続きます
    「図2-11 CMAを通して配線され、フック・アンド・ループ・ストラップで固定されたケーブル」の説明

  4. クロスバー・カバーを閉じて、ケーブルを真っ直ぐに固定します。

  5. 各サーバーのスライド・レールおよびCMAの動作を確認します。

    ノート:

    1人がラックへのサーバーの出入れを行い、もう1人がケーブルやCMAに目を配るというように、このステップは2人で行うことをお薦めします。

    1. スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。

    2. バインドまたはねじれがないか、接続されたケーブルを検査します。

    3. CMAがスライド・レールから一杯まで伸びることを確認します。

  6. サーバーをラック内に戻します。

    1. 2対のスライド・レール・ストップを解放します。

    2. 各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーを探します。「PUSH」というラベルが付いています。

    3. おおよそ46cm (18インチ)で止まるまで、両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。

    4. ケーブルおよびCMAが絡まらずに格納されることを確認します。

    5. 各取付け金具の前面近くにあるスライド・レール開放ボタンを探します。

    6. 両方のスライド・レール開放ボタンを同時に押して、両方のスライド・レールがかみ合うまでサーバーを完全にラック内にスライドさせます。

  7. ケーブルをまとめてストラップで固定します。8個以下のバンドルのRDMAネットワーク・ファブリック・ケーブルを使用することをお薦めします。

  8. 各サーバーを引き出し、完全に元に戻して、ケーブルが絡まったり引っかかったりしていないことを確認します。

  9. すべてのサーバーにこの手順を繰り返します。

  10. 電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。まだ、施設のソケットに電力ケーブルを接続しないでください。

関連項目:

マルチラック配線表

システムの配線表は、『Oracle Exadata Database Machineシステム概要』

親トピック: エラスティック構成の拡張

2.2.6 ラックを閉じる

新しい機器を設置した後、パネルを交換してラックを閉じる必要があります。

Oracle Exadata Rackで使用されているラック・モデルは2つあります。最新のステップは、該当するドキュメントを参照してください。

次のステップは、プロセスの概要を示しています。

  1. 次に示すように、ラックの前部ドアと後部ドアを元に戻します。

    1. ドアを取り出して、ドア・ヒンジに慎重に置きます。

    2. 前部ドアと後部ドアの接地ストラップをフレームに接続します。

    3. ドアを閉じます。

    4. (オプション)ドアをロックします。キーは発送キットにあります。

  2. (オプション)次に示すように、アップグレード用に取り外されていた場合はサイド・パネルを元に戻します。

    1. 各サイド・パネルを持ち上げて、ラックの側面に配置します。ラックの上部で、サイド・パネルの重量を支えます。パネル留具とラック・フレームの溝が整列していることを確認します。

    2. サイド・パネルの取外し工具を使用して、各サイド・パネル留具を時計回りに1/4回転します。パネル・ロック付近の留具を時計回りに回転します。サイド・パネルごとに10個の留具があります。

    3. (オプション)各サイド・パネルをロックします。キーは発送キットにあります。ロックはサイド・パネル中央の下部にあります。

    4. 接地ストラップをサイド・パネルに接続します。

ラックを閉じた後、新しいハードウェアの構成に進み、新しいハードウェアを構成します。

親トピック: エラスティック構成の拡張

2.3 「別のラックの追加によるラックの拡張」

Oracle Exadata Rackを拡張するには、別のラックの追加とラックの構成を一緒に行います。

親トピック: ハードウェアの拡張

2.3.1 既存のシステムへの別のラックの追加の概要

ラックを配線する前に次のノートを確認してください。

  • RoCEネットワーク・ファブリックを使用するラック(X8M以降)を拡張する手順は、InfiniBandネットワーク・ファブリックを使用するラック(X8以前)の場合の手順とは異なります。

  • InfiniBandネットワーク・ファブリックを使用するラックは、停止時間なしで配線できます。RoCEネットワーク・ファブリックを使用するラックでは、使用する手順によって、ラックを配線する際に停止時間が必要になる場合があります。

  • 重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。

  • ラック配線中にパフォーマンスが低下する可能性があります。このパフォーマンスの低下は、ケーブルを抜いたときのパケット損失によるデータ再送信およびネットワーク帯域幅が小さくなることによるものです。

  • RDMAネットワーク・ファブリックの冗長性は、ラックの配線中に損われる可能性があります。これは、RDMAネットワーク・ファブリック・ポートまたはスイッチがオフラインになり、すべてのトラフィックが残りのスイッチを使用する必要がある場合に発生します。

  • ラックを追加するときは、既存のラックのみが稼働します。これは、新しいラックのサーバーの電源が最初に切断されていることを前提としています。

  • システム上で実行中のソフトウェアにRDMAネットワーク・ファブリックの再起動関連の問題はありません。構成を確認するには、複数のラックを接続する前に、各ラックで個別にinfinicheckを実行します。

  • 各Oracle Exadata Rackに3つのRDMAネットワーク・ファブリック・スイッチがすでに設置されていると想定されています。

  • 新しいラックには配線前に拡張システムに移行される適切なIPアドレスが構成されており、重複するIPアドレスはありません。

  • RoCEネットワーク・ファブリックを使用するラックでは、各スパイン・スイッチで1つのループバックIPインタフェースを使用し、各リーフ・スイッチで2つのループバックIPインタフェースを使用します。IPアドレス指定スキームでは、IANAの共有アドレス領域100.64.0.0/10が使用されます。これにより、他のスキームを使用するネットワークのIPv4アドレスと重複することはありません。
    • リーフのループバック0のIPは、100.64.0.101、100.64.0.102、100.64.0.103などとして割り当てられます。
    • リーフのループバック1のIPは、100.64.1.101、100.64.1.102、100.64.1.103などとして割り当てられます。
    • スパインのループバック0のIPは、100.64.0.201、100.64.0.202から100.64.0.208までとして割り当てられます。

親トピック: 別のラックの追加によるラックの拡張

2.3.2 「2ラック配線」

システムの仕様および動作要件に基づいて、使用可能な方法から選択します。

親トピック: 別のラックの追加によるラックの拡張

2.3.2.1 停止時間なしの2つのRoCEネットワーク・ファブリック・ラックの配線

動作要件のために予定されている停止時間を許容できない場合は、次の手順から選択して、別のラックを追加して既存のRoCEネットワーク・ファブリック・ラックを拡張します。

2.3.2.1.1 別のX9Mラックの追加による停止時間なしのX9Mラックの拡張

警告:

実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。

ノート:

その他の背景情報は、X9Mラックのマルチラック配線の理解を参照してください。

この手順を使用して、通常のX9Mラックを拡張するには、別のX9Mラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。

次に、手順の概要を示します。

  • 準備(ステップ1と2)

    このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。

  • 構成および物理的な配線

    このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。

    • 下位リーフ・スイッチの部分的な構成(ステップ3)

      このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。

    • 上位リーフ・スイッチの部分的な構成(ステップ4)

      このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。

    • 下位リーフ・スイッチの完了(ステップ5)

      このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。

    • 上位リーフ・スイッチの完了(ステップ6)

      このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。

  • 検証とテスト(ステップ7および8)

    このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。

手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。

ノート:

  • この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。

    • スイッチ間ポートはポート4から7、ポート30から33です。

    • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。

    • データベース・サーバー・ポートはポート15から22です。

    他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えたX9M-8システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。

  • この手順では、次のネーミングの略称および表記規則を使用します。

    • 既存のラックの略称はR1で、新しいラックの略称はR2です。

    • LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。

    • SSはスパイン・スイッチを識別します。

    • 特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。

  • ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。

    ヒント:

    ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。

  • 操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。

  • RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。

  1. システムを準備します。
    1. 物理的に既存のラック(R1)の近くに新しいラック(R2)を配置します。

      RDMAネットワーク・ファブリック・ケーブルは、各ラックのスイッチに到達できる必要があります。

      必要なクロスラック配線の詳細は、X9Mラックの2ラック配線を参照してください。

    2. 新しいラック(R2)のすべてのサーバーおよびネットワーク・スイッチの電源をオンにします。

      これには、データベース・サーバー、ストレージ・サーバー、RoCEネットワーク・ファブリック・リーフ・スイッチおよび管理ネットワーク・スイッチが含まれます。

    3. ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを準備します。

      すべてのケーブルの両端にラベルを付けます。

      必要なクロスラック配線の詳細は、X9Mラックの2ラック配線を参照してください。

    4. 新しいラック(R2)を既存の管理ネットワークに接続します。

      ラック間でIPアドレスの競合がないこと、およびRoCEネットワーク・ファブリック・スイッチ上の管理インタフェースにアクセスできることを確認します。

    5. 各RoCEネットワーク・ファブリック・スイッチ(R1LL、R1UL、R2LLおよびR2UL)の現在のスイッチ構成のバックアップがあることを確認します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

    6. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルをダウンロードします。

      この手順では、My Oracle Supportのドキュメント2704997.1からダウンロードする必要がある特定のRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。

      警告:

      システムでExadata Secure RDMA Fabric Isolationが使用されているかどうかに応じて、異なるスイッチ構成ファイルを使用する必要があります。システム構成に一致する正しいアーカイブをダウンロードしてください。

      Secure Fabricを使用しないシステム構成の場合は、online_multi-rack_14uplinks.zipをダウンロードします。Secure Fabricを使用するシステム構成の場合は、online_SF_enabled_multi-rack_14uplinks.zipをダウンロードします。

      必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを含むアーカイブをダウンロードして抽出します。RoCEネットワーク・ファブリック・スイッチ上の管理インタフェースへのアクセス権を持つサーバーにファイルを配置します。

    7. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを両方のラックのリーフ・スイッチにコピーします。

      次のコマンドを使用して、Secure Fabricが有効になっていないシステム上のすべてのRoCEネットワーク・ファブリック・スイッチに、必要な構成ファイルをコピーできます。 

      1. # scp roce_multi_14uplinks_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_multi_14uplinks_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_multi_14uplinks_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/

      Secure Fabricが有効になっているシステムでは、次のコマンドを使用できます。 

      1. # scp roce_SF_multi_14uplinks_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_SF_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_SF_multi_14uplinks_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_SF_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_SF_multi_14uplinks_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_SF_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/

      前述のコマンドで、必要に応じて、適切なIPアドレスまたはホスト名を置き換えます。たとえば、R1LL_IPのかわりに、既存のラック(R1)の下位リーフ・スイッチ(LL)を管理IPアドレスまたはホスト名に置き換えます。

      ノート:

      この手順の残りの部分のコマンド例では、Secure Fabricが有効になっていないシステム構成の構成ファイルを使用します。必要に応じて、Secure Fabric対応のスイッチ構成ファイルを使用するようにコマンドを調整します。
    8. すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でファームウェアを最新の使用可能なリリースに更新します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

    9. RoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)を調べて、ケーブル接続されたポートのポート・カテゴリを確認します。

      すべてのRoCEネットワーク・ファブリック・リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R1UL# show interface status
      3. R2LL# show interface status
      4. R2UL# show interface status

      出力を調べて、次のようにポート・カテゴリを確認します。

      • スイッチ間ポートはポート4から7、ポート30から33であることを確認します。

      • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29であることを確認します。

      • データベース・サーバー・ポートはポート15から22であることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    10. ラック(R1およびR2)ごとに、verify_roce_cables.pyスクリプトを実行してRoCEネットワーク・ファブリックの配線を確認します。

      verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

      ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

      両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

      1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
      2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

      CABLE OK?列の出力にOKステータスが含まれていることを確認します。

      次の例は、予想されるコマンド結果を示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)               LOWER LEAF (rack1sw-rocea0) : CABLE OK?             UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------          -------------------------------- : --------         -------------------------------- : ---------
    Eth1/4 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/4 : OK                     rack1sw-roceb0 Ethernet1/4 : OK
    Eth1/5 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/5 : OK                     rack1sw-roceb0 Ethernet1/5 : OK
    Eth1/6 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/6 : OK                     rack1sw-roceb0 Ethernet1/6 : OK
    Eth1/7 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/7 : OK                     rack1sw-roceb0 Ethernet1/7 : OK
    Eth1/8 (RU39)              :                 rack1celadm14 port-1 : OK                           rack1celadm14 port-2 : OK
    Eth1/9 (RU37)              :                 rack1celadm13 port-1 : OK                           rack1celadm13 port-2 : OK
   Eth1/10 (RU35)              :                 rack1celadm12 port-1 : OK                           rack1celadm12 port-2 : OK
   Eth1/11 (RU33)              :                 rack1celadm11 port-1 : OK                           rack1celadm11 port-2 : OK
   Eth1/12 (RU31)              :                 rack1celadm10 port-1 : OK                           rack1celadm10 port-2 : OK
   Eth1/13 (RU29)              :                 rack1celadm09 port-1 : OK                           rack1celadm09 port-2 : OK
   Eth1/14 (RU27)              :                 rack1celadm08 port-1 : OK                           rack1celadm08 port-2 : OK
   Eth1/15 (RU26)              :                    rack1adm08 port-1 : OK                              rack1adm08 port-2 : OK
   Eth1/16 (RU25)              :                    rack1adm07 port-1 : OK                              rack1adm07 port-2 : OK
   Eth1/17 (RU24)              :                    rack1adm06 port-1 : OK                              rack1adm06 port-2 : OK
   Eth1/18 (RU23)              :                    rack1adm05 port-1 : OK                              rack1adm05 port-2 : OK
   Eth1/19 (RU19)              :                    rack1adm04 port-1 : OK                              rack1adm04 port-2 : OK
   Eth1/20 (RU18)              :                    rack1adm03 port-1 : OK                              rack1adm03 port-2 : OK
   Eth1/21 (RU17)              :                    rack1adm02 port-1 : OK                              rack1adm02 port-2 : OK
   Eth1/22 (RU16)              :                    rack1adm01 port-1 : OK                              rack1adm01 port-2 : OK
   Eth1/23 (RU14)              :                 rack1celadm07 port-1 : OK                           rack1celadm07 port-2 : OK
   Eth1/24 (RU12)              :                 rack1celadm06 port-1 : OK                           rack1celadm06 port-2 : OK
   Eth1/25 (RU10)              :                 rack1celadm05 port-1 : OK                           rack1celadm05 port-2 : OK
   Eth1/26 (RU08)              :                 rack1celadm04 port-1 : OK                           rack1celadm04 port-2 : OK
   Eth1/27 (RU06)              :                 rack1celadm03 port-1 : OK                           rack1celadm03 port-2 : OK
   Eth1/28 (RU04)              :                 rack1celadm02 port-1 : OK                           rack1celadm02 port-2 : OK
   Eth1/29 (RU02)              :                 rack1celadm01 port-1 : OK                           rack1celadm01 port-2 : OK
   Eth1/30 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/30 : OK                    rack1sw-roceb0 Ethernet1/30 : OK
   Eth1/31 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/31 : OK                    rack1sw-roceb0 Ethernet1/31 : OK
   Eth1/32 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/32 : OK                    rack1sw-roceb0 Ethernet1/32 : OK
   Eth1/33 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/33 : OK                    rack1sw-roceb0 Ethernet1/33 : OK
    11. ラック(R1およびR2)ごとに、infinicheckコマンドを使用してRoCEネットワーク・ファブリック操作を検証します。

      • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。

      • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。

      • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。

      各コマンドのホスト入力ファイル(hosts.rack1およびhosts.rack2)には、データベース・サーバーのホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のカンマ区切りリストが含まれ、セルの入力ファイル(cells.rack1およびcells.rack2)には、ストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。

      1. 既存のラック(R1)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -b

      2. 新しいラック(R2)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -b

      次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rackN -c cells.rackN -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  2. スパイン・スイッチ(R1SSおよびR2SS)を取り付けます。
    1. 既存のラック(R1SS)および新しいラック(R2SS)にスパイン・スイッチを物理的に設置して電源を投入します。

      1. 各スパイン・スイッチをRU1に物理的に設置します。

      2. スパイン・スイッチごとに、管理イーサネット・インタフェースが管理ネットワークに接続されていることを確認し、電源を供給します。

      3. 各スパイン・スイッチで、Cisco Nexus C9336C-FX2スイッチの構成で説明した初期構成のステップを実行します。後で実行するため、ゴールデン構成設定を適用するステップをスキップします。

      4. スパイン・スイッチごとに、管理イーサネット・インタフェースに対してpingテストを実行し、スイッチがオンラインでアクセス可能であることを確認します。

    2. ゴールデン構成設定を新しいスパイン・スイッチに適用します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用を参照してください。

      以前(ステップ1.h)にリーフ・スイッチのファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      次のいずれかのpatchmgrコマンドを使用して、スイッチ・リスト・ファイル(spines.lst)を使用して、ゴールデン構成設定を両方のスパイン・スイッチに適用します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --apply-config -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    3. スパイン・スイッチのファームウェアをアップグレードします。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

      前のステップで使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(spines.lst)を使用し、次のいずれかのpatchmgrコマンドを使用して両方のスパイン・スイッチでファームウェアのアップグレードを実行します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --upgrade -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    4. RoCEネットワーク・ファブリック・ケーブルをスパイン・スイッチ(R1SSおよびR2SS)に接続します。

      警告:

      この段階では、ケーブルはスパイン・スイッチにのみ接続します。

      後で混乱を回避するため、各ケーブルが正しいスイッチおよびポートに接続されていることを確認します。

      いずれのケーブルもリーフ・スイッチに接続しないでください。

      以前(ステップ1.c)に準備したケーブルを使用します。

      必要なクロスラック配線の詳細は、X9Mラックの2ラック配線を参照してください。

  3. 下位リーフ・スイッチ(R1LLおよびR2LL)で構成の最初のラウンドを実行します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    ノート:

    このステップの間、下位リーフ・スイッチ・ポートが停止されます。R1LLポートが停止している間、R1ULはRoCEネットワーク・ファブリックのみをサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1ULが停止した場合は可用性を維持できません。

    1. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ・ポートを停止します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/1-36
R1LL(config-if-range)# shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/1-36
R2LL(config-if-range)# shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    2. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1LLでは、スイッチ構成ファイル名はstep3_R1_LL.cfgで終わる必要があります。 

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R1_LL.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでは、スイッチ構成ファイル名はstep3_R2_LL.cfgで終わる必要があります。 

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R2_LL.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    3. 下位リーフ・スイッチ(R1LLおよびR2LL)でスイッチ間ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    4. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    5. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ間ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    6. 下位リーフ・スイッチ(R1LLおよびR2LL)でストレージ・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    7. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    8. 下位リーフ・スイッチ(R1LLおよびR2LL)のストレージ・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    9. 下位リーフ・スイッチ(R1LLおよびR2LL)でデータベース・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/15-22
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/15-22
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    10. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    11. 下位リーフ・スイッチ(R1LLおよびR2LL)のデータベース・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --

    ノート:

    続行する前に、両方の下位リーフ・スイッチ(R1LLおよびR2LL)でステップ3のすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

  4. 上位リーフ・スイッチ(R1ULおよびR2UL)で構成の最初のラウンドを実行します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    ノート:

    このステップの開始時に、上位リーフ・スイッチ・ポートが停止されます。R1ULポートが停止している間、R1LLは既存のラックのRoCEネットワーク・ファブリックを排他的にサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1LLが停止した場合は可用性を維持できません。

    1. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を停止します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/1-36
R1UL(config-if-range)# shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/1-36
R2UL(config-if-range)# shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 両方のラックで、リーフ・スイッチ(R1LLからR1UL、およびR2LLからR2UL)間のスイッチ間リンクを削除します。

      すべてのリーフ・スイッチで、スイッチ間リンクのケーブルを取り外します。

      1. R1LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      2. R1ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      3. R2LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      4. R2ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

    3. 両方のラックで、上位リーフ・スイッチを両方のスパイン・スイッチに配線します(R1ULおよびR2ULからR1SSおよびR2SS)。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      X9Mラックの2ラック配線の説明に従って、スイッチを配線します。

      1. R1ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      2. R2ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    4. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1ULでは、スイッチ構成ファイル名はstep4_R1_UL.cfgで終わる必要があります。 

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R1_UL.cfg | grep 'none'
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでは、スイッチ構成ファイル名はstep4_R2_UL.cfgで終わる必要があります。 

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R2_UL.cfg | grep 'none'
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    5. 上位リーフ・スイッチ(R1ULおよびR2UL)のRoCEネットワーク・ファブリック・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがdisabledであることを確認します。

      次に例を示します。

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       disabled  routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --

      ノート:

      続行する前に、両方の上位リーフ・スイッチ(R1ULおよびR2UL)で、ステップ4のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    6. 上位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ul.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の上位リーフ・スイッチを確認します。 

      # cat ul.lst
R1UL_IP:mleaf_u14.102
R2UL_IP:mleaf_u14.104

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleaf_u14タグを使用します。 

      # cat ul.lst
R1UL_IP:msfleaf_u14.102
R2UL_IP:msfleaf_u14.104

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:40:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:40:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:40:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:40:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:40:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:32 -0700        :INFO   : config attempted on nodes in file ul.lst: [R1UL_IP R2UL_IP]
2020-08-10 13:40:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:40:32 -0700        :INFO   : Exit status:0
2020-08-10 13:40:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の上位リーフ・スイッチに適していることを確認します。停止しているポートに関するメッセージは無視してかまいません。

  5. 下位リーフ・スイッチ(R1LLおよびR2LL)の構成を完了します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    1. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      下位リーフ・スイッチ(R1LLおよびR2LL)の両方で次のコマンド・シーケンスを実行します。

      以前(ステップ1.g)にスイッチにコピーした正しいスイッチ構成ファイルを使用する必要があります。このステップでは、構成ファイル名はstep5.cfgで終わる必要があります。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    2. 両方のラックで、下位リーフ・スイッチを両方のスパイン・スイッチ(R1LLおよびR2LLからR1SSおよびR2SS)に配線します。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      X9Mラックの2ラック配線の説明に従って、スイッチを配線します。

      1. R1LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      2. R2LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    3. 下位リーフ・スイッチで、配線されたすべてのRoCEネットワーク・ファブリック・ポート(R1LLおよびR2LL)が接続されていることを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --

      ノート:

      続行する前に、下位の両方のリーフ・スイッチ(R1LLおよびR2LL)で、ステップ5のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    4. 下位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ll.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の下位リーフ・スイッチを確認します。 

      # cat ll.lst
R1LL_IP:mleaf_u14.101
R2LL_IP:mleaf_u14.103

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleaf_u14タグを使用します。 

      # cat ll.lst
R1LL_IP:msfleaf_u14.101
R2LL_IP:msfleaf_u14.103

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:45:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:45:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:45:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:45:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:45:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:32 -0700        :INFO   : config attempted on nodes in file ll.lst: [R1LL_IP R2LL_IP]
2020-08-10 13:45:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:45:32 -0700        :INFO   : Exit status:0
2020-08-10 13:45:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の下位リーフ・スイッチに適していることを確認します。

    5. nveが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R2LL# show nve peers

      この時点で、State=Upを持つnveピアが1つ表示されます。

      次に例を示します。

      R1LL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.103    Up        CP 00:04:29               n/a
    6. BGPが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show logging log | grep BGP
      2. R2LL# show logging log | grep BGP

      異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      次に例を示します。

      R1LL# show logging log | grep BGP
2020 Aug 10 13:47:13 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:47:24 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.202 Up
  6. 上位リーフ・スイッチ(R1ULおよびR2UL)の構成を完了します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    1. 上位リーフ・スイッチ(R1ULおよびR2UL)でスイッチ間ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    3. 上位リーフ・スイッチ(R1ULおよびR2UL)のスイッチ間ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      次に例を示します。

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    4. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    5. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    6. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      次に例を示します。

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    7. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/15-22
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/15-22
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    8. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    9. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      次に例を示します。

      R1UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    10. リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でnveが稼働していることを確認します。

      各リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R1UL# show nve peers
      3. R2LL# show nve peers
      4. R2UL# show nve peers

      出力には、State=Upを持つnveピアが3つ表示されます。

      次に例を示します。

      R1UL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.101    Up        CP 00:04:29               n/a
nve1         100.64.1.103    Up        CP 00:07:48               n/a
nve1         100.64.1.104    Up        CP 00:04:10               n/a
    11. BGPが上位リーフ・スイッチ(R1ULおよびR2UL)で稼働していることを確認します。

      各上位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1UL# show logging log | grep BGP
      2. R2UL# show logging log | grep BGP

      出力で、異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      次に例を示します。

      R1UL# show logging log | grep BGP
2020 Aug 10 13:57:13 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:57:24 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.202 Up
  7. 各ラック(R1およびR2)で、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

    両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

    X9Mラックの2ラック配線の表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    次の例は、予想されるコマンド結果の抽出を示します。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack1sw-rocea0) : CABLE OK?  UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
...
    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack2sw-rocea0) : CABLE OK?  UPPER LEAF (rack2sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
...
  8. infinicheckコマンドを使用して、インターコネクトされた両方のラック間のRoCEネットワーク・ファブリック操作を検証します。

    次の推奨されるコマンド・シーケンスを使用して、両方のラック間のRoCEネットワーク・ファブリック操作を確認します。

    各コマンドのhosts.allには両方のラックのデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のカンマ区切りリストが含まれ、cells.allには両方のラックのストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -z
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -s
    3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

    各infinicheckコマンドの詳細は、ステップ1.kを参照してください。

    次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...

この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。新しいハードウェアの構成を参照してください。

2.3.2.1.2 X9Mラックの追加による停止時間なしのX8Mラックの拡張

警告:

実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。

ノート:

この手順では、既存のX8Mラック上のRoCEネットワーク・ファブリック・スイッチに、Oracle Exadata System Software 20.1.0以降からのゴールデン構成設定が含まれていることを前提としています。それ以外の場合は、この手順を使用する前に、Oracle Exadata System Softwareを更新し、RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新する必要があります。RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新するには、ダウンタイムが必要です。

ノート:

その他の背景情報は、X8Mラックのマルチラック配線の理解およびX9Mラックのマルチラック配線の理解を参照してください。

この手順を使用して、通常のX8Mラックを停止時間なしで拡張するには、X9Mラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。

次に、手順の概要を示します。

  • 準備(ステップ1と2)

    このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。

  • 構成および物理的な配線

    このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。

    • 下位リーフ・スイッチの部分的な構成(ステップ3)

      このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。

    • 上位リーフ・スイッチの部分的な構成(ステップ4)

      このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。

    • 下位リーフ・スイッチの完了(ステップ5)

      このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。

    • 上位リーフ・スイッチの完了(ステップ6)

      このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。

  • 検証とテスト(ステップ7および8)

    このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。

手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。

ノート:

  • この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。

    • スイッチ間ポートはポート4から7、ポート30から33です。

    • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。

    • データベース・サーバー・ポートはポート15から22です。

    他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えた8ソケット・システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。

  • この手順では、次のネーミングの略称および表記規則を使用します。

    • 既存のX8Mラックの略称はR1で、新しいX9Mラックの略称はR2です。

    • LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。

    • SSはスパイン・スイッチを識別します。

    • 特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。

  • ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。

    ヒント:

    ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。

  • 操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。

  • RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。

  1. システムを準備します。
    1. 物理的に既存のX8Mラック(R1)の近くに新しいX9Mラック(R2)を配置します。

      RDMAネットワーク・ファブリック・ケーブルは、各ラックのスイッチに到達できる必要があります。

      必要なクロスラック配線情報の詳細は、X8MラックとX9Mラックを組み合せるシステムのための2ラック配線を参照してください。

    2. 新しいラック(R2)のすべてのサーバーおよびネットワーク・スイッチの電源をオンにします。

      これには、データベース・サーバー、ストレージ・サーバー、RoCEネットワーク・ファブリック・リーフ・スイッチおよび管理ネットワーク・スイッチが含まれます。

    3. ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを準備します。

      すべてのケーブルの両端にラベルを付けます。

      必要なクロスラック配線情報の詳細は、X8MラックとX9Mラックを組み合せるシステムのための2ラック配線を参照してください。

    4. 新しいラック(R2)を既存の管理ネットワークに接続します。

      ラック間でIPアドレスの競合がないこと、およびRoCEネットワーク・ファブリック・スイッチ上の管理インタフェースにアクセスできることを確認します。

    5. 各RoCEネットワーク・ファブリック・スイッチ(R1LL、R1UL、R2LLおよびR2UL)の現在のスイッチ構成のバックアップがあることを確認します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

    6. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルをダウンロードします。

      この手順では、My Oracle Supportのドキュメント2704997.1からダウンロードする必要がある特定のRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。

      警告:

      システムでExadata Secure RDMA Fabric Isolationが使用されているかどうかに応じて、異なるスイッチ構成ファイルを使用する必要があります。システム構成に一致する正しいアーカイブをダウンロードしてください。

      Secure Fabricを使用しないシステム構成の場合は、online_multi-rack_8and14uplinks.zipをダウンロードします。Secure Fabricを使用するシステム構成の場合は、online_SF_enabled_multi-rack_8and14uplinks.zipをダウンロードします。

      必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを含むアーカイブをダウンロードして抽出します。RoCEネットワーク・ファブリック・スイッチ上の管理インタフェースへのアクセス権を持つサーバーにファイルを配置します。

    7. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを両方のラックのリーフ・スイッチにコピーします。

      次のコマンドを使用して、Secure Fabricが有効になっていないシステム上のすべてのRoCEネットワーク・ファブリック・スイッチに、必要な構成ファイルをコピーできます。 

      1. # scp roce_multi_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_multi_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_multi_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/

      Secure Fabricが有効になっているシステムでは、次のコマンドを使用できます。 

      1. # scp roce_SF_multi_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_SF_multi_14uplinks_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_SF_multi_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_SF_multi_14uplinks_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_SF_multi_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_SF_multi_14uplinks_online_step5.cfg admin@R2LL_IP:/

      前述のコマンドで、必要に応じて、適切なIPアドレスまたはホスト名を置き換えます。たとえば、R1LL_IPのかわりに、既存のラック(R1)の下位リーフ・スイッチ(LL)を管理IPアドレスまたはホスト名に置き換えます。

      ノート:

      この手順の残りの部分のコマンド例では、Secure Fabricが有効になっていないシステム構成の構成ファイルを使用します。必要に応じて、Secure Fabric対応のスイッチ構成ファイルを使用するようにコマンドを調整します。
    8. すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でファームウェアを最新の使用可能なリリースに更新します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

    9. RoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)を調べて、ケーブル接続されたポートのポート・カテゴリを確認します。

      すべてのRoCEネットワーク・ファブリック・リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R1UL# show interface status
      3. R2LL# show interface status
      4. R2UL# show interface status

      出力を調べて、次のようにポート・カテゴリを確認します。

      • スイッチ間ポートはポート4から7、ポート30から33であることを確認します。

      • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29であることを確認します。

      • データベース・サーバー・ポートはポート15から22であることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    10. ラック(R1およびR2)ごとに、verify_roce_cables.pyスクリプトを実行してRoCEネットワーク・ファブリックの配線を確認します。

      verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

      ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

      両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

      1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
      2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

      CABLE OK?列の出力にOKステータスが含まれていることを確認します。

      次の例は、予想されるコマンド結果を示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)               LOWER LEAF (rack1sw-rocea0) : CABLE OK?             UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------          -------------------------------- : --------         -------------------------------- : ---------
    Eth1/4 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/4 : OK                     rack1sw-roceb0 Ethernet1/4 : OK
    Eth1/5 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/5 : OK                     rack1sw-roceb0 Ethernet1/5 : OK
    Eth1/6 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/6 : OK                     rack1sw-roceb0 Ethernet1/6 : OK
    Eth1/7 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/7 : OK                     rack1sw-roceb0 Ethernet1/7 : OK
    Eth1/8 (RU39)              :                 rack1celadm14 port-1 : OK                           rack1celadm14 port-2 : OK
    Eth1/9 (RU37)              :                 rack1celadm13 port-1 : OK                           rack1celadm13 port-2 : OK
   Eth1/10 (RU35)              :                 rack1celadm12 port-1 : OK                           rack1celadm12 port-2 : OK
   Eth1/11 (RU33)              :                 rack1celadm11 port-1 : OK                           rack1celadm11 port-2 : OK
   Eth1/12 (RU31)              :                 rack1celadm10 port-1 : OK                           rack1celadm10 port-2 : OK
   Eth1/13 (RU29)              :                 rack1celadm09 port-1 : OK                           rack1celadm09 port-2 : OK
   Eth1/14 (RU27)              :                 rack1celadm08 port-1 : OK                           rack1celadm08 port-2 : OK
   Eth1/15 (RU26)              :                    rack1adm08 port-1 : OK                              rack1adm08 port-2 : OK
   Eth1/16 (RU25)              :                    rack1adm07 port-1 : OK                              rack1adm07 port-2 : OK
   Eth1/17 (RU24)              :                    rack1adm06 port-1 : OK                              rack1adm06 port-2 : OK
   Eth1/18 (RU23)              :                    rack1adm05 port-1 : OK                              rack1adm05 port-2 : OK
   Eth1/19 (RU19)              :                    rack1adm04 port-1 : OK                              rack1adm04 port-2 : OK
   Eth1/20 (RU18)              :                    rack1adm03 port-1 : OK                              rack1adm03 port-2 : OK
   Eth1/21 (RU17)              :                    rack1adm02 port-1 : OK                              rack1adm02 port-2 : OK
   Eth1/22 (RU16)              :                    rack1adm01 port-1 : OK                              rack1adm01 port-2 : OK
   Eth1/23 (RU14)              :                 rack1celadm07 port-1 : OK                           rack1celadm07 port-2 : OK
   Eth1/24 (RU12)              :                 rack1celadm06 port-1 : OK                           rack1celadm06 port-2 : OK
   Eth1/25 (RU10)              :                 rack1celadm05 port-1 : OK                           rack1celadm05 port-2 : OK
   Eth1/26 (RU08)              :                 rack1celadm04 port-1 : OK                           rack1celadm04 port-2 : OK
   Eth1/27 (RU06)              :                 rack1celadm03 port-1 : OK                           rack1celadm03 port-2 : OK
   Eth1/28 (RU04)              :                 rack1celadm02 port-1 : OK                           rack1celadm02 port-2 : OK
   Eth1/29 (RU02)              :                 rack1celadm01 port-1 : OK                           rack1celadm01 port-2 : OK
   Eth1/30 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/30 : OK                    rack1sw-roceb0 Ethernet1/30 : OK
   Eth1/31 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/31 : OK                    rack1sw-roceb0 Ethernet1/31 : OK
   Eth1/32 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/32 : OK                    rack1sw-roceb0 Ethernet1/32 : OK
   Eth1/33 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/33 : OK                    rack1sw-roceb0 Ethernet1/33 : OK
    11. ラック(R1およびR2)ごとに、infinicheckコマンドを使用してRoCEネットワーク・ファブリック操作を検証します。

      • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。

      • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。

      • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。

      各コマンドのホスト入力ファイル(hosts.rack1およびhosts.rack2)には、データベース・サーバーのホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のカンマ区切りリストが含まれ、セルの入力ファイル(cells.rack1およびcells.rack2)には、ストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。

      1. 既存のラック(R1)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -b

      2. 新しいラック(R2)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -b

      次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rackN -c cells.rackN -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  2. スパイン・スイッチ(R1SSおよびR2SS)を取り付けます。
    1. 既存のラック(R1SS)および新しいラック(R2SS)にスパイン・スイッチを物理的に設置して電源を投入します。

      1. 各スパイン・スイッチをRU1に物理的に設置します。

      2. スパイン・スイッチごとに、管理イーサネット・インタフェースが管理ネットワークに接続されていることを確認し、電源を供給します。

      3. 各スパイン・スイッチで、Cisco Nexus C9336C-FX2スイッチの構成で説明した初期構成のステップを実行します。後で実行するため、ゴールデン構成設定を適用するステップをスキップします。

      4. スパイン・スイッチごとに、管理イーサネット・インタフェースに対してpingテストを実行し、スイッチがオンラインでアクセス可能であることを確認します。

    2. ゴールデン構成設定を新しいスパイン・スイッチに適用します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用を参照してください。

      以前(ステップ1.h)にリーフ・スイッチのファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      次のいずれかのpatchmgrコマンドを使用して、スイッチ・リスト・ファイル(spines.lst)を使用して、ゴールデン構成設定を両方のスパイン・スイッチに適用します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --apply-config -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    3. スパイン・スイッチのファームウェアをアップグレードします。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

      前のステップで使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(spines.lst)を使用し、次のいずれかのpatchmgrコマンドを使用して両方のスパイン・スイッチでファームウェアのアップグレードを実行します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --upgrade -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    4. RoCEネットワーク・ファブリック・ケーブルをスパイン・スイッチ(R1SSおよびR2SS)に接続します。

      警告:

      この段階では、ケーブルはスパイン・スイッチにのみ接続します。

      後で混乱を回避するため、各ケーブルが正しいスイッチおよびポートに接続されていることを確認します。

      いずれのケーブルもリーフ・スイッチに接続しないでください。

      以前(ステップ1.c)に準備したケーブルを使用します。

      必要なクロスラック配線情報の詳細は、X8MラックとX9Mラックを組み合せるシステムのための2ラック配線を参照してください。

  3. 下位リーフ・スイッチ(R1LLおよびR2LL)で構成の最初のラウンドを実行します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    ノート:

    このステップの間、下位リーフ・スイッチ・ポートが停止されます。R1LLポートが停止している間、R1ULはRoCEネットワーク・ファブリックのみをサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1ULが停止した場合は可用性を維持できません。

    1. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ・ポートを停止します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/4-33
R1LL(config-if-range)# shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLの場合:

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/1-36
R2LL(config-if-range)# shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    2. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1LLでは、スイッチ構成ファイル名はstep3_R1_LL.cfgで終わる必要があります。 

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_online_step3_R1_LL.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでは、スイッチ構成ファイル名はstep3_R2_LL.cfgで終わる必要があります。 

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step3_R2_LL.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    3. 下位リーフ・スイッチ(R1LLおよびR2LL)でスイッチ間ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/4-7, ethernet 1/30-33
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLの場合:

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    4. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    5. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ間ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    6. 下位リーフ・スイッチ(R1LLおよびR2LL)でストレージ・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    7. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    8. 下位リーフ・スイッチ(R1LLおよびR2LL)のストレージ・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    9. 下位リーフ・スイッチ(R1LLおよびR2LL)でデータベース・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/15-22
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/15-22
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    10. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    11. 下位リーフ・スイッチ(R1LLおよびR2LL)のデータベース・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --

    ノート:

    続行する前に、両方の下位リーフ・スイッチ(R1LLおよびR2LL)でステップ3のすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

  4. 上位リーフ・スイッチ(R1ULおよびR2UL)で構成の最初のラウンドを実行します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    ノート:

    このステップの開始時に、上位リーフ・スイッチ・ポートが停止されます。R1ULポートが停止している間、R1LLは既存のラックのRoCEネットワーク・ファブリックを排他的にサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1LLが停止した場合は可用性を維持できません。

    1. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を停止します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/4-33
R1UL(config-if-range)# shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULの場合:

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/1-36
R2UL(config-if-range)# shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 両方のラックで、リーフ・スイッチ(R1LLからR1UL、およびR2LLからR2UL)間のスイッチ間リンクを削除します。

      すべてのリーフ・スイッチで、スイッチ間リンクのケーブルを取り外します。

      1. R1LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      2. R1ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      3. R2LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      4. R2ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

    3. 両方のラックで、上位リーフ・スイッチを両方のスパイン・スイッチに配線します(R1ULおよびR2ULからR1SSおよびR2SS)。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      X8MラックとX9Mラックを組み合せるシステムのための2ラック配線の説明に従って、スイッチを配線します。

      1. R1ULの場合、ポート04、05、06、07、30、31、32および33をR1SSおよびR2SSに配線します。

      2. R2ULの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    4. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1ULでは、スイッチ構成ファイル名はstep4_R1_UL.cfgで終わる必要があります。 

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# run-script bootflash:///roce_multi_online_step4_R1_UL.cfg | grep 'none'
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでは、スイッチ構成ファイル名はstep4_R2_UL.cfgで終わる必要があります。 

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# run-script bootflash:///roce_multi_14uplinks_online_step4_R2_UL.cfg | grep 'none'
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    5. 上位リーフ・スイッチ(R1ULおよびR2UL)のRoCEネットワーク・ファブリック・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがdisabledであることを確認します。

      次の例は、X9Mラック(R2UL)で予想される出力を示しています。X8Mラック(R1UL)では、ポート01、02、03、34、35および36は物理的に接続されていません。 

      R2UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       disabled  routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       disabled  routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --

      ノート:

      続行する前に、両方の上位リーフ・スイッチ(R1ULおよびR2UL)で、ステップ4のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    6. 上位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ul.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の上位リーフ・スイッチを確認します。 

      # cat ul.lst
R1UL_IP:mleaf.102
R2UL_IP:mleaf_u14.104

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleafおよびmsfleaf_u14タグを使用します。 

      # cat ul.lst
R1UL_IP:msfleaf.102
R2UL_IP:msfleaf_u14.104

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:40:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:40:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:40:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:40:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:40:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:32 -0700        :INFO   : config attempted on nodes in file ul.lst: [R1UL_IP R2UL_IP]
2020-08-10 13:40:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:40:32 -0700        :INFO   : Exit status:0
2020-08-10 13:40:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の上位リーフ・スイッチに適していることを確認します。停止しているポートに関するメッセージは無視してかまいません。

  5. 下位リーフ・スイッチ(R1LLおよびR2LL)の構成を完了します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    1. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      下位リーフ・スイッチ(R1LLおよびR2LL)の両方で次のコマンド・シーケンスを実行します。

      以前(ステップ1.g)にスイッチにコピーした正しいスイッチ構成ファイルを使用する必要があります。このステップでは、構成ファイル名はstep5.cfgで終わる必要があります。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_online_step5.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLの場合:

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_14uplinks_online_step5.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    2. 両方のラックで、下位リーフ・スイッチを両方のスパイン・スイッチ(R1LLおよびR2LLからR1SSおよびR2SS)に配線します。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      X8MラックとX9Mラックを組み合せるシステムのための2ラック配線の説明に従って、スイッチを配線します。

      1. R1LLの場合、ポート04、05、06、07、30、31、32および33をR1SSおよびR2SSに配線します。

      2. R2LLの場合、ポート01、02、03、04、05、06、07、30、31、32、33、34、35および36をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    3. 下位リーフ・スイッチで、配線されたすべてのRoCEネットワーク・ファブリック・ポート(R1LLおよびR2LL)が接続されていることを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがconnectedであることを確認します。

      次の例は、X9Mラック(R2LL)で予想される出力を示しています。X8Mラック(R1LL)では、ポート01、02、03、34、35および36は物理的に接続されていません。 

      R2LL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --

      ノート:

      続行する前に、下位の両方のリーフ・スイッチ(R1LLおよびR2LL)で、ステップ5のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    4. 下位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ll.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の下位リーフ・スイッチを確認します。 

      # cat ll.lst
R1LL_IP:mleaf.101
R2LL_IP:mleaf_u14.103

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleafおよびmsfleaf_u14タグを使用します。 

      # cat ll.lst
R1LL_IP:msfleaf.101
R2LL_IP:msfleaf_u14.103

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:45:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:45:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:45:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:45:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:45:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:32 -0700        :INFO   : config attempted on nodes in file ll.lst: [R1LL_IP R2LL_IP]
2020-08-10 13:45:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:45:32 -0700        :INFO   : Exit status:0
2020-08-10 13:45:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の下位リーフ・スイッチに適していることを確認します。

    5. nveが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R2LL# show nve peers

      この時点で、State=Upを持つnveピアが1つ表示されます。

      次に例を示します。

      R1LL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.103    Up        CP 00:04:29               n/a
    6. BGPが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show logging log | grep BGP
      2. R2LL# show logging log | grep BGP

      異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      次に例を示します。

      R1LL# show logging log | grep BGP
2020 Aug 10 13:47:13 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:47:24 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.202 Up
  6. 上位リーフ・スイッチ(R1ULおよびR2UL)の構成を完了します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    1. 上位リーフ・スイッチ(R1ULおよびR2UL)でスイッチ間ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/4-7, ethernet 1/30-33
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULの場合:

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/1-7, ethernet 1/30-36
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    3. 上位リーフ・スイッチ(R1ULおよびR2UL)のスイッチ間ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      次の例は、X9Mラック(R2UL)で予想される出力を示しています。X8Mラック(R1UL)では、ポート01、02、03、34、35および36は物理的に接続されていません。 

      R2UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    4. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    5. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    6. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      次の例は、X9Mラック(R2UL)で予想される出力を示しています。X8Mラック(R1UL)では、ポート01、02、03、34、35および36は物理的に接続されていません。 

      R2UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              disabled  3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    7. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/15-22
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/15-22
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    8. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    9. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      次の例は、X9Mラック(R2UL)で予想される出力を示しています。X8Mラック(R1UL)では、ポート01、02、03、34、35および36は物理的に接続されていません。 

      R2UL# show interface status

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
mgmt0         --                 connected routed    full 1000    -- 

-------------------------------------------------------------------------------- 
Port          Name               Status    Vlan      Duplex Speed   Type 
-------------------------------------------------------------------------------- 
Eth1/1        RouterPort1        connected routed    full 100G    QSFP-100G-CR4 
Eth1/2        RouterPort2        connected routed    full 100G    QSFP-100G-CR4 
Eth1/3        RouterPort3        connected routed    full 100G    QSFP-100G-CR4 
Eth1/4        RouterPort4        connected routed    full 100G    QSFP-100G-CR4 
Eth1/5        RouterPort5        connected routed    full 100G    QSFP-100G-CR4 
Eth1/6        RouterPort6        connected routed    full 100G    QSFP-100G-CR4 
Eth1/7        RouterPort7        connected routed    full 100G    QSFP-100G-CR4 
Eth1/8        celadm14           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/9        celadm13           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/10       celadm12           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/11       celadm11           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/12       celadm10           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/13       celadm09           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/14       celadm08           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/15       adm08              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/16       adm07              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/17       adm06              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/18       adm05              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/19       adm04              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/20       adm03              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/21       adm02              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/22       adm01              connected 3888      full 100G    QSFP-100G-CR4 
Eth1/23       celadm07           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/24       celadm06           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/25       celadm05           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/26       celadm04           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/27       celadm03           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/28       celadm02           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/29       celadm01           connected 3888      full 100G    QSFP-100G-CR4 
Eth1/30       RouterPort8        connected routed    full 100G    QSFP-100G-CR4 
Eth1/31       RouterPort9        connected routed    full 100G    QSFP-100G-CR4 
Eth1/32       RouterPort10       connected routed    full 100G    QSFP-100G-CR4 
Eth1/33       RouterPort11       connected routed    full 100G    QSFP-100G-CR4 
Eth1/34       RouterPort12       connected routed    full 100G    QSFP-100G-CR4 
Eth1/35       RouterPort13       connected routed    full 100G    QSFP-100G-CR4 
Eth1/36       RouterPort14       connected routed    full 100G    QSFP-100G-CR4 
Lo0           Routing loopback i connected routed    auto auto    -- 
Lo1           VTEP loopback inte connected routed    auto auto    -- 
Vlan1         --                 down      routed    auto auto    -- 
nve1          --                 connected --        auto auto    --
    10. リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でnveが稼働していることを確認します。

      各リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R1UL# show nve peers
      3. R2LL# show nve peers
      4. R2UL# show nve peers

      出力には、State=Upを持つnveピアが3つ表示されます。

      次に例を示します。

      R1UL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.101    Up        CP 00:04:29               n/a
nve1         100.64.1.103    Up        CP 00:07:48               n/a
nve1         100.64.1.104    Up        CP 00:04:10               n/a
    11. BGPが上位リーフ・スイッチ(R1ULおよびR2UL)で稼働していることを確認します。

      各上位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1UL# show logging log | grep BGP
      2. R2UL# show logging log | grep BGP

      出力で、異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      次に例を示します。

      R1UL# show logging log | grep BGP
2020 Aug 10 13:57:13 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:57:24 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.202 Up
  7. 各ラック(R1およびR2)で、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

    両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

    X8MラックとX9Mラックを組み合せるシステムのための2ラック配線の表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    次の例は、予想されるコマンド結果の抽出を示します。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack1sw-rocea0) : CABLE OK?  UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
...
    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack2sw-rocea0) : CABLE OK?  UPPER LEAF (rack2sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
...
  8. infinicheckコマンドを使用して、インターコネクトされた両方のラック間のRoCEネットワーク・ファブリック操作を検証します。

    次の推奨されるコマンド・シーケンスを使用して、両方のラック間のRoCEネットワーク・ファブリック操作を確認します。

    各コマンドのhosts.allには両方のラックのデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のカンマ区切りリストが含まれ、cells.allには両方のラックのストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -z
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -s
    3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

    各infinicheckコマンドの詳細は、ステップ1.kを参照してください。

    次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...

この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。新しいハードウェアの構成を参照してください。

2.3.2.1.2.1 X8MラックとX9Mラックを組み合せるシステムのための2ラック配線

この項では、どちらもRoCEネットワーク・ファブリックを使用しているX8MラックとX9Mラックを接続するためのケーブル配線の詳細について説明します。

ノート:

  • 複数のラックをまとめて配線するための配線表記では、次の表記規則が使用されています。

    • 最初(X8M)のラックの略称はR1で、2番目(X9M)のラックの略称はR2です。

    • LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。

    • SSは、すべてのラックのU1にあるスパイン・スイッチを識別します。

    • 特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは最初のラック(R1)の下位リーフ・スイッチ(LL)を識別します。

  • リーフ・スイッチは次の場所にあります。

    • 2ソケット・システム(Exadata Database Machine X8M-2またはX9M-2、またはStorage Expansion Rack X8M-2またはX9M-2)のラック・ユニット20 (U20)および22 (U22)。

    • 8ソケット・システム(Exadata Database Machine X8M-8またはX9M-8)のラック・ユニット21 (U21)およびラック・ユニット23 (U23)。

  • 次のリストに示すケーブル長は、ラックが相互に隣接していること、ケーブルが上げ床を経由して配線されていること、およびラック間の配線に障害物がないことを前提としています。ラックが隣接していないか、頭上の配線トレイを使用している場合は、長いケーブル長が必要になる場合があります。100メートルまでのケーブル長がサポートされています。

  • 5mを超える長さでサポートされているのは、光ケーブル(追加のトランシーバを使用)のみです。

次の図は、2ラック・ハイブリッド・システムをX8MラックおよびX9Mラックと配線する場合のスパイン・スイッチのケーブル接続を示しています。


x8m-x9m-2-rack.epsの説明が続きます
図x8m-x9m-2-rack.epsの説明

次の表に、X8MラックとX9Mラックを備えた2ラック・ハイブリッド・システム内のすべてのRoCEネットワーク・ファブリック配線接続の詳細を示します。

表2-3 X8Mラック(R1)のリーフ・スイッチ接続

リーフ・スイッチ 接続 ケーブル長

R1ULからR1SS

R1UL-P5からR1SS-P5

R1UL-P7からR1SS-P7

R1UL-P4からR1SS-P9

R1UL-P6からR1SS-P11

3メートル

R1ULからR2SS

R1UL-P31からR2SS-P5

R1UL-P33からR2SS-P7

R1UL-P30からR2SS-P9

R1UL-P32からR2SS-P11

5メートル

R1LLからR1SS

R1LL-P5からR1SS-P13

R1LL-P7からR1SS-P15

R1LL-P4からR1SS-P17

R1LL-P6からR1SS-P19

3メートル

R1LLからR2SS

R1LL-P31からR2SS-P13

R1LL-P33からR2SS-P15

R1LL-P30からR2SS-P17

R1LL-P32からR2SS-P19

5メートル

表2-4 X9Mラック(R2)のリーフ・スイッチ接続

スイッチ・ペア 接続 ケーブル長

R2ULからR1SS

R2UL-P1からR1SS-P6

R2UL-P2からR1SS-P8

R2UL-P3からR1SS-P10

R2UL-P4からR1SS-P12

R2UL-P5からR1SS-P14

R2UL-P6からR1SS-P16

R2UL-P7からR1SS-P18

5メートル

R2ULからR2SS

R2UL-P30からR2SS-P6

R2UL-P31からR2SS-P8

R2UL-P32からR2SS-P10

R2UL-P33からR2SS-P12

R2UL-P34からR2SS-P14

R2UL-P35からR2SS-P16

R2UL-P36からR2SS-P18

3メートル

R2LLからR1SS

R2LL-P1からR1SS-P20

R2LL-P2からR1SS-P22

R2LL-P3からR1SS-P24

R2LL-P4からR1SS-P26

R2LL-P5からR1SS-P28

R2LL-P6からR1SS-P30

R2LL-P7からR1SS-P32

5メートル

R2LLからR2SS

R2LL-P30からR2SS-P20

R2LL-P31からR2SS-P22

R2LL-P32からR2SS-P24

R2LL-P33からR2SS-P26

R2LL-P34からR2SS-P28

R2LL-P35からR2SS-P30

R2LL-P36からR2SS-P32

3メートル
2.3.2.1.3 別のX8Mラックの追加による停止時間なしのX8Mラックの拡張

警告:

実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。

ノート:

この手順では、X8Mラック上のRoCEネットワーク・ファブリック・スイッチに、Oracle Exadata System Software 20.1.0以降からのゴールデン構成設定が含まれていることを前提としています。それ以外の場合は、この手順を使用する前に、Oracle Exadata System Softwareを更新し、RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新する必要があります。RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新するには、ダウンタイムが必要です。

ノート:

その他の背景情報は、X8Mラックのマルチラック配線の理解を参照してください。

この手順を使用して、通常のX8Mラックを停止時間なしで拡張するには、別のX8Mラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。

次に、手順の概要を示します。

  • 準備(ステップ1と2)

    このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。

  • 構成および物理的な配線

    このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。

    • 下位リーフ・スイッチの部分的な構成(ステップ3)

      このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。

    • 上位リーフ・スイッチの部分的な構成(ステップ4)

      このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。

    • 下位リーフ・スイッチの完了(ステップ5)

      このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。

    • 上位リーフ・スイッチの完了(ステップ6)

      このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。

  • 検証とテスト(ステップ7および8)

    このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。

手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。

ノート:

  • この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。

    • スイッチ間ポートはポート4から7、ポート30から33です。

    • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。

    • データベース・サーバー・ポートはポート15から22です。

    他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えたX8M-8システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。

  • この手順では、次のネーミングの略称および表記規則を使用します。

    • 既存のラックの略称はR1で、新しいラックの略称はR2です。

    • LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。

    • SSはスパイン・スイッチを識別します。

    • 特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。

  • ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。

    ヒント:

    ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。

  • 操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。

  • RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。

  1. システムを準備します。
    1. 物理的に既存のラック(R1)の近くに新しいラック(R2)を配置します。

      RDMAネットワーク・ファブリック・ケーブルは、各ラックのスイッチに到達できる必要があります。

      必要なクロスラック配線の詳細は、X8Mラックの2ラック配線を参照してください。

    2. 新しいラック(R2)のすべてのサーバーおよびネットワーク・スイッチの電源をオンにします。

      これには、データベース・サーバー、ストレージ・サーバー、RoCEネットワーク・ファブリック・リーフ・スイッチおよび管理ネットワーク・スイッチが含まれます。

    3. ラックのインターコネクトに使用するRoCEネットワーク・ファブリック・ケーブルを準備します。

      すべてのケーブルの両端にラベルを付けます。

      必要なクロスラック配線の詳細は、X8Mラックの2ラック配線を参照してください。

    4. 新しいラック(R2)を既存の管理ネットワークに接続します。

      ラック間でIPアドレスの競合がないこと、およびRoCEネットワーク・ファブリック・スイッチ上の管理インタフェースにアクセスできることを確認します。

    5. 各RoCEネットワーク・ファブリック・スイッチ(R1LL、R1UL、R2LLおよびR2UL)の現在のスイッチ構成のバックアップがあることを確認します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

    6. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルをダウンロードします。

      この手順では、My Oracle Supportのドキュメント2704997.1からダウンロードする必要がある特定のRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。

      警告:

      システムでExadata Secure RDMA Fabric Isolationが使用されているかどうかに応じて、異なるスイッチ構成ファイルを使用する必要があります。システム構成に一致する正しいアーカイブをダウンロードしてください。

      Secure Fabricを使用しないシステム構成の場合は、online_multi-rack.zipをダウンロードします。Secure Fabricを使用するシステム構成の場合は、online_SF_enabled_multi-rack.zipをダウンロードします。

      必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを含むアーカイブをダウンロードして抽出します。RoCEネットワーク・ファブリック・スイッチ上の管理インタフェースへのアクセス権を持つサーバーにファイルを配置します。

    7. 必要なRoCEネットワーク・ファブリック・スイッチ構成ファイルを両方のラックのリーフ・スイッチにコピーします。

      次のコマンドを使用して、Secure Fabricが有効になっていないシステム上のすべてのRoCEネットワーク・ファブリック・スイッチに、必要な構成ファイルをコピーできます。 

      1. # scp roce_multi_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_multi_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_multi_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_multi_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_multi_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_multi_online_step5.cfg admin@R2LL_IP:/

      Secure Fabricが有効になっているシステムでは、次のコマンドを使用できます。 

      1. # scp roce_SF_multi_online_step3_R1_LL.cfg admin@R1LL_IP:/
      2. # scp roce_SF_multi_online_step3_R2_LL.cfg admin@R2LL_IP:/
      3. # scp roce_SF_multi_online_step4_R1_UL.cfg admin@R1UL_IP:/
      4. # scp roce_SF_multi_online_step4_R2_UL.cfg admin@R2UL_IP:/
      5. # scp roce_SF_multi_online_step5.cfg admin@R1LL_IP:/
      6. # scp roce_SF_multi_online_step5.cfg admin@R2LL_IP:/

      前述のコマンドで、必要に応じて、適切なIPアドレスまたはホスト名を置き換えます。たとえば、R1LL_IPのかわりに、既存のラック(R1)の下位リーフ・スイッチ(LL)を管理IPアドレスまたはホスト名に置き換えます。

      ノート:

      この手順の残りの部分のコマンド例では、Secure Fabricが有効になっていないシステム構成の構成ファイルを使用します。必要に応じて、Secure Fabric対応のスイッチ構成ファイルを使用するようにコマンドを調整します。
    8. すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でファームウェアを最新の使用可能なリリースに更新します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

    9. RoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)を調べて、ケーブル接続されたポートのポート・カテゴリを確認します。

      すべてのRoCEネットワーク・ファブリック・リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R1UL# show interface status
      3. R2LL# show interface status
      4. R2UL# show interface status

      出力を調べて、次のようにポート・カテゴリを確認します。

      • スイッチ間ポートはポート4から7、ポート30から33であることを確認します。

      • ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29であることを確認します。

      • データベース・サーバー・ポートはポート15から22であることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    10. ラック(R1およびR2)ごとに、verify_roce_cables.pyスクリプトを実行してRoCEネットワーク・ファブリックの配線を確認します。

      verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

      ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

      両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

      1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
      2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

      CABLE OK?列の出力にOKステータスが含まれていることを確認します。

      次の例は、予想されるコマンド結果を示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)               LOWER LEAF (rack1sw-rocea0) : CABLE OK?             UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------          -------------------------------- : --------         -------------------------------- : ---------
    Eth1/4 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/4 : OK                     rack1sw-roceb0 Ethernet1/4 : OK
    Eth1/5 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/5 : OK                     rack1sw-roceb0 Ethernet1/5 : OK
    Eth1/6 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/6 : OK                     rack1sw-roceb0 Ethernet1/6 : OK
    Eth1/7 (ISL peer switch)   :           rack1sw-rocea0 Ethernet1/7 : OK                     rack1sw-roceb0 Ethernet1/7 : OK
    Eth1/8 (RU39)              :                 rack1celadm14 port-1 : OK                           rack1celadm14 port-2 : OK
    Eth1/9 (RU37)              :                 rack1celadm13 port-1 : OK                           rack1celadm13 port-2 : OK
   Eth1/10 (RU35)              :                 rack1celadm12 port-1 : OK                           rack1celadm12 port-2 : OK
   Eth1/11 (RU33)              :                 rack1celadm11 port-1 : OK                           rack1celadm11 port-2 : OK
   Eth1/12 (RU31)              :                 rack1celadm10 port-1 : OK                           rack1celadm10 port-2 : OK
   Eth1/13 (RU29)              :                 rack1celadm09 port-1 : OK                           rack1celadm09 port-2 : OK
   Eth1/14 (RU27)              :                 rack1celadm08 port-1 : OK                           rack1celadm08 port-2 : OK
   Eth1/15 (RU26)              :                    rack1adm08 port-1 : OK                              rack1adm08 port-2 : OK
   Eth1/16 (RU25)              :                    rack1adm07 port-1 : OK                              rack1adm07 port-2 : OK
   Eth1/17 (RU24)              :                    rack1adm06 port-1 : OK                              rack1adm06 port-2 : OK
   Eth1/18 (RU23)              :                    rack1adm05 port-1 : OK                              rack1adm05 port-2 : OK
   Eth1/19 (RU19)              :                    rack1adm04 port-1 : OK                              rack1adm04 port-2 : OK
   Eth1/20 (RU18)              :                    rack1adm03 port-1 : OK                              rack1adm03 port-2 : OK
   Eth1/21 (RU17)              :                    rack1adm02 port-1 : OK                              rack1adm02 port-2 : OK
   Eth1/22 (RU16)              :                    rack1adm01 port-1 : OK                              rack1adm01 port-2 : OK
   Eth1/23 (RU14)              :                 rack1celadm07 port-1 : OK                           rack1celadm07 port-2 : OK
   Eth1/24 (RU12)              :                 rack1celadm06 port-1 : OK                           rack1celadm06 port-2 : OK
   Eth1/25 (RU10)              :                 rack1celadm05 port-1 : OK                           rack1celadm05 port-2 : OK
   Eth1/26 (RU08)              :                 rack1celadm04 port-1 : OK                           rack1celadm04 port-2 : OK
   Eth1/27 (RU06)              :                 rack1celadm03 port-1 : OK                           rack1celadm03 port-2 : OK
   Eth1/28 (RU04)              :                 rack1celadm02 port-1 : OK                           rack1celadm02 port-2 : OK
   Eth1/29 (RU02)              :                 rack1celadm01 port-1 : OK                           rack1celadm01 port-2 : OK
   Eth1/30 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/30 : OK                    rack1sw-roceb0 Ethernet1/30 : OK
   Eth1/31 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/31 : OK                    rack1sw-roceb0 Ethernet1/31 : OK
   Eth1/32 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/32 : OK                    rack1sw-roceb0 Ethernet1/32 : OK
   Eth1/33 (ISL peer switch)   :          rack1sw-rocea0 Ethernet1/33 : OK                    rack1sw-roceb0 Ethernet1/33 : OK
    11. ラック(R1およびR2)ごとに、infinicheckコマンドを使用してRoCEネットワーク・ファブリック操作を検証します。

      • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。

      • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。

      • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。

      各コマンドのホスト入力ファイル(hosts.rack1およびhosts.rack2)には、データベース・サーバーのホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のカンマ区切りリストが含まれ、セルの入力ファイル(cells.rack1およびcells.rack2)には、ストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。

      1. 既存のラック(R1)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack1 -c cells.rack1 -b

      2. 新しいラック(R2)で次の推奨コマンド・シーケンスを使用します。

        1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -z
        2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -s
        3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rack2 -c cells.rack2 -b

      次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

      # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.rackN -c cells.rackN -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  2. スパイン・スイッチ(R1SSおよびR2SS)を取り付けます。
    1. 既存のラック(R1SS)および新しいラック(R2SS)にスパイン・スイッチを物理的に設置して電源を投入します。

      1. 各スパイン・スイッチをRU1に物理的に設置します。

      2. スパイン・スイッチごとに、管理イーサネット・インタフェースが管理ネットワークに接続されていることを確認し、電源を供給します。

      3. 各スパイン・スイッチで、Cisco Nexus C9336C-FX2スイッチの構成で説明した初期構成のステップを実行します。後で実行するため、ゴールデン構成設定を適用するステップをスキップします。

      4. スパイン・スイッチごとに、管理イーサネット・インタフェースに対してpingテストを実行し、スイッチがオンラインでアクセス可能であることを確認します。

    2. ゴールデン構成設定を新しいスパイン・スイッチに適用します。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用を参照してください。

      以前(ステップ1.h)にリーフ・スイッチのファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      次のいずれかのpatchmgrコマンドを使用して、スイッチ・リスト・ファイル(spines.lst)を使用して、ゴールデン構成設定を両方のスパイン・スイッチに適用します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --apply-config -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    3. スパイン・スイッチのファームウェアをアップグレードします。

      Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

      前のステップで使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(spines.lst)を使用し、次のいずれかのpatchmgrコマンドを使用して両方のスパイン・スイッチでファームウェアのアップグレードを実行します。 

      # cat spines.lst
R1SS_IP:mspine.201
R2SS_IP:mspine.202

# ./patchmgr --roceswitches spines.lst --upgrade -log_dir /tmp/spinelogs

      ノート:

      スイッチ・リスト・ファイルで、R1SS_IPは既存のラック(R1SS)のスパイン・スイッチの管理IPアドレスまたはホスト名、R2SS_IPは新しいラック(R2SS)のスパイン・スイッチの管理IPアドレスまたはホスト名です。

    4. RoCEネットワーク・ファブリック・ケーブルをスパイン・スイッチ(R1SSおよびR2SS)に接続します。

      警告:

      この段階では、ケーブルはスパイン・スイッチにのみ接続します。

      後で混乱を回避するため、各ケーブルが正しいスイッチおよびポートに接続されていることを確認します。

      いずれのケーブルもリーフ・スイッチに接続しないでください。

      以前(ステップ1.c)に準備したケーブルを使用します。

      必要なクロスラック配線の詳細は、X8Mラックの2ラック配線を参照してください。

  3. 下位リーフ・スイッチ(R1LLおよびR2LL)で構成の最初のラウンドを実行します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    ノート:

    このステップの間、下位リーフ・スイッチ・ポートが停止されます。R1LLポートが停止している間、R1ULはRoCEネットワーク・ファブリックのみをサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1ULが停止した場合は可用性を維持できません。

    1. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ・ポートを停止します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/4-33
R1LL(config-if-range)# shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/4-33
R2LL(config-if-range)# shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    2. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1LLでは、スイッチ構成ファイル名はstep3_R1_LL.cfgで終わる必要があります。 

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_online_step3_R1_LL.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでは、スイッチ構成ファイル名はstep3_R2_LL.cfgで終わる必要があります。 

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_online_step3_R2_LL.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    3. 下位リーフ・スイッチ(R1LLおよびR2LL)でスイッチ間ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/4-7, ethernet 1/30-33
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/4-7, ethernet 1/30-33
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    4. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    5. 下位リーフ・スイッチ(R1LLおよびR2LL)のスイッチ間ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    6. 下位リーフ・スイッチ(R1LLおよびR2LL)でストレージ・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    7. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    8. 下位リーフ・スイッチ(R1LLおよびR2LL)のストレージ・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    9. 下位リーフ・スイッチ(R1LLおよびR2LL)でデータベース・サーバー・ポートを起動します。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# interface ethernet 1/15-22
R1LL(config-if-range)# no shut
R1LL(config-if-range)# exit
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# interface ethernet 1/15-22
R2LL(config-if-range)# no shut
R2LL(config-if-range)# exit
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#
    10. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    11. 下位リーフ・スイッチ(R1LLおよびR2LL)のデータベース・サーバー・ポートのステータスを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected trunk     full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected trunk     full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected trunk     full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected trunk     full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected trunk     full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected trunk     full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected trunk     full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected trunk     full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --

    ノート:

    続行する前に、両方の下位リーフ・スイッチ(R1LLおよびR2LL)でステップ3のすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

  4. 上位リーフ・スイッチ(R1ULおよびR2UL)で構成の最初のラウンドを実行します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    ノート:

    このステップの開始時に、上位リーフ・スイッチ・ポートが停止されます。R1ULポートが停止している間、R1LLは既存のラックのRoCEネットワーク・ファブリックを排他的にサポートします。この間、RoCEネットワーク・ファブリックに冗長性はなく、R1LLが停止した場合は可用性を維持できません。

    1. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を停止します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/4-33
R1UL(config-if-range)# shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/4-33
R2UL(config-if-range)# shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 両方のラックで、リーフ・スイッチ(R1LLからR1UL、およびR2LLからR2UL)間のスイッチ間リンクを削除します。

      すべてのリーフ・スイッチで、スイッチ間リンクのケーブルを取り外します。

      1. R1LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      2. R1ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      3. R2LLでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

      4. R2ULでは、スイッチ間リンクをポート04、05、06、07、30、31、32および33から切断します。

    3. 両方のラックで、上位リーフ・スイッチを両方のスパイン・スイッチに配線します(R1ULおよびR2ULからR1SSおよびR2SS)。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      X8Mラックの2ラック配線の説明に従って、スイッチを配線します。

      1. R1ULの場合、ポート04、05、06、07、30、31、32および33をR1SSおよびR2SSに配線します。

      2. R2ULの場合、ポート04、05、06、07、30、31、32および33をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    4. 上位リーフ・スイッチ・ポート(R1ULおよびR2UL)を再構成します。

      スイッチごとに、以前(ステップ1.g)にスイッチにコピーした、適切な対応するスイッチ構成ファイルを使用する必要があります。

      1. R1ULでは、スイッチ構成ファイル名はstep4_R1_UL.cfgで終わる必要があります。 

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# run-script bootflash:///roce_multi_online_step4_R1_UL.cfg | grep 'none'
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでは、スイッチ構成ファイル名はstep4_R2_UL.cfgで終わる必要があります。 

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# run-script bootflash:///roce_multi_online_step4_R2_UL.cfg | grep 'none'
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    5. 上位リーフ・スイッチ(R1ULおよびR2UL)のRoCEネットワーク・ファブリック・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがdisabledであることを確認します。

      次に例を示します。

      R1UL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        disabled  routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        disabled  routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        disabled  routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        disabled  routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/9        celadm13           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/10       celadm12           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/11       celadm11           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/12       celadm10           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/13       celadm09           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/14       celadm08           disabled  3888      full    100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full    100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full    100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full    100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full    100G    QSFP-100G-CR4
...

      ノート:

      続行する前に、両方の上位リーフ・スイッチ(R1ULおよびR2UL)で、ステップ4のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    6. 上位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ul.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の上位リーフ・スイッチを確認します。 

      # cat ul.lst
R1UL_IP:mleaf.102
R2UL_IP:mleaf.104

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleafタグを使用します。 

      # cat ul.lst
R1UL_IP:msfleaf.102
R2UL_IP:msfleaf.104

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:40:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:40:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:40:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:40:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:40:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ul.lst --verify-config -log_dir /tmp/log
2020-08-10 13:40:32 -0700        :INFO   : config attempted on nodes in file ul.lst: [R1UL_IP R2UL_IP]
2020-08-10 13:40:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:40:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:40:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:40:32 -0700        :INFO   : Exit status:0
2020-08-10 13:40:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の上位リーフ・スイッチに適していることを確認します。停止しているポートに関するメッセージは無視してかまいません。

  5. 下位リーフ・スイッチ(R1LLおよびR2LL)の構成を完了します。

    このステップは、下位リーフ・スイッチ(R1LLおよびR2LL)でのみ実行します。

    1. 下位リーフ・スイッチ・ポート(R1LLおよびR2LL)を再構成します。

      下位リーフ・スイッチ(R1LLおよびR2LL)の両方で次のコマンド・シーケンスを実行します。

      以前(ステップ1.g)にスイッチにコピーした正しいスイッチ構成ファイルを使用する必要があります。このステップでは、構成ファイル名はstep5.cfgで終わる必要があります。

      1. R1LLの場合:

        R1LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1LL(config)# run-script bootflash:///roce_multi_online_step5.cfg | grep 'none'
R1LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1LL(config)# <Ctrl-Z>
R1LL#

      2. R2LLでコマンド・シーケンスを繰り返します。

        R2LL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2LL(config)# run-script bootflash:///roce_multi_online_step5.cfg | grep 'none'
R2LL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2LL(config)# <Ctrl-Z>
R2LL#

      ノート:

      このステップは、各スイッチで約5分から8分かかることがあります。

    2. 両方のラックで、下位リーフ・スイッチを両方のスパイン・スイッチ(R1LLおよびR2LLからR1SSおよびR2SS)に配線します。

      以前(ステップ2.d)に準備したスパイン・スイッチからケーブルを接続します。

      X8Mラックの2ラック配線の説明に従って、スイッチを配線します。

      1. R1LLの場合、ポート04、05、06、07、30、31、32および33をR1SSおよびR2SSに配線します。

      2. R2LLの場合、ポート04、05、06、07、30、31、32および33をR1SSおよびR2SSに配線します。

      ノート:

      各ケーブルが両端の正しいスイッチおよびポートに接続されていることを確認します。各接続を物理的にチェックする以外に、各ネットワーク・スイッチでshow lldp neighborsコマンドを実行し、出力を調べて正しい接続を確認できます。各ケーブル接続を個別にチェックして、エラーをすばやく特定および修正できます。

    3. 下位リーフ・スイッチで、配線されたすべてのRoCEネットワーク・ファブリック・ポート(R1LLおよびR2LL)が接続されていることを確認します。

      各下位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1LL# show interface status
      2. R2LL# show interface status

      出力を調べて、すべてのケーブル接続されたポートがconnectedであることを確認します。

      次に例を示します。

      R1LL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full    100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full    100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full    100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full    100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full    100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full    100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full    100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full    100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full    100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full    100G    QSFP-100G-CR4
...

      ノート:

      続行する前に、下位の両方のリーフ・スイッチ(R1LLおよびR2LL)で、ステップ5のこの時点までのすべてのアクションが完了していることを確認します。そうでない場合は、戻って欠落しているアクションを実行してください。

    4. 下位リーフ・スイッチの構成を確認します。

      以前(ステップ1.h)にスイッチ・ファームウェアの更新に使用したpatchmgrのインスタンスを使用できます。

      スイッチ・リスト・ファイル(ll.lst)を使用し、次のpatchmgrコマンドのいずれかを使用して両方の下位リーフ・スイッチを確認します。 

      # cat ll.lst
R1LL_IP:mleaf.101
R2LL_IP:mleaf.103

      セキュア・ファブリックが有効になっているシステムでは、スイッチ・リスト・ファイルでmsfleafタグを使用します。 

      # cat ll.lst
R1LL_IP:msfleaf.101
R2LL_IP:msfleaf.103

      次に、推奨されるコマンドと予想される結果の例を示します。

      # ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:09 -0700        :Working: Initiating config verification... Expect up to 6 minutes for each switch
Mon Aug 10 13:45:13 PDT 2020 1 of 4 :Verifying config on switch ...
...
Mon Aug 10 13:45:32 PDT 2020:	  [INFO     ] Config matches template: ...
Mon Aug 10 13:45:32 PDT 2020:	  [SUCCESS  ] Config validation successful!
2020-08-10 13:45:32 -0700        
 Config check on RoCE switch(es)
2020-08-10 13:45:32 -0700        
 Completed run of command: ./patchmgr --roceswitches ll.lst --verify-config -log_dir /tmp/log
2020-08-10 13:45:32 -0700        :INFO   : config attempted on nodes in file ll.lst: [R1LL_IP R2LL_IP]
2020-08-10 13:45:32 -0700        :INFO   : For details, check the following files in /tmp/log:
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.log
2020-08-10 13:45:32 -0700        :INFO   :  - updateRoceSwitch.trc
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stdout
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.stderr
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.log
2020-08-10 13:45:32 -0700        :INFO   :  - patchmgr.trc
2020-08-10 13:45:32 -0700        :INFO   : Exit status:0
2020-08-10 13:45:32 -0700        :INFO   : Exiting.

      コマンド出力で、スイッチ構成が両方の下位リーフ・スイッチに適していることを確認します。

    5. nveが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R2LL# show nve peers

      この時点で、State=Upを持つnveピアが1つ表示されます。

      次に例を示します。

      R1LL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.103    Up        CP 00:04:29               n/a
    6. BGPが下位リーフ・スイッチ(R1LLおよびR2LL)で稼働していることを確認します。

      各下位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show logging log | grep BGP
      2. R2LL# show logging log | grep BGP

      異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      次に例を示します。

      R1LL# show logging log | grep BGP
2020 Aug 10 13:47:13 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:47:24 R1LL %BGP-5-ADJCHANGE: bgp- [29342] (default) neighbor 100.64.0.202 Up
  6. 上位リーフ・スイッチ(R1ULおよびR2UL)の構成を完了します。

    このステップは、上位リーフ・スイッチ(R1ULおよびR2UL)でのみ実行します。

    1. 上位リーフ・スイッチ(R1ULおよびR2UL)でスイッチ間ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/4-7, ethernet 1/30-33
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/4-7, ethernet 1/30-33
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    2. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    3. 上位リーフ・スイッチ(R1ULおよびR2UL)のスイッチ間ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、スイッチ間ポートがconnectedであることを確認します。

      次に例を示します。

      R1UL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected routed    full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected routed    full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected routed    full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected routed    full   100G    QSFP-100G-CR4
Eth1/8        celadm14           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           disabled  3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected routed    full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected routed    full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected routed    full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected routed    full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    4. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/8-14, ethernet 1/23-29
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    5. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    6. 上位リーフ・スイッチ(R1ULおよびR2UL)のストレージ・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、ストレージ・サーバーのポートがconnectedであることを確認します。

      次に例を示します。

      R1UL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected routed    full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected routed    full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected routed    full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected routed    full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              disabled  3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected routed    full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected routed    full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected routed    full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected routed    full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    7. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートを起動します。

      1. R1ULの場合:

        R1UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R1UL(config)# interface ethernet 1/15-22
R1UL(config-if-range)# no shut
R1UL(config-if-range)# exit
R1UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R1UL(config)# <Ctrl-Z>
R1UL#

      2. R2ULでコマンド・シーケンスを繰り返します。

        R2UL# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
R2UL(config)# interface ethernet 1/15-22
R2UL(config-if-range)# no shut
R2UL(config-if-range)# exit
R2UL(config)# copy running-config startup-config
[########################################] 100%
Copy complete, now saving to disk (please wait)...
Copy complete
R2UL(config)# <Ctrl-Z>
R2UL#
    8. 5分間待って、開始したポートが完全に動作していることを確認してから続行します。
    9. 上位リーフ・スイッチ(R1ULおよびR2UL)のデータベース・サーバー・ポートのステータスを確認します。

      各上位リーフ・スイッチでshow interface statusコマンドを実行します。 

      1. R1UL# show interface status
      2. R2UL# show interface status

      出力を調べて、データベース・サーバー・ポートがconnectedであることを確認します。

      次に例を示します。

      R1UL# show interface status

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full   1000    --

--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex Speed   Type
--------------------------------------------------------------------------------
Eth1/1        --                 xcvrAbsen 1         auto   auto    --
Eth1/2        --                 xcvrAbsen 1         auto   auto    --
Eth1/3        --                 xcvrAbsen 1         auto   auto    --
Eth1/4        ISL1               connected routed    full   100G    QSFP-100G-CR4
Eth1/5        ISL2               connected routed    full   100G    QSFP-100G-CR4
Eth1/6        ISL3               connected routed    full   100G    QSFP-100G-CR4
Eth1/7        ISL4               connected routed    full   100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full   100G    QSFP-100G-CR4
Eth1/9        celadm13           connected 3888      full   100G    QSFP-100G-CR4
Eth1/10       celadm12           connected 3888      full   100G    QSFP-100G-CR4
Eth1/11       celadm11           connected 3888      full   100G    QSFP-100G-CR4
Eth1/12       celadm10           connected 3888      full   100G    QSFP-100G-CR4
Eth1/13       celadm09           connected 3888      full   100G    QSFP-100G-CR4
Eth1/14       celadm08           connected 3888      full   100G    QSFP-100G-CR4
Eth1/15       adm08              connected 3888      full   100G    QSFP-100G-CR4
Eth1/16       adm07              connected 3888      full   100G    QSFP-100G-CR4
Eth1/17       adm06              connected 3888      full   100G    QSFP-100G-CR4
Eth1/18       adm05              connected 3888      full   100G    QSFP-100G-CR4
Eth1/19       adm04              connected 3888      full   100G    QSFP-100G-CR4
Eth1/20       adm03              connected 3888      full   100G    QSFP-100G-CR4
Eth1/21       adm02              connected 3888      full   100G    QSFP-100G-CR4
Eth1/22       adm01              connected 3888      full   100G    QSFP-100G-CR4
Eth1/23       celadm07           connected 3888      full   100G    QSFP-100G-CR4
Eth1/24       celadm06           connected 3888      full   100G    QSFP-100G-CR4
Eth1/25       celadm05           connected 3888      full   100G    QSFP-100G-CR4
Eth1/26       celadm04           connected 3888      full   100G    QSFP-100G-CR4
Eth1/27       celadm03           connected 3888      full   100G    QSFP-100G-CR4
Eth1/28       celadm02           connected 3888      full   100G    QSFP-100G-CR4
Eth1/29       celadm01           connected 3888      full   100G    QSFP-100G-CR4
Eth1/30       ISL5               connected routed    full   100G    QSFP-100G-CR4
Eth1/31       ISL6               connected routed    full   100G    QSFP-100G-CR4
Eth1/32       ISL7               connected routed    full   100G    QSFP-100G-CR4
Eth1/33       ISL8               connected routed    full   100G    QSFP-100G-CR4
Eth1/34       --                 xcvrAbsen 1         auto   auto    --
Eth1/35       --                 xcvrAbsen 1         auto   auto    --
Eth1/36       --                 xcvrAbsen 1         auto   auto    --
Po100         --                 connected trunk     full   100G    --
Lo0           Routing loopback i connected routed    auto   auto    --
Lo1           VTEP loopback inte connected routed    auto   auto    --
Vlan1         --                 down      routed    auto   auto    --
nve1          --                 connected --        auto   auto    --
    10. リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)でnveが稼働していることを確認します。

      各リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1LL# show nve peers
      2. R1UL# show nve peers
      3. R2LL# show nve peers
      4. R2UL# show nve peers

      出力には、State=Upを持つnveピアが3つ表示されます。

      次に例を示します。

      R1UL# show nve peers
Interface         Peer-IP State LearnType   Uptime        Router-Mac
--------- --------------- ----- --------- -------- -----------------
nve1         100.64.1.101    Up        CP 00:04:29               n/a
nve1         100.64.1.103    Up        CP 00:07:48               n/a
nve1         100.64.1.104    Up        CP 00:04:10               n/a
    11. BGPが上位リーフ・スイッチ(R1ULおよびR2UL)で稼働していることを確認します。

      各上位リーフ・スイッチで次のコマンドを実行し、出力を調べます。

      1. R1UL# show logging log | grep BGP
      2. R2UL# show logging log | grep BGP

      出力で、異なるIPアドレスに関連付けられている右端の列にUpがある2つのエントリを探します。

      次に例を示します。

      R1UL# show logging log | grep BGP
2020 Aug 10 13:57:13 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.201 Up 
2020 Aug 10 13:57:24 R1UL %BGP-5-ADJCHANGE: bgp- [32782] (default) neighbor 100.64.0.202 Up
  7. 各ラック(R1およびR2)で、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    verify_roce_cables.pyスクリプトでは、2つの入力ファイル(データベース・サーバーとストレージ・サーバー用(nodes.rackN)とスイッチ用(switches.rackN))が使用されます。各ファイルで、すべてのサーバーまたはスイッチを別々の行にリストする必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    ダウンロードおよび使用方法の詳細は、My Oracle Supportのドキュメント2587717.1を参照してください。

    両方のラックに対してverify_roce_cables.pyスクリプトを実行します。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2

    X8Mラックの2ラック配線の表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    次の例は、予想されるコマンド結果の抽出を示します。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack1sw-rocea0) : CABLE OK?  UPPER LEAF (rack1sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9  : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5  : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11 : OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7  : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2        : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2        : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2        : OK
... 
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2         : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2         : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2         : OK
... 
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9  : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5  : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11 : OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7  : OK
    # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LOWER LEAF (rack2sw-rocea0) : CABLE OK?  UPPER LEAF (rack2sw-roceb0) : CABLE OK?
----------- ---------------  --------------------------- : ---------  --------------------------- : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/18 : OK         rack1sw-roces0 Ethernet1/10 : OK
...
  8. infinicheckコマンドを使用して、インターコネクトされた両方のラック間のRoCEネットワーク・ファブリック操作を検証します。

    次の推奨されるコマンド・シーケンスを使用して、両方のラック間のRoCEネットワーク・ファブリック操作を確認します。

    各コマンドのhosts.allには両方のラックのデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレス(各データベース・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のカンマ区切りリストが含まれ、cells.allには両方のラックのストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレス(各ストレージ・サーバーの2つのRoCEネットワーク・ファブリックのIPアドレス)のリストが含まれます。 

    1. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -z
    2. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -s
    3. # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

    各infinicheckコマンドの詳細は、ステップ1.kを参照してください。

    次の例は、最後のコマンドの予期されるコマンド結果を順番に示しています。

    # cd /opt/oracle.SupportTools/ibdiagtools
# ./infinicheck -g hosts.all -c cells.all -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...

この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。新しいハードウェアの構成を参照してください。

2.3.2.2 停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線

動作要件のために予定されている停止時間を許容できる場合は、次の手順から選択して、別のラックを追加して既存のRoCEネットワーク・ファブリック・ラックを拡張します。

親トピック: 2ラック配線

2.3.2.2.1 Oracle Exadata System Softwareリリース20.1.0以降を使用した停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線

停止時間を許容でき、Oracle Exadata System Softwareリリース20.1.0以降を使用している場合、RoCEネットワーク・ファブリックを使用する2つのラックを配線するには、このより単純な手順を使用します。

この手順では、既存のラックはR1で、新しいラックはR2です。

システム構成に応じて、適用可能な配線表を使用します。

  1. 新しいラックが既存ラックの近くにあることを確認します。
    RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
  2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

  3. 新しいラック(R2)と既存のラック(R1)のすべてのサーバーを停止します。
    スイッチは使用可能なままにしておく必要があります。
  4. すべてのRoCEネットワーク・ファブリック・スイッチで、ファームウェアを入手可能な最新リリースに更新します。

    このステップでは、すべてのスイッチを、単一ラック・システムに属しているかのように扱います。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

  5. マルチラック・ゴールデン構成設定をRoCEネットワーク・ファブリック・スイッチに適用します。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用に示した手順を使用してください。

  6. スイッチの物理的な配線を行います。
    1. ラック2で、2つのリーフ・スイッチ(R2ULおよびR2LL)の間にある既存のスイッチ間接続を取り外します。
    2. ラック2で、該当する配線表を使用して、各リーフ・スイッチをスパイン・スイッチに配線します。
    3. ラック1で、2つのリーフ・スイッチ(R1ULおよびR1LL)の間にある既存のスイッチ間接続を取り外します。
    4. ラック1で、該当する配線表を使用して、各リーフ・スイッチをスパイン・スイッチに配線します。
  7. 各スイッチが使用可能で、接続されていることを確認します。

    6つの各スイッチについて、show interface statusコマンドの出力で、接続されているスイッチ間ポートごとにconnectedと100Gが表示されることを確認します。適切な配線表を使用して、接続するポートを特定します。

    次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

    スパイン・スイッチから実行すると、出力は次のようになります。

    rack1sw-roces0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
...

    リーフ・スイッチから実行すると、出力は次のようになります。

    rack1sw-rocea0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
...
Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
...
  8. ラックR1およびR2のすべてのスイッチについて、近隣探索をチェックします。

    各スイッチにログインし、show lldp neighborsコマンドを使用します。すべてのスイッチが表示されていることを確認し、スイッチ・ポートの割当てを、該当する配線表と照合して確認します。

    スパイン・スイッチでは、各ラックの2つのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    ノート:

    Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。 
    rack1sw-roces0# show lldp neighbors
...
Device ID            Local Intf      Hold-time  Capability  Port ID
rack1-adm0           mgmt0           120        BR          Ethernet1/47
rack1sw-roceb0       Eth1/5     120        BR          Ethernet1/5
rack2sw-roceb0       Eth1/6     120        BR          Ethernet1/5
rack1sw-roceb0       Eth1/7     120        BR          Ethernet1/7
rack2sw-roceb0       Eth1/8     120        BR          Ethernet1/7
rack1sw-roceb0       Eth1/9     120        BR          Ethernet1/4
rack2sw-roceb0       Eth1/10    120        BR          Ethernet1/4
rack1sw-roceb0       Eth1/11    120        BR          Ethernet1/6
rack2sw-roceb0       Eth1/12    120        BR          Ethernet1/6
rack1sw-rocea0       Eth1/13    120        BR          Ethernet1/5
rack2sw-rocea0       Eth1/14    120        BR          Ethernet1/5
rack1sw-rocea0       Eth1/15    120        BR          Ethernet1/7
rack2sw-rocea0       Eth1/16    120        BR          Ethernet1/7
rack1sw-rocea0       Eth1/17    120        BR          Ethernet1/4
rack2sw-rocea0       Eth1/18    120        BR          Ethernet1/4
rack1sw-rocea0       Eth1/19    120        BR          Ethernet1/6 
rack2sw-rocea0       Eth1/20    120        BR          Ethernet1/6
Total entries displayed: 17

    各リーフ・スイッチでは、2つのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    ノート:

    Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。 
    rack1sw-rocea0# show lldp neighbors
...
Device ID            Local Intf      Hold-time  Capability  Port ID
switch               mgmt0      120        BR          Ethernet1/46
rack1sw-roces0       Eth1/4     120        BR          Ethernet1/17
rack1sw-roces0       Eth1/5     120        BR          Ethernet1/13
rack1sw-roces0       Eth1/6     120        BR          Ethernet1/19
rack1sw-roces0       Eth1/7     120        BR          Ethernet1/15
rack2sw-roces0       Eth1/30    120        BR          Ethernet1/17
rack2sw-roces0       Eth1/31    120        BR          Ethernet1/13
rack2sw-roces0       Eth1/32    120        BR          Ethernet1/19
rack2sw-roces0       Eth1/33    120        BR          Ethernet1/15
rocetoi-ext-sw       Eth1/36    120        BR          Ethernet1/49
Total entries displayed: 10
  9. ラックR1およびR2のすべてのサーバーの電源を入れます。
  10. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    verify_roce_cables.pyスクリプトの出力を、該当する配線表と照合して確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9 : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5 : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11: OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7 : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
...
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
...
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9 : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5 : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11: OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7 : OK

    # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack2sw-rocea0)     : CABLE OK?  LEAF-2 (rack2sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)  :  rack1sw-roces0 Ethernet1/18 : OK         rack1sw-roces0 Ethernet1/10: OK
...
  11. infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。

    次の推奨コマンド・シーケンスを使用してください。各コマンドのhosts.lstはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのカンマ区切りリストを含む入力ファイルの名前で、cells.lstはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

    • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z

    • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s

    • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  12. ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。
2.3.2.2.2 Oracle Exadata System Softwareリリース19.3以前を使用した停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線

停止時間を許容でき、Oracle Exadata System Softwareリリース19.3以前を使用している場合、RoCEネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。

この手順では、既存のラックはR1で、新しいラックはR2です。

  1. 新しいラックが既存ラックの近くにあることを確認します。
    RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
  2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチの設定のバックアップを参照してください。

  3. 新しいラック(R2)と既存のラック(R1)のすべてのサーバーを停止します。
    スイッチは使用可能なままにしておく必要があります。
  4. すべてのRoCEネットワーク・ファブリック・スイッチで、ファームウェアを入手可能な最新リリースに更新します。

    このステップでは、すべてのスイッチを、単一ラック・システムに属しているかのように扱います。

    Oracle Exadata Database Machineメンテナンス・ガイドのRoCEネットワーク・ファブリック・スイッチ・ファームウェアの更新を参照してください。

  5. マルチラックのスパイン・スイッチ構成を2つのスパイン・スイッチに適用します。
    1. 最新のRDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。

      使用可能なRDMAネットワーク・ファブリック・パッチを検索するには、My Oracle Supportドキュメント888828.1でRDMAネットワーク・スイッチを検索します。Oracle Exadata System Softwareリリースの最新パッチをダウンロードして使用します。

    2. RDMAネットワーク・ファブリックのパッチZIPファイルを解凍し、ディレクトリをpatchmgrユーティリティの場所に変更します。
    3. 各スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチ・ディレクトリから次のコマンドを実行します。

      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_R1SS.cfg
# cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_R2SS.cfg
    4. スパイン・スイッチ構成ファイルの各コピーを編集します。

      テキスト・エディタを使用して、すべての%SPINE_LOOPBACK_IP0%を、次の表に示されているスイッチの正しいIPアドレスに置き換えます。

      スイッチ SPINE_LOOPBACK_IP0
      ラック1のスパイン・スイッチ(R1SS) 100.64.0.201
      ラック2のスパイン・スイッチ(R2SS) 100.64.0.202

      次の例は、ラック1 (R1SS)のスパイン・スイッチのSPINE_LOOPBACK_IP0としてIPアドレス100.64.0.201を使用しています。 

      ! Define loopback interface for underlay OSPF routing
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.201/32
 ip address 100.64.0.201/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.201

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! Create BGP route reflector to exchange routes across VTEPs
! Use CIDR block of IPs for neighbor range
! - log-neighbor-changes: Enables the generation of logging messages
! generated when the status of a BGP neighbor changes.
! - address-family ipv4 unicast: Enters address family configuration
! mode and Specifies IP Version 4 unicast address prefixes.
! address
router bgp 65502
 router-id 100.64.0.201
 log-neighbor-changes
    5. スパイン・スイッチ構成ファイルの3つの置換を確認します。

      たとえば、ラック1 (R1SS)の場合、スパイン・スイッチ構成ファイルのIPアドレス100.64.0.201をチェックします。

      $ grep 100.64 roce_spine_switch_multi_R1SS.cfg |grep -v ‘neighbor’ |grep -v ‘!’
 ip address 100.64.0.201/32
 router-id 100.64.0.201
 router-id 100.64.0.201
    6. 更新されたマルチラック構成ファイルを対応するスパイン・スイッチに適用します。

      1. 各スパイン・スイッチにログインし、次のコマンドを使用して既存の構成ファイルを削除します。

        delete bootflash:roce_spine_switch_multi.cfg

        次に例を示します。

        rack1sw-roces0# delete bootflash:roce_spine_switch_multi.cfg
Do you want to delete "/roce_spine_switch_multi.cfg" ? (yes/no/abort) [y] y
rack1sw-roces0#

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するスパイン・スイッチにコピーします。

        # scp roce_spine_switch_multi_R1SS.cfg admin@R1SS_IP_Address:/
# scp roce_spine_switch_multi_R2SS.cfg admin@R2SS_IP_Address:/

      3. 変更したファイルがスパイン・スイッチに正常にコピーされたことを確認します。たとえば、最初のラックの場合、スパイン・スイッチに再度ログインし、次のコマンドを使用します。

        rack1sw-roces0# dir bootflash:roce_spine_switch_multi_R1SS.cfg
     27360 Nov 20 12:12:50 2019 roce_spine_switch_multi_R1SS.cfg
Usage for bootflash://sup-local
1829572608 bytes used
114893496320 bytes free
116723068928 bytes total

      4. 各スイッチに再度ログインして、変更された構成をフラッシュにコピーします。

        ラック1のスパイン・スイッチでは、次のコマンドを使用します。

        rack1sw-roces0# run-script bootflash:roce_spine_switch_multi_R1SS.cfg | grep 'none'
rack1sw-roces0# copy running-config startup-config

        ラック2のスパイン・スイッチでは、次のコマンドを使用します。

        rack2sw-roces0# run-script bootflash:roce_spine_switch_multi_R2SS.cfg | grep 'none'
rack2sw-roces0# copy running-config startup-config

        ノート:

        スパイン・スイッチのrun-scriptコマンドは、完了までに約2分かかることがあります。
  6. マルチラックのリーフ・スイッチ構成を4つのリーフ・スイッチに適用します。

    スイッチごとに、次のステップを実行します。ここで、SW#は、構成しているスイッチに応じて、値R1LL、R1UL、R2LLまたはR2ULを表します。

    1. 既存のラックで使用されているOracle Exadata System SoftwareリリースのRDMAネットワーク・ファブリックのパッチZIPファイル(ステップ5.a)をダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. 各リーフ・スイッチのゴールデン構成ファイルのコピーを作成します。
      ExadataセキュアRDMAファブリック分離を有効にする場合は、roce_leaf_switch_multi.cfgファイルまたはroce_qinq_leaf_switch_multi.cfgファイルをコピーします。

      パッチZIPファイルを解凍したら、パッチ・ディレクトリから次のコマンドを4回実行します(SW#の値をR1LL、R1UL、R2LLおよびR2ULに置き換えます)。 

      # cp roce_switch_templates/roce_leaf_switch_multi.cfg roce_leaf_switch_multi_SW#.cfg
    4. リーフ・スイッチ構成ファイルの各コピーを編集して、ループバックIPアドレスを置き換えます。

      テキスト・エディタを使用して、すべての%LOOPBACK__IP0%および%LOOPBACK__IP1%を、次の表に示されているリーフ・スイッチの正しいIPアドレスに置き換えます。

      2ラック・システムのリーフ・スイッチのループバックIPアドレスに使用されるスキームは、次のとおりです。

      スイッチ LEAF_LOOPBACK_IP0 LEAF_LOOPBACK_IP1
      ラック1の下位リーフ・スイッチ(R1LL) 100.64.0.101 100.64.1.101
      ラック1の上位リーフ・スイッチ(R1UL) 100.64.0.102 100.64.1.102
      ラック2の下位リーフ・スイッチ(R2LL) 100.64.0.103 100.64.1.103
      ラック2の上位リーフ・スイッチ(R2UL) 100.64.0.104 100.64.1.104

      次の例は、ラック1 (R1LL)の下位リーフ・スイッチのSPINE_LOOPBACK_IP0としてIPアドレス100.64.0.101を使用しています。 

      ! Define loopback interface for IGP protocol for VTEP reachability
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.101/32
 ip address 100.64.0.101/32
 ip router ospf UNDERLAY area 0.0.0.0

! Define loopback interface for associating with local VTEP
interface loopback1
 description VTEP loopback interface
 !ip address 100.64.1.101/32
 ip address 100.64.1.101/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.101

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! - Create BGP route reflector to exchange routes across VTEPs
! Define max config 8 neighbor spines using their loopback IPs
! - BGP peers are located in an autonomous system (AS) that uses
! 4-byte AS numbers. Cisco recommends to pick a high value such
! as 65502 to avoid conflict with future bgp peers.
! - Create a template ‘BasePolicy’ that defines a peer policy
! template to define attributes for a particular address family.
router bgp 65502
 router-id 100.64.0.101
 log-neighbor-changes
    5. 各リーフ・スイッチ構成ファイルのIPアドレス置換を確認します。

      たとえば、最初のラックの場合、下部リーフ・スイッチ構成ファイル(R1LL)のIPアドレス100.64.0.101および100.64.1.101と、上部リーフ・スイッチ構成ファイル(R1UL)のIPアドレス100.64.0.102および100.64.1.102をチェックします。

      $ grep 100.64. roce_leaf_switch_multi_R1LL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.101/32
 ip address 100.64.1.101/32
 router-id 100.64.0.101
 router-id 100.64.0.101

$ grep 100.64. roce_leaf_switch_multi_R1UL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.102/32
 ip address 100.64.1.102/32
 router-id 100.64.0.102
 router-id 100.64.0.102
    6. 更新されたマルチラック構成ファイルを対応する各リーフ・スイッチに適用します。

      1. 各リーフ・スイッチにログインして、既存の構成ファイルを削除します。次に例を示します。

        rack1sw-rocea0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack1sw-rocea0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory
        rack1sw-roceb0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack1sw-roceb0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するリーフ・スイッチにコピーします。次に例を示します。

        # scp roce_leaf_switch_multi_R1LL.cfg admin@R1LL_IP_Address:/
# scp roce_leaf_switch_multi_R1UL.cfg admin@R1UL_IP_Address:/
# scp roce_leaf_switch_multi_R2LL.cfg admin@R2LL_IP_Address:/
# scp roce_leaf_switch_multi_R2UL.cfg admin@R2UL_IP_Address:/

      3. 各リーフ・スイッチにログインし、変更したファイルが正常にコピーされたことを確認します。次に例を示します。

        rack1sw-rocea0# dir bootflash:roce_leaf_switch_multi_R1LL.cfg
    171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R1LL.cfg
Usage for bootflash://sup-local
2583580672 bytes used
114139488256 bytes free
116723068928 bytes total

rack1sw-roceb0# dir bootflash:roce_leaf_switch_multi_R1UL.cfg
    171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R1UL.cfg
Usage for bootflash://sup-local
2579836928 bytes used
114143232000 bytes free
116723068928 bytes total
        rack2sw-rocea0# dir bootflash:roce_leaf_switch_multi_R2LL.cfg
    171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R2LL.cfg
Usage for bootflash://sup-local
2583580672 bytes used
114139488256 bytes free
116723068928 bytes total

rack2sw-roceb0# dir bootflash:roce_leaf_switch_multi_R2UL.cfg
    171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R2UL.cfg
Usage for bootflash://sup-local
2579836928 bytes used
114143232000 bytes free
116723068928 bytes total

      4. 変更した構成ファイルをフラッシュにコピーします。次に例を示します。

        rack1sw-rocea0# run-script bootflash:roce_leaf_switch_multi_R1LL.cfg | grep 'none'
rack1sw-rocea0# copy running-config startup-config
        rack1sw-roceb0# run-script bootflash:roce_leaf_switch_multi_R1UL.cfg | grep 'none'
rack1sw-roceb0# copy running-config startup-config
        rack2sw-rocea0# run-script bootflash:roce_leaf_switch_multi_R2LL.cfg | grep 'none'
rack2sw-rocea0# copy running-config startup-config
        rack2sw-roceb0# run-script bootflash:roce_leaf_switch_multi_R2UL.cfg | grep 'none'
rack2sw-roceb0# copy running-config startup-config

        ノート:

        リーフ・スイッチのrun-scriptコマンドは、完了までに約6分かかることがあります。
  7. patchmgrを使用し、RDMAネットワーク・ファブリック・スイッチの構成をゴールデン構成ファイルに対して検証します。
    1. (ステップ5.aで) RDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. 両方のラックのリーフ・スイッチとスパイン・スイッチのホスト名またはIPアドレスを含むファイルを作成します。
      たとえば、switches.lstという名前のファイルを作成します。このファイルには、2つのスパイン・スイッチおよび4つのリーフ・スイッチのホスト名またはIPアドレスが含まれている必要があります。各スイッチを新しい行に記述します。
    4. --verify_configオプションを指定してpatchmgrを実行します。

      次のコマンドで、switches.lstは問合せ対象のスイッチが1行に1つずつ含まれているファイルです。 

      $ ./patchmgr --roceswitches switches.lst --verify-config

2019-11-20 14:12:27 -0800 :Working: Initiate config verify on RoCE switches from . Expect up to 6 minutes for each switch
                                                   

2019-11-20 14:12:30 -0800 1 of 15 :Verifying config on switch rack1sw-rocea0

2019-11-20 14:12:30 -0800: [INFO ] Dumping current running config locally as file: /tmp/run.rack1sw-rocea0.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Backed up switch config successfully
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [1/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch.cfg
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [2/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [INFO ] Config matches template: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Config validation successful!


2019-11-20 14:12:33 -0800 2 of 15 :Verifying config on switch rack1sw-roceb0
...
  8. スイッチの物理的な配線を行います。
    1. ラック2で、2つのリーフ・スイッチ(R2ULおよびR2LL.)の間にある8つの既存のスイッチ間接続を取り外します。
    2. ラック2で、X8Mラックの2ラック配線の表を使用して、各リーフスイッチを配線します。
    3. ラック1で、2つのリーフ・スイッチ(R1ULおよびR1LL.)の間にある8つの既存のスイッチ間接続を取り外します。
    4. ラック1で、X8Mラックの2ラック配線の表を使用して、各リーフスイッチを配線します。
  9. 各スイッチが使用可能で、接続されていることを確認します。

    6つの各スイッチについて、show interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

    スパイン・スイッチから実行すると、出力は次のようになります。

    rack1sw-roces0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
...

    リーフ・スイッチから実行すると、出力は次のようになります。

    rack1sw-rocea0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
...
Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
...
  10. ラックR1およびR2のすべてのスイッチについて、近隣探索をチェックします。

    各スイッチにログインし、show lldp neighborsコマンドを使用します。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)をX8Mラックの2ラック配線の表に対して確認します。

    スパイン・スイッチでは、各ラックの2つのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    ノート:

    Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。 
    rack1sw-roces0# show lldp neighbors
...
Device ID            Local Intf      Hold-time  Capability  Port ID
rack1-adm0           mgmt0           120        BR          Ethernet1/47
rack1sw-roceb0       Eth1/5     120        BR          Ethernet1/5
rack2sw-roceb0       Eth1/6     120        BR          Ethernet1/5
rack1sw-roceb0       Eth1/7     120        BR          Ethernet1/7
rack2sw-roceb0       Eth1/8     120        BR          Ethernet1/7
rack1sw-roceb0       Eth1/9     120        BR          Ethernet1/4
rack2sw-roceb0       Eth1/10    120        BR          Ethernet1/4
rack1sw-roceb0       Eth1/11    120        BR          Ethernet1/6
rack2sw-roceb0       Eth1/12    120        BR          Ethernet1/6
rack1sw-rocea0       Eth1/13    120        BR          Ethernet1/5
rack2sw-rocea0       Eth1/14    120        BR          Ethernet1/5
rack1sw-rocea0       Eth1/15    120        BR          Ethernet1/7
rack2sw-rocea0       Eth1/16    120        BR          Ethernet1/7
rack1sw-rocea0       Eth1/17    120        BR          Ethernet1/4
rack2sw-rocea0       Eth1/18    120        BR          Ethernet1/4
rack1sw-rocea0       Eth1/19    120        BR          Ethernet1/6 
rack2sw-rocea0       Eth1/20    120        BR          Ethernet1/6
Total entries displayed: 17

    各リーフ・スイッチでは、2つのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    ノート:

    Port ID列のインタフェース出力は、該当する配線表に基づいてスイッチごとに異なります。 
    rack1sw-rocea0# show lldp neighbors
...
Device ID            Local Intf      Hold-time  Capability  Port ID
switch               mgmt0      120        BR          Ethernet1/46
rack1sw-roces0       Eth1/4     120        BR          Ethernet1/17
rack1sw-roces0       Eth1/5     120        BR          Ethernet1/13
rack1sw-roces0       Eth1/6     120        BR          Ethernet1/19
rack1sw-roces0       Eth1/7     120        BR          Ethernet1/15
rack2sw-roces0       Eth1/30    120        BR          Ethernet1/17
rack2sw-roces0       Eth1/31    120        BR          Ethernet1/13
rack2sw-roces0       Eth1/32    120        BR          Ethernet1/19
rack2sw-roces0       Eth1/33    120        BR          Ethernet1/15
rocetoi-ext-sw       Eth1/36    120        BR          Ethernet1/49
Total entries displayed: 10
  11. ラックR1およびR2のすべてのサーバーの電源を入れます。
  12. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    X8Mラックの2ラック配線の表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9 : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5 : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11: OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7 : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
...
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
...
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9 : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5 : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11: OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7 : OK

    # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack2sw-rocea0)     : CABLE OK?  LEAF-2 (rack2sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)  :  rack1sw-roces0 Ethernet1/18 : OK         rack1sw-roces0 Ethernet1/10: OK
...
  13. infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。

    次の推奨コマンド・シーケンスを使用してください。各コマンドのhosts.lstはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのカンマ区切りリストを含む入力ファイルの名前で、cells.lstはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

    • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z

    • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s

    • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  14. ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。
2.3.2.3 2つのInfiniBandネットワーク・ファブリック・ラックの配線

InfiniBandネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。

この手順では、相互に隣接するラックを仮定します。
この手順では、既存のラックはR1で、新しいラックはR2です。

  1. 次のように、スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。

    1. アクティブなシステム上のRDMAネットワーク・ファブリック・スイッチにログインします。

    2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。そうでない場合は、Oracle Exadata Database Machineインストレーションおよび構成ガイドのOracle Exadata Database Machineフル・ラックおよびOracle Exadata Database Machineハーフ・ラックのサブネット・マネージャ・マスターの設定の手順に従います。

    3. スパイン・スイッチにログインします。

    4. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    5. setsmpriority 10コマンドを使用して優先度を10に設定します。

    6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

    7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。

  2. 新しいラックが既存ラックの近くにあることを確認します。RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。

  3. 新しいラック(R2)を完全に停止します。

  4. InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、2台のリーフ・スイッチ R2 IB2とR2 IB3を新しいラック内で配線します。新しいラックR2内の(既存ラックR1ではありません)リーフ・スイッチとスパイン・スイッチ間の2つの接続および各リーフ・スイッチ間の7つの既存のスイッチの相互接続を解除する必要があります。

  5. すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。

  6. リーフ・スイッチR1 IB2の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのRDMAネットワーク・ファブリック・トラフィックがR1 IB3にフェイルオーバーされます。

  7. R1 IB2とR1 IB3間の7つすべてのスイッチ間リンクを解除し、R1 IB2とスパイン・スイッチR1 IB1の間の1つの接続も解除します。

  8. InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、リーフ・スイッチR1 IB2を配線します。

  9. リーフ・スイッチR1 IB2の電源をオンにします。

  10. R1 IB2が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

  11. すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。

  12. リーフ・スイッチR1 IB3の電源をオフにします。すべてのデータベース・サーバーおよびストレージ・サーバーのRDMAネットワーク・ファブリック・トラフィックがR1 IB2にフェイルオーバーされます。

  13. R1 IB3とスパイン・スイッチR1 IB1間の1つの接続を解除します。

  14. InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、リーフ・スイッチR1 IB3を配線します。

  15. リーフ・スイッチR1 IB3の電源をオンにします。

  16. R1 IB3が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

  17. R2のすべてのInfiniBandスイッチの電源をオンにします。

  18. スイッチが完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。6つのスイッチ、R1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2およびR2 IB3が出力表示されます。

  19. 任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。

  20. R2のすべてのサーバーの電源をオンにします。

  21. スパイン・スイッチR1 IB1にログインし、次のように優先度を8に下げます。

    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    2. setsmpriority 8コマンドを使用して優先度を8に設定します。

    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

  22. スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。

ラックを配線した後、新しいハードウェアの構成に進み、ラックを構成します。

親トピック: 2ラック配線

2.3.3 「複数のラックの配線」

次の手順を使用して、既存のマルチラック・システムに別のラックを追加できます。

この手順では、相互に隣接するラックを想定しています。既存のラックはR1、R2、... Rnで、新しいラックはRn+1です。たとえば、4つのラックがあり、5つ目のラックを追加する場合、既存のラックはR1、R2、R3およびR4として指定され、新しいラックはR5として指定されます。

Exadata Database Machine X9Mモデルからは、追加のスイッチなしで最大12ラックをまとめて配線できます。以前のモデル(X8Mまで)では、追加のスイッチなしで最大18ラックをまとめて配線できます。

この手順は、RoCEネットワーク・ファブリック(X8M以降)とInfiniBandネットワーク・ファブリック(X8以前)を使用するシステムでは異なります。

親トピック: 別のラックの追加によるラックの拡張

2.3.3.1 Oracle Exadata System Softwareリリース20.1.0以降を使用した複数のRoCEネットワーク・ファブリック・ラックの配線

Oracle Exadata System Softwareリリース20.1.0以降を使用して、RoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。

この手順は、RoCEネットワーク・ファブリック(X8M以降)を使用するシステムを対象としています。

この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。

  • rack5sw-roces0:ラック5のスパイン・スイッチ(SS)
  • rack5sw-rocea0: ラック5の下位リーフ・スイッチ(R5LL)
  • rack5sw-roceb0: ラック5の上位リーフ・スイッチ(R5UL)

ノート:

3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断します

システムに応じて、適用可能な配線表を使用します。

  1. 新しいラックが既存のラックR1、R2、…、Rnの近くにあることを確認します。
    RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
  2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。
    スイッチごとに、『Oracle Exadata Database Machineメンテナンス・ガイド』のRoCEネットワーク・ファブリック・スイッチ設定のバックアップの項で示されているステップを完了します。
  3. 新しいラックR n+1のすべてのサーバーを停止します。
    Oracle Exadataラックの電源オフを参照してください。スイッチはオンラインのままで、使用可能な状態である必要があります。
  4. 新しいラックR n+1のRoCEネットワーク・ファブリック・スイッチにゴールデン構成設定を適用します。

    『Oracle Exadata Database Machineメンテナンス・ガイド』のRoCE Network Fabricスイッチに対するゴールデン構成の適用に関する項に示した手順を使用してください。

  5. 新しいラックRn+1のスイッチの物理的な配線を行います。

    注意:

    重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。
    1. 新しいラックRn+1の各リーフ・スイッチの間にある、8つの既存のスイッチ間接続を取り外します(ポート4、5、6、7および30、31、32、33)。
    2. 該当する配線表に従って、新しいラックでリーフ・スイッチを配線します。

      たとえば、5番目のラックを追加していて、ラックRn+1がR5の場合は、表5-14 5ラック・システムの5番目のラックのリーフ・スイッチ接続を使用します。

  6. 既存のラックのスイッチに新しいラックを追加します(R1からRn)。
    1. 既存のラック(Rx)の場合、該当する配線表に従って、下部のリーフ・スイッチRxLLを配線します。
    2. 同じラックの場合、該当する配線表に従って、上部のリーフ・スイッチRxULを配線します。
    3. これらのステップを既存の各ラック(R1からRn)で繰り返します。
  7. 各スイッチが使用可能で、接続されていることを確認します。

    ラックR1、R2、…、Rn、Rn+1の各スイッチについて、スイッチのshow interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

    スパイン・スイッチから実行すると、出力は次のようになります。

    rack1sw-roces0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
...

    リーフ・スイッチから実行すると、出力は次のようになります。

    rack1sw-rocea0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
...
Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
...
  8. ラックR1、R2、…、Rn、Rn+1のすべてのスイッチで、近隣探索をチェックします。
    各スイッチにログインし、show lldp neighborsコマンドを使用します。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)を、該当する配線表に対して確認します。

    各スパイン・スイッチでは、各ラックのすべてのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    ノート:

    右端の出力列のインタフェース(Ethernet1/5など)は、該当する配線表に基づいて各スイッチで異なります。 
    rack1sw-roces0# show lldp neighbors | grep roce
rack1sw-roceb0 Eth1/5 120 BR Ethernet1/5
rack2sw-roceb0 Eth1/6 120 BR Ethernet1/5
rack1sw-roceb0 Eth1/7 120 BR Ethernet1/7
rack2sw-roceb0 Eth1/8 120 BR Ethernet1/7
rack1sw-roceb0 Eth1/9 120 BR Ethernet1/4
rack2sw-roceb0 Eth1/10 120 BR Ethernet1/4
rack3sw-roceb0 Eth1/11 120 BR Ethernet1/5
rack3sw-roceb0 Eth1/12 120 BR Ethernet1/7
rack1sw-rocea0 Eth1/13 120 BR Ethernet1/5
rack2sw-rocea0 Eth1/14 120 BR Ethernet1/5
rack1sw-rocea0 Eth1/15 120 BR Ethernet1/7
rack2sw-rocea0 Eth1/16 120 BR Ethernet1/7
rack3sw-rocea0 Eth1/17 120 BR Ethernet1/5
rack2sw-rocea0 Eth1/18 120 BR Ethernet1/4
rack3sw-rocea0 Eth1/19 120 BR Ethernet1/7
rack3sw-rocea0 Eth1/20 120 BR Ethernet1/4

    各リーフ・スイッチでは、すべてのラックのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    ノート:

    右端の出力列のインタフェース(Ethernet1/13など)は、該当する配線表に基づいて各スイッチで異なります。 
    rack1sw-rocea0# show lldp neighbors | grep roce
rack3sw-roces0 Eth1/4 120 BR Ethernet1/13
rack1sw-roces0 Eth1/5 120 BR Ethernet1/13
rack3sw-roces0 Eth1/6 120 BR Ethernet1/15
rack1sw-roces0 Eth1/7 120 BR Ethernet1/15
rack2sw-roces0 Eth1/30 120 BR Ethernet1/17
rack2sw-roces0 Eth1/31 120 BR Ethernet1/13
rack3sw-roces0 Eth1/32 120 BR Ethernet1/17
rack2sw-roces0 Eth1/33 120 BR Ethernet1/15
  9. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
  10. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    verify_roce_cables.pyスクリプトの出力を、該当する配線表と照合して確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9 : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5 : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11: OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7 : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
...
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
...
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9 : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5 : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11: OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7 : OK
  11. infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。

    次の推奨コマンド・シーケンスを使用してください。各コマンドのhosts.lstはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのカンマ区切りリストを含む入力ファイルの名前で、cells.lstはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

    • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z

    • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s

    • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  12. ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。
2.3.3.2 Oracle Exadata System Softwareリリース19.3以前を使用した複数のRoCEネットワーク・ファブリック・ラックの配線

Oracle Exadata System Softwareリリース19.3以前を使用して、RoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。

この手順は、RoCEネットワーク・ファブリック(X8M以降)を使用するシステムを対象としています。

この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。

  • rack5sw-roces0:ラック5のスパイン・スイッチ(SS)
  • rack5sw-rocea0: ラック5の下位リーフ・スイッチ(R5LL)
  • rack5sw-roceb0: ラック5の上位リーフ・スイッチ(R5UL)

ノート:

3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断します
  1. 新しいラックが既存のラックR1、R2、…、Rnの近くにあることを確認します。
    RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
  2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。
    スイッチごとに、『Oracle Exadata Database Machineメンテナンス・ガイド』のRoCEネットワーク・ファブリック・スイッチ設定のバックアップの項で示されているステップを完了します。
  3. 新しいラックR n+1のすべてのサーバーを停止します。
    Oracle Exadataラックの電源オフを参照してください。スイッチはオンラインのままで、使用可能な状態である必要があります。
  4. 新しいラックRn+1のスパイン・スイッチに、マルチラックのスパイン・スイッチ構成を適用します。
    1. 最新のRDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。

      使用可能なRDMAネットワーク・ファブリック・パッチを検索するには、My Oracle Supportドキュメント888828.1でRDMAネットワーク・スイッチを検索します。Oracle Exadata System Softwareリリースの最新パッチをダウンロードして使用します。

    2. RDMAネットワーク・ファブリックのパッチZIPファイルを解凍し、ディレクトリをpatchmgrユーティリティの場所に変更します。
    3. 新しいスパイン・スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチ・ディレクトリから次のコマンドを実行します。ここで、n+1は新しいラックの番号です。 

      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_Rn+1SS.cfg
    4. スパイン・スイッチ構成ファイルのコピーを編集します。

      テキスト・エディタを使用して、3箇所の%SPINE_LOOPBACK_IP0%を次の表に示されているスイッチの正しいIPアドレスに置き換えます。使用している環境のRn+1と一致する値を使用します。

      スイッチ SPINE_LOOPBACK_IP0
      ラック3のスパイン・スイッチ(R3SS) 100.64.0.203
      ラック4のスパイン・スイッチ(R4SS) 100.64.0.204
      ラック5のスパイン・スイッチ(R5SS) 100.64.0.205
      ラック6のスパイン・スイッチ(R6SS) 100.64.0.206
      ラック7のスパイン・スイッチ(R7SS) 100.64.0.207
      ラック8のスパイン・スイッチ(R8SS) 100.64.0.208

      たとえば、既存の4ラック・システムにラックを追加する場合(n+1=5)、IPアドレス100.64.0.205を新しいラックのスパイン・スイッチ(R5SS)のSPINE_LOOPBACK_IP0として使用します。 

      ! Define loopback interface for underlay OSPF routing
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.201/32
 ip address 100.64.0.205/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.205

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! Create BGP route reflector to exchange routes across VTEPs
! Use CIDR block of IPs for neighbor range
! - log-neighbor-changes: Enables the generation of logging messages
! generated when the status of a BGP neighbor changes.
! - address-family ipv4 unicast: Enters address family configuration
! mode and Specifies IP Version 4 unicast address prefixes.
! address
router bgp 65502
 router-id 100.64.0.205
 log-neighbor-changes
    5. スパイン・スイッチ構成ファイルの3つの置換を確認します。

      たとえば、5番目のラックを追加する場合、スパイン・スイッチ構成ファイルのIPアドレス100.64.0.205をチェックします。

      $ grep 100.64 roce_spine_switch_multi_R5SS.cfg |grep -v ‘neighbor’ |grep -v ‘!’
 ip address 100.64.0.205/32
 router-id 100.64.0.205
 router-id 100.64.0.205
    6. 新しいラックRn+1のスパイン・スイッチに、更新されたマルチラック構成ファイルを適用します。

      1. 新しいラックRn+1のスイッチにログインし、既存の構成ファイルがあれば、それを削除します。たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。 

        rack5sw-roces0# delete bootflash:roce_spine_switch_multi.cfg
Do you want to delete "/roce_spine_switch_multi.cfg" ? (yes/no/abort) [y] y
rack5sw-roces0#

      2. スパイン・スイッチの変更された構成ファイルがあるサーバーにログインし、新しいラックのスパイン・スイッチにそのファイルをコピーします。たとえば、5番目のラックを追加する場合は、次のようにします。

        # scp roce_spine_switch_multi_R5SS.cfg admin@R5SS_IP_Address:/

      3. 変更したファイルがスパイン・スイッチに正常にコピーされたことを確認します。たとえば、5番目のラックを追加する場合は、新しいラックRn+1のスパイン・スイッチに再度ログインし、次のコマンドを使用します。 

        rack5sw-roces0# dir bootflash:roce_spine_switch_multi_R5SS.cfg
     27360 Nov 20 12:12:50 2019 roce_spine_switch_multi_R5SS.cfg
Usage for bootflash://sup-local
1829572608 bytes used
114893496320 bytes free
116723068928 bytes total

      4. 変更した構成をフラッシュにコピーします。

        たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。

        rack5sw-roces0# run-script bootflash:roce_spine_switch_multi_R5SS.cfg | grep 'none'

rack5sw-roces0# copy running-config startup-config

        ノート:

        スパイン・スイッチのrun-scriptコマンドは、完了までに約2分かかることがあります。
  5. 新しいラックRn+1のリーフ・スイッチに、マルチラックのリーフ・スイッチ構成を適用します。

    各リーフ・スイッチで、次のステップを実行します。ここで、SW#は、構成しているスイッチに応じて、値Rn+1LLまたはRn+1ULを表します。

    1. 既存のラックで使用されているOracle Exadata System SoftwareリリースのRDMAネットワーク・ファブリックのパッチZIPファイル(ステップ4.a)をダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. 各リーフ・スイッチのゴールデン構成ファイルのコピーを作成します。
      ラックでセキュア・ファブリックを有効にする場合は、roce_leaf_switch_multi.cfgファイルまたはroce_qinq_leaf_switch_multi.cfgファイルをコピーします。

      パッチ・ディレクトリから次のコマンドを2回実行します(SW#の値をRn+1LLおよびRn+1ULに置き換えます)。 

      # cp roce_switch_templates/roce_leaf_switch_multi.cfg roce_leaf_switch_multi_SW#.cfg
    4. リーフ・スイッチ構成ファイルの各コピーを編集して、ループバックIPアドレスを置き換えます。

      テキスト・エディタを使用して、3箇所の%LOOPBACK__IP0%および1箇所の%LOOPBACK__IP1%を、次の表に示されているリーフ・スイッチの正しいIPアドレスに置き換えます。

      スイッチ LEAF_LOOPBACK_IP0 LEAF_LOOPBACK_IP1

      ラック3の下位リーフ・スイッチ(R3LL)

      ラック3の上位リーフ・スイッチ(R3UL)

      100.64.0.105

      100.64.0.106

      100.64.1.105

      100.64.1.106

      ラック4の下位リーフ・スイッチ(R4LL)

      ラック4の上位リーフ・スイッチ(R4UL)

      100.64.0.107

      100.64.0.108

      100.64.1.107

      100.64.1.108

      ラック5の下位リーフ・スイッチ(R5LL)

      ラック5の上位リーフ・スイッチ(R5UL)

      100.64.0.109

      100.64.0.110

      100.64.1.109

      100.64.1.110

      ラック6の下位リーフ・スイッチ(R6LL)

      ラック6の上位リーフ・スイッチ(R6UL)

      100.64.0.111

      100.64.0.112

      100.64.1.111

      100.64.1.112

      ラック7の下位リーフ・スイッチ(R7LL)

      ラック7の上位リーフ・スイッチ(R7UL)

      100.64.0.113

      100.64.0.114

      100.64.1.113

      100.64.1.114

      ラック8の下位リーフ・スイッチ(R8LL)

      ラック8の上位リーフ・スイッチ(R8UL)

      100.64.0.115

      100.64.0.116

      100.64.1.115

      100.64.1.116

      たとえば、既存の4ラック・システムに5番目のラックを追加する場合、ラック5 (R5LL)の下位リーフ・スイッチの構成ファイルは次のようになります。

      ! Define loopback interface for IGP protocol for VTEP reachability
interface loopback0
 description Routing loopback interface
 !ip address 100.64.0.101/32
 ip address 100.64.0.109/32
 ip router ospf UNDERLAY area 0.0.0.0

! Define loopback interface for associating with local VTEP
interface loopback1
 description VTEP loopback interface
 !ip address 100.64.1.101/32
 ip address 100.64.1.109/32
 ip router ospf UNDERLAY area 0.0.0.0

! Configure OSPF as the underlay network
router ospf UNDERLAY
 router-id 100.64.0.109

! change ECMP hash rotate value from default 32 to 40 for better
! router port utilization for upto parallel flows via the 8
! available router ports
ip load-sharing address source-destination port source-destination rotate 40

! - Create BGP route reflector to exchange routes across VTEPs
! Define max config 8 neighbor spines using their loopback IPs
! - BGP peers are located in an autonomous system (AS) that uses
! 4-byte AS numbers. Cisco recommends to pick a high value such
! as 65502 to avoid conflict with future bgp peers.
! - Create a template ‘BasePolicy’ that defines a peer policy
! template to define attributes for a particular address family.
router bgp 65502
 router-id 100.64.0.109
 log-neighbor-changes
    5. 各リーフ・スイッチ構成ファイルのIPアドレス置換を確認します。

      たとえば、5番目のラックを追加する場合、下位リーフ・スイッチ構成ファイル(R5LL)のIPアドレス100.64.0.109および100.64.1.109をチェックし、上位リーフ・スイッチ構成ファイル(R5UL)のIPアドレス100.64.0.110および100.64.1.110をチェックします。

      $ grep 100.64. roce_leaf_switch_multi_R5LL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.109/32
 ip address 100.64.1.109/32
 router-id 100.64.0.109
 router-id 100.64.0.109

$ grep 100.64. roce_leaf_switch_multi_R5UL.cfg | grep -v neighbor | grep -v ‘!’
 ip address 100.64.0.110/32
 ip address 100.64.1.110/32
 router-id 100.64.0.110
 router-id 100.64.0.110
    6. 更新されたマルチラック構成ファイルを新しいラックの対応する各リーフ・スイッチに適用します。

      1. 各リーフ・スイッチにログインして、既存の構成ファイルを削除します。次に例を示します。

        rack5sw-rocea0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack5sw-rocea0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory
        rack5sw-roceb0# delete bootflash:roce_leaf_switch.cfg
Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y

rack5sw-roceb0# delete bootflash:roce_leaf_switch_multi.cfg
No such file or directory

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するリーフ・スイッチにコピーします。次に例を示します。

        # scp roce_leaf_switch_multi_R5LL.cfg admin@rack5sw-rocea0:/
User Access Verification
Password:
roce_leaf_switch_multi_R5LL.cfg 100% 167KB 487.6KB/s 00:00

# scp roce_leaf_switch_multi_R5UL.cfg admin@rack5sw-roceb0:/
User Access Verification
Password:
roce_leaf_switch_multi_R5UL.cfg

      3. 各リーフ・スイッチにログインし、変更したファイルが正常にコピーされたことを確認します。次に例を示します。

        rack5sw-rocea0# dir bootflash:roce_leaf_switch_multi_R5LL.cfg
    171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R5LL.cfg
Usage for bootflash://sup-local
2583580672 bytes used
114139488256 bytes free
116723068928 bytes total

rack5sw-roceb0# dir bootflash:roce_leaf_switch_multi_R5UL.cfg
    171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R5UL.cfg
Usage for bootflash://sup-local
2579836928 bytes used
114143232000 bytes free
116723068928 bytes total

      4. 変更した構成ファイルをフラッシュにコピーします。次に例を示します。

        rack5sw-rocea0# run-script bootflash:roce_leaf_switch_multi_R5LL.cfg | grep 'none'

rack5sw-rocea0# copy running-config startup-config
        rack5sw-roceb0# run-script bootflash:roce_leaf_switch_multi_R5UL.cfg | grep 'none'

rack5sw-roceb0# copy running-config startup-config

        ノート:

        リーフ・スイッチのrun-scriptコマンドは、完了までに約6分かかることがあります。
  6. patchmgrを使用し、RDMAネットワーク・ファブリック・スイッチの構成をゴールデン構成ファイルに対して検証します。
    1. (ステップ4.aで) RDMAネットワーク・ファブリックのパッチZIPファイルをダウンロードしたサーバーにログインします。
    2. patchmgrユーティリティの場所にディレクトリを変更します。
    3. すべてのラックのリーフ・スイッチとスパイン・スイッチのホスト名またはIPアドレスを含むファイルを作成します。
      たとえば、switches.lstという名前のファイルを作成します。このファイルには、各ラックのスパイン・スイッチおよび両方のリーフ・スイッチのホスト名またはIPアドレスが含まれています。各スイッチは新しい行に記述します。
    4. --verify_configオプションを指定してpatchmgrを実行します。

      次のコマンドで、switches.lstは問合せ対象のスイッチが含まれているファイルです。 

      $ ./patchmgr --roceswitches switches.lst --verify-config -log_dir /tmp

2019-11-20 14:12:27 -0800 :Working: Initiate config verify on RoCE switches from . Expect up to 6 minutes for each switch
                                                   

2019-11-20 14:12:30 -0800 1 of 15 :Verifying config on switch rack1sw-rocea0

2019-11-20 14:12:30 -0800: [INFO ] Dumping current running config locally as file: /tmp/run.rack1sw-rocea0.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Backed up switch config successfully
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [1/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch.cfg
2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [2/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [INFO ] Config matches template: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
2019-11-20 14:12:33 -0800: [SUCCESS ] Config validation successful!


2019-11-20 14:12:33 -0800 2 of 15 :Verifying config on switch rack1sw-roceb0
...
  7. 新しいラックRn+1のスイッチの物理的な配線を行います。

    注意:

    重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。
    1. 新しいラックRn+1の各リーフ・スイッチの間にある、8つの既存のスイッチ間接続を取り外します(ポート4、5、6、7および30、31、32、33)。
    2. マルチラック配線表の該当する表に従って、新しいラックでリーフ・スイッチを配線します。

      たとえば、5番目のラックを追加していて、ラックRn+1がR5の場合は、表5-14 5ラック・システムの5番目のラックのリーフ・スイッチ接続を使用します。

  8. 既存のラックのスイッチに新しいラックを追加します(R1からRn)。
    1. 既存のラック(Rx)の場合、マルチラック配線表の該当する表に従って、下部のリーフ・スイッチRxLLを配線します。
    2. 同じラックの場合、マルチラック配線表の該当する表に従って、上位リーフ・スイッチRxULを配線します。
    3. これらのステップを既存の各ラック(R1からRn)で繰り返します。
  9. 各スイッチが使用可能で、接続されていることを確認します。

    ラックR1、R2、…、Rn、Rn+1の各スイッチについて、スイッチのshow interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

    スパイン・スイッチから実行すると、出力は次のようになります。

    rack1sw-roces0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
...

    リーフ・スイッチから実行すると、出力は次のようになります。

    rack1sw-rocea0# show interface status
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
mgmt0         --                 connected routed    full    1000    -- 
--------------------------------------------------------------------------------
Port          Name               Status    Vlan      Duplex  Speed   Type
--------------------------------------------------------------------------------
...
Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
...
Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
...
  10. ラックR1、R2、…、Rn、Rn+1のすべてのスイッチで、近隣探索をチェックします。
    各スイッチにログインし、show lldp neighborsコマンドを使用します。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)をマルチラック配線表の該当する表に対して確認します。

    各スパイン・スイッチでは、各ラックのすべてのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    ノート:

    右端の出力列のインタフェース(Ethernet1/5など)は、該当する配線表に基づいて各スイッチで異なります。 
    rack1sw-roces0# show lldp neighbors | grep roce
rack1sw-roceb0 Eth1/5 120 BR Ethernet1/5
rack2sw-roceb0 Eth1/6 120 BR Ethernet1/5
rack1sw-roceb0 Eth1/7 120 BR Ethernet1/7
rack2sw-roceb0 Eth1/8 120 BR Ethernet1/7
rack1sw-roceb0 Eth1/9 120 BR Ethernet1/4
rack2sw-roceb0 Eth1/10 120 BR Ethernet1/4
rack3sw-roceb0 Eth1/11 120 BR Ethernet1/5
rack3sw-roceb0 Eth1/12 120 BR Ethernet1/7
rack1sw-rocea0 Eth1/13 120 BR Ethernet1/5
rack2sw-rocea0 Eth1/14 120 BR Ethernet1/5
rack1sw-rocea0 Eth1/15 120 BR Ethernet1/7
rack2sw-rocea0 Eth1/16 120 BR Ethernet1/7
rack3sw-rocea0 Eth1/17 120 BR Ethernet1/5
rack2sw-rocea0 Eth1/18 120 BR Ethernet1/4
rack3sw-rocea0 Eth1/19 120 BR Ethernet1/7
rack3sw-rocea0 Eth1/20 120 BR Ethernet1/4

    各リーフ・スイッチでは、すべてのラックのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    ノート:

    右端の出力列のインタフェース(Ethernet1/13など)は、該当する配線表に基づいて各スイッチで異なります。 
    rack1sw-rocea0# show lldp neighbors | grep roce
rack3sw-roces0 Eth1/4 120 BR Ethernet1/13
rack1sw-roces0 Eth1/5 120 BR Ethernet1/13
rack3sw-roces0 Eth1/6 120 BR Ethernet1/15
rack1sw-roces0 Eth1/7 120 BR Ethernet1/15
rack2sw-roces0 Eth1/30 120 BR Ethernet1/17
rack2sw-roces0 Eth1/31 120 BR Ethernet1/13
rack3sw-roces0 Eth1/32 120 BR Ethernet1/17
rack2sw-roces0 Eth1/33 120 BR Ethernet1/15
  11. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
  12. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    Oracle Exadata Rack X8Mのマルチラック配線表の該当する表に対して、verify_roce_cables.pyスクリプトの出力を確認します。また、CABLE OK?列の出力にOKステータスが含まれていることを確認します。

    スクリプトの実行時には、ノード用とスイッチ用の2つの入力ファイルが使用されます。各ファイルには、サーバーまたはスイッチが別々の行に含まれている必要があります。サーバーおよびスイッチごとに完全修飾ドメイン名またはIPアドレスを使用します。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
----------- --------------   --------------------------- : --------   -----------------------    : ---------
Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : OK         rack1sw-roces0 Ethernet1/9 : OK
Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : OK         rack1sw-roces0 Ethernet1/5 : OK
Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : OK         rack1sw-roces0 Ethernet1/11: OK
Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : OK         rack1sw-roces0 Ethernet1/7 : OK
Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
...
Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
...
Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : OK         rack2sw-roces0 Ethernet1/9 : OK
Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : OK         rack2sw-roces0 Ethernet1/5 : OK
Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : OK         rack2sw-roces0 Ethernet1/11: OK
Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : OK         rack2sw-roces0 Ethernet1/7 : OK
  13. infinicheckコマンドを使用して、RoCEネットワーク・ファブリック操作を検証します。

    次の推奨コマンド・シーケンスを使用してください。各コマンドのhosts.lstはデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのカンマ区切りリストを含む入力ファイルの名前で、cells.lstはストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

    • -zオプションを指定してinfinicheckを使用し、前回のinfinicheckコマンドの実行中に作成されたファイルをクリアします。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -z

    • -sオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック全体でパスワードなしSSHのユーザー等価を設定します。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -s

    • 最後に、-bオプションを指定してinfinicheckを使用し、RoCEネットワーク・ファブリック操作を検証します。これは、cellip.oraおよびcellinit.ora構成チェックの抑制が許容される新しくイメージ化されたマシンで推奨されます。次に例を示します。 

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b

INFINICHECK                    
        [Network Connectivity, Configuration and Performance]        
               
          ####  FABRIC TYPE TESTS  #### 
System type identified: RoCE
Verifying User Equivalance of user=root from all DBs to all CELLs.
     ####  RoCE CONFIGURATION TESTS  ####       
     Checking for presence of RoCE devices on all DBs and CELLs 
[SUCCESS].... RoCE devices on all DBs and CELLs look good
     Checking for RoCE Policy Routing settings on all DBs and CELLs 
[SUCCESS].... RoCE Policy Routing settings look good
     Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
[SUCCESS].... RoCE DSCP ToS settings look good
     Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
[SUCCESS].... RoCE PFC and DSCP settings look good
     Checking for RoCE interface MTU settings. Expected value : 2300
[SUCCESS].... RoCE interface MTU settings look good
     Verifying switch advertised DSCP on all DBs and CELLs ports ( )
[SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
    ####  CONNECTIVITY TESTS  ####
    [COMPUTE NODES -> STORAGE CELLS] 
      (60 seconds approx.)       
    (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
[SUCCESS]....... All  can talk to all storage cells          
    [COMPUTE NODES -> COMPUTE NODES]               
...
  14. ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。
2.3.3.3 複数のInfiniBandネットワーク・ファブリック・ラックの配線

InfiniBandネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。

この手順は、InfiniBandネットワーク・ファブリック(X8以前)を使用するシステムを対象としています。

  1. スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
    1. アクティブなシステムで任意のInfiniBandスイッチにログインします。
    2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。

      次の例は、スパイン・スイッチdm01sw-ib1でサブネット・マネージャ・マスターが実行されていることを示しています。 

      # getmaster
20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36
QDR switch dm01sw-ib1.example.com enhanced port 0 lid 1 lmc 0
      スパイン・スイッチでサブネット・マネージャ・マスターが実行されていない場合は、次のステップを実行します。

      1. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。

      2. サブネット・マネージャ・マスターのリーフ・スイッチにrootユーザーとしてログインします。

      3. スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。

      4. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまでステップ1.b.iiと1.b.iiiを繰り返します。

      5. この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。

    3. サブネット・マネージャ・マスター・スパイン・スイッチにログインします。
    4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
    5. setsmpriority 10コマンドを使用して優先度を10に設定します。
    6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
    7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
  2. 新しいラックが既存ラックの近くにあることを確認します。
    InfiniBandケーブルは各ラックのサーバーまで届く必要があります。
  3. 新しいラック(Rn+1)を完全に停止します。
  4. InfiniBandネットワーク・ファブリック(X2からX8)を使用するOracle Exadata Rackモデルのマルチラック配線表の該当する表に従って、新しいラックのリーフ・スイッチを配線します。

    たとえば、ラックRn+1がR4の場合は、表6-9を使用します。

    注意:

    重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。

    新しいInfiniBandトポロジに使用する配線表では、ラックに接続するためにリーフ・スイッチのポートをスパイン・スイッチのポートに接続する方法について説明しています。スパイン・スイッチのこれらのポートの一部は、既存のInfiniBandトポロジをサポートするためにすでに使用されている可能性があります。このような場合、新しいラックのリーフ・スイッチのケーブルのみを接続し、この時点で停止します。終了できなかったケーブルをノートにとります。

    この時点で既存のラックのスパイン・スイッチのケーブルを抜かないでください。ステップ5では、既存のラックでリーフ・スイッチを再度配線する方法について説明します(順に、再度配線されるリーフ・スイッチの電源がオフになります)。これにより、現在使用中のポートが解放されます。この時点で、ケーブルのもう一方の端を、新しいラックのリーフ・スイッチから、表に示されている既存のラックのスパイン・スイッチに接続できます。

  5. 元の各ラックに対して次の手順を実行します。
    このステップで、RxはR1からRnまでのラック番号を表します。
    1. リーフ・スイッチRx IB2の電源をオフにします。
      これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB3にフェイルオーバーされます。
    2. InfiniBandネットワーク・ファブリック(X2からX8)を使用するOracle Exadata Rackモデルのマルチラック配線表に従って、リーフ・スイッチRx IB2を配線します。
    3. リーフ・スイッチRx IB2の電源をオンにします。
    4. Rx IB2が完全に操作状態になるまで少なくとも3分待ちます。

      スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

    5. リーフ・スイッチRx IB3の電源をオフにします。
      これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB2にフェイルオーバーされます。
    6. InfiniBandネットワーク・ファブリック(X2からX8)を使用するOracle Exadata Rackモデルのマルチラック配線表に従って、リーフ・スイッチRx IB3を配線します。
    7. リーフ・スイッチRx IB3の電源をオンにします。
    8. Rx IB3が完全に操作状態になるまで少なくとも3分待ちます。

      スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

  6. 新しいラックのすべてのInfiniBandスイッチの電源をオンにします。
  7. スイッチが完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...Rn+1のIB1、IB2およびIB3に対して(n+1)*3スイッチが出力表示されます。

  8. 任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。
  9. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
  10. スパイン・スイッチR1 IB1にログインし、優先度を8に下げます。
    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。
    2. setsmpriority 8コマンドを使用して優先度を8に設定します。
    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
  11. 任意のスイッチからgetmasterコマンドを使用し、スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
  12. 任意のスイッチから次のコマンドを入力して、各スパイン・スイッチでサブネット・マネージャが実行中であることを確認します。
    ibdiagnet -r

    各スパイン・スイッチは、出力のSummary Fabric SM-state-priorityセクションで実行中と表示されます。スパイン・スイッチが実行中でない場合は、スイッチにログインし、enablesmコマンドを使用してサブネット・マネージャを有効化します。

  13. 現在、4つ以上のラックがある場合は、各ラックのリーフ・スイッチにログインし、disablesmコマンドを使用してサブネット・マネージャを無効化します。

親トピック: 複数のラックの配線