2 ハードウェアの拡張

Oracle Exadata Database Machineは、クオータ・ラックからハーフ・ラック、ハーフ・ラックからフル・ラックに拡張したり、ラック同士を配線することによって拡張できます。

すべての新しい機器は、カスタマ・サポートID(CSI)を受け取ります。Oracle Engineered System Rackの新しい機器には、新しいCSIがあります。新しいCSIと既存のOracle Engineered System Rack CSIを調整する場合は、Oracleサポート・サービスに連絡してください。Oracleサポート・サービスに連絡する場合は、元のインスタンス番号または使用可能なシリアル番号、および新しい番号をお手元に用意してください。

• Oracle Engineered System X4-2以降でのエイス・ラックからクオータ・ラックへの拡張
  
• Oracle Exadata Database Machine X3-2でのエイス・ラックからクオータ・ラックへの拡張
  
• エラスティック構成の拡張
  Oracle Engineered Systemは、Oracle Exadata Configuration Assistant (OECA)で定義されているように、最大でラックの容量までの多数のデータベース・サーバーおよびストレージ・サーバーで構成されるエラスティック構成で使用できます。
• 別のラックの追加によるラックの拡張
  別のラックの追加によるOracle Engineered System Rackの拡張では、ラックの配線と構成を一緒に行います。

2.1 Oracle Engineered System X4-2以降でのエイス・ラックからクオータ・ラックへの拡張

Oracle Engineered System X4-2またはX5-2をエイス・ラックからクオータ・ラックに拡張するには、ソフトウェアを使用します。ラックの拡張にハードウェアを変更する必要はありません。

ただし、その他のOracle Engineered Systemバージョンでは、ハードウェアの変更が必要になる場合があります。詳細は、Oracle Exadata Database Machine X6-2: 大容量ディスクおよびフラッシュ・カードの追加およびOracle Engineered System X7-2、X8-2、X8M: エイス・ラック・システムからクオータ・ラックへのアップグレードを参照してください。

この手順は、ローリング・データベース停止以外に停止時間または停止を発生することなく実行できます。

注意:

次の手順でディスク・グループの名前およびサイズは例です。実際のシステムに合せて、コマンドの値を変更するようにしてください。

この手順では、最初のデータベース・サーバーおよび他のすべてのデータベース・サーバーのrootユーザーと、すべてのストレージ・セルのcelladminユーザーの間にユーザー等価が存在すると仮定しています。

セル・ホスト名とデータベース・サーバー・ホスト名それぞれのリストを含むテキスト・ファイルcell_groupおよびdb_groupを作成する必要があります。

• エイス・ラックのOracle Exadata Database Machine X4-2以降の現在の構成の確認と検証
  次の手順では、現在の構成を確認および検証する方法について説明します。
• エイス・ラックのOracle Exadata Database Machine X4-2以降のデータベース・サーバー・コアのアクティブ化
  次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。
• Oracle Exadata Database Machine X6-2: 大容量ディスクおよびフラッシュ・カードの追加
  
• Oracle Engineered System X7-2、X8-2、X8M: エイスラック・システムからクオータ・ラックへのアップグレード
  
• エイス・ラックのOracle Exadata Database Machine X4-2以降のストレージ・サーバー・コアおよびディスクのアクティブ化
  次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。
• エイス・ラックのOracle Exadata Database Machine X4-2以降のグリッド・ディスクの作成
  グリッド・ディスクの作成では、適切なオフセットを確保するために特定の順序に従う必要があります。
• エイス・ラックのOracle Exadata Database Machine X4-2以降のグリッド・ディスクのOracle ASMディスク・グループへの追加
  次の手順では、グリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。
• Oracle Exadata Database Machine X4-2以降の新しいクオータ・ラック構成の検証
  Oracle ASMディスク・グループにグリッド・ディスクを追加したら、構成を検証します。

2.1.1 エイス・ラックのOracle Exadata Database Machine X4-2以降の現在の構成の確認と検証

次の手順では、現在の構成を確認および検証する方法について説明します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. 次のコマンドを使用して、データベース・サーバーの現在の構成を確認します。

   # dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
   

   たとえば、Oracle Exadata Database Machine X5-2エイス・ラックの場合、コマンドの出力は次のようになります。

   dm01db01: 18
   dm01db02: 18
   

   注意:

   Oracle Exadata Database Machine X5-2エイス・ラック・データベース・サーバーのアクティブ・コア数は18です。Oracle Exadata Database Machine X4-2エイス・ラック・データベース・サーバーのアクティブ・コア数は12です。

   エイス・ラックに構成されているデータベース・サーバーのコア数が異なる場合は、Oracleサポート・サービスに問い合せてください。

3. 次のコマンドを使用して、ストレージ・サーバーの現在の構成を確認します。予想される出力はTRUEです。

   # dcli -g cell_group -l celladmin 'cellcli -e LIST CELL attributes eighthrack'
   

2.1.2 エイス・ラックのOracle Exadata Database Machine X4-2以降のデータベース・サーバー・コアのアクティブ化

次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. データベース・サーバー・グループで、次のdcliユーティリティ・コマンドを使用してすべてのデータベース・サーバー・コアをアクティブにします。

   # dcli -g db_group -l root  'dbmcli  -e    \
   ALTER DBSERVER pendingCoreCount = number_of_cores'
   

   前述のコマンドで、number_of_coresは、アクティブ化するコアの合計数です。この値には、既存のコア数とアクティブ化する追加のコア数が含まれます。次のコマンドは、Oracle Exadata Database Machine X5-2エイス・ラックのすべてのコアをアクティブ化します。

   # dcli -g db_group -l root 'dbmcli -e ALTER DBSERVER pendingCoreCount = 36'
   

   各サーバー・モデルでサポートされるコア数の詳細は、Oracle Exadata Database Machineのキャパシティ・オンデマンドの制限に関する項を参照してください

3. 各データベース・サーバーを再起動します。

   注意:

   Oracle DatabaseとOracle Grid Infrastructureがアクティブな状態でローリング方式でこの手順を実行する場合は、データベース・サーバーを再起動する前に次の点を確認してください。

   • すべてのOracle ASMグリッド・ディスクがオンラインになっていること。

   • アクティブなOracle ASMリバランス操作がないこと。リバランス操作のステータスを確認するには、V$ASM_OPERATIONビューに問い合せます。

   • Oracle DatabaseとOracle Grid Infrastructureを適切な方法で停止し、必要であればサービスをフェイルオーバーすること。

4. 再起動が完了して次のサーバーに進む前に、データベース・サーバーで次の点を確認します。

   • Oracle DatabaseとOracle Grid Infrastructureサービスがアクティブであること。

     『Oracle Real Application Clusters管理およびデプロイメント・ガイド』のインスタンスが実行中であることを確認するためのSRVCTLの使用に関する項およびcrsctl status resource –w "TARGET = ONLINE" —tコマンドを参照してください。

   • アクティブ・コア数が正しいこと。dbmcli -e list dbserver attributes coreCountコマンドを使用して、コア数を確認します。

関連項目:

• ディスクのオフラインとオンラインの切替え

• 『Oracle Real Application Clusters管理およびデプロイメント・ガイド』のSRVCTLを使用した1つ以上のインスタンスおよびOracle RACデータベースの停止に関する項

• crsctl stop cluster

• データベース・サーバーのアクティブ・コア数の増加

2.1.3 Oracle Exadata Database Machine X6-2: 大容量ディスクおよびフラッシュ・カードの追加

Oracle Exadata Database Machine X6-2エイス・ラック大容量システムのアップグレードではハードウェアの変更が必要になりますが、X6-2 Extreme Flashのアップグレードの場合は必要ありません。

2.1.4 Oracle Engineered System X7-2、X8-2、X8M: エイスラック・システムからクオータ・ラックへのアップグレード

Oracle Engineered System X7-2、X8-2またはX8M-2エイス・ラック・システムのアップグレードには、ハードウェアの変更が必要になります。エイス・ラックのデータベース・サーバーでは、CPUの1つがなくなり、CPU1のすべてのメモリーがCPU0に移動されています。ストレージ・サーバーは半分のコアが有効で、ディスクとフラッシュ・カードの半分が取り外されています。

Extreme Flashストレージ・サーバーを搭載したOracle Engineered System X7-2、X8-2またはX8Mエイス・ラック・システムでは、CPUおよびフラッシュ・カードを追加して、システムをクオータ・ラックに拡張できます。

大容量ストレージ・サーバーを搭載したOracle Engineered System X7-2、X8-2またはX8M-2エイス・ラック・システムの場合は、CPUおよびメモリーをデータベース・サーバーおよびエイス・ラック高容量ストレージ・サーバーに追加してシステムを拡張できます。

1. Exadata X7-2、X8-2またはX8M-2データベース・サーバーで、CPU1を取り付け、CPU0のメモリーの半分をCPU1に移動し、10/25GbE PCIカードをPCIeスロット1に移動します。

2. Exadata X7-2、X8-2またはX8M-2 Extreme Flashストレージ・サーバーで、4個のF640/F640v2フラッシュ・カードをPCIeスロット2、3、8および9に取り付けます。

2.1.5 エイス・ラックのOracle Exadata Database Machine X4-2以降のストレージ・サーバー・コアおよびディスクのアクティブ化

次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. 次のコマンドを使用してストレージ・サーバー・グループのコアをアクティブ化します。このコマンドはdcliユーティリティを使用し、celladminユーザーとして実行します。

   # dcli -g cell_group -l celladmin cellcli -e "alter cell eighthRack=false"
   

3. 次のコマンドを使用して、セル・ディスクを作成します。

   # dcli -g cell_group -l celladmin cellcli -e  "create celldisk all"
   

4. 次のコマンドを使用して、フラッシュ・ログを再作成します。

   # dcli -g cell_group -l celladmin cellcli -e  "drop flashlog all force"
   # dcli -g cell_group -l celladmin cellcli -e  "create flashlog all"
   

5. 次のコマンドを使用して、フラッシュ・キャッシュを拡張します。

   # dcli -g cell_group -l celladmin cellcli -e  "alter flashcache all"
   

2.1.6 エイス・ラックのOracle Exadata Database Machine X4-2以降のグリッド・ディスクの作成

適切なオフセットを確保するために、グリッド・ディスクの作成は特定の順序で行う必要があります。

グリッド・ディスク作成の順序は、グリッド・ディスクが最初に作成された順序と同じにしてください。Oracle Exadata Deployment Assistantを使用する標準デプロイメントの場合は、DATA、RECO、DBFS_DGの順です。すべてのDATAグリッド・ディスクをまず作成し、次にRECOグリッド・ディスク、さらにDBFS_DGグリッド・ディスクを作成します。

次の手順では、グリッド・ディスクを作成する方法について説明します。

注意:

この手順で示すコマンドでは、標準のデプロイメント・グリッド・ディスク接頭辞名DATA、RECOおよびDBFS_DGを使用しています。サイズのチェックはセル・ディスク02で行います。セル・ディスク02を使用するのは、セル・ディスク00および01のディスク・レイアウトがサーバーの他のセル・ディスクとは異なるためです。

1. 次のコマンドを使用して、グリッド・ディスクのサイズをチェックします。同じグリッド・ディスク接頭辞で開始するグリッド・ディスクでは各セルが同じサイズを返します。

   # dcli -g cell_group -l celladmin cellcli -e    \
   "list griddisk attributes name, size where name like \'DATA.*_02_.*\'"
   
   # dcli -g cell_group -l celladmin cellcli -e    \
   "list griddisk attributes name, size where name like \'RECO.*_02_.*\'"
   
   # dcli -g cell_group -l celladmin cellcli -e    \
   "list griddisk attributes name, size where name like \'DBFS_DG.*_02_.*\'" 
   

   表示されるサイズは、グリッド・ディスク作成で使用します。

2. ステップ1で表示したサイズを使用してディスク・グループのグリッド・ディスクを作成します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。

表2-1 Oracle Exadata Database Machine X4-2以降のエイス・ラックを拡張する際にディスク・グループを作成するコマンド

ラック	コマンド
Extreme Flash Oracle Exadata Database Machine X5-2以降	dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=dbfssize, \ cachingPolicy=none"
High Capacity Oracle Exadata Database Machine X5-2またはOracle Exadata Database Machine X4-2以降	dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=dbfssize, \ cachingPolicy=none"

2.1.7 エイス・ラックのOracle Exadata Database Machine X4-2以降のグリッド・ディスクのOracle ASMディスク・グループへの追加

次の手順では、グリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。

エイス・ラックのOracle Exadata Database Machine X4-2以降のグリッド・ディスクの作成で作成されたグリッド・ディスクは、対応する既存のOracle ASMディスク・グループにOracle ASMディスクとして追加する必要があります。

1. 次を検証します。

   • リバランス操作が現在実行していないこと。
   • すべてのOracle ASMディスクがアクティブになっていること。

2. Oracle Grid Infrastructureソフトウェアを実行している所有者として、最初のデータベース・サーバーにログインします。

3. サーバーの+ASMインスタンスにアクセスするように環境を設定します。

4. 次のコマンドを使用して、ASMインスタンスにsysasmユーザーとしてログインします。

   $ sqlplus / as sysasm
   

5. 次のように現在の設定を検証します。

   SQL> set lines 100
   SQL> column attribute format a20
   SQL> column value format a20
   SQL> column diskgroup format a20
   SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup
   FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG
   WHERE DG.group_number=att.group_number AND att.name LIKE '%appliance.mode%'
   ORDER BY att.group_number;

   出力は次のようになります。

   ATTRIBUTE            VALUE                DISKGROUP
   -------------------- -------------------- --------------------
   appliance.mode       TRUE                 DATAC1
   appliance.mode       TRUE                 DBFS_DG
   appliance.mode       TRUE                 RECOC1
   

6. 次のコマンドを使用して、TRUEが表示されたすべてのディスク・グループのappliance.mode属性を無効化します。

   SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='FALSE';
   SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='FALSE';
   SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='FALSE';
   

   このコマンドで、data_diskgroup、reco_diskgroupおよびdbfs_dg_diskgroupは、それぞれDATA、RECOおよびDBFS_DGディスク・グループの名前です。

7. グリッド・ディスクをOracle ASMディスク・グループに追加します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。新しいディスクを調整するとシステムのリバランスが必要になります。

   表2-2 エイス・ラックのOracle Exadata Database Machine X4-2以降を拡張する際にディスク・グループを追加するコマンド

   ラック	コマンド
   Extreme Flash Oracle Exadata Database Machine X5-2以降	SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_FD_0[4-7]*' \ REBALANCE POWER 32; SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_FD_0[4-7]*' \ REBALANCE POWER 32; SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK 'o/*/DBFS_DG_FD_0[4-7]*'\ REBALANCE POWER 32;
   High Capacity Oracle Exadata Database Machine X5-2またはOracle Exadata Database Machine X4-2以降	SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_CD_0[6-9]*',' \ o/*/DATA_CD_1[0-1]*' REBALANCE POWER 32; SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_CD_0[6-9]*',' \ o/*/RECO_CD_1[0-1]*' REBALANCE POWER 32; SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK ' \ o/*/DBFS_DG_CD_0[6-9]*',' o/*/DBFS_DG_CD_1[0-1]*' REBALANCE POWER 32;

   成功すると、前述のコマンドによってDiskgroup alteredが返されます。

8. (オプション)次のコマンドを使用して、現在のリバランス操作を監視します。

   SQL> SELECT * FROM  gv$asm_operation;
   

9. 次のコマンドを使用して、appliance.mode属性を有効化します(ステップ6で無効化した場合)。

   SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='TRUE';
   SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='TRUE';
   SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='TRUE';
   

2.1.8 Oracle Exadata Database Machine X4-2以降の新しいクオータ・ラック構成の検証

グリッド・ディスクをOracle ASMディスク・グループに追加したら構成を検証します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. 次のコマンドを使用して、コア数をチェックします。

   # dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
   

3. 次のコマンドを使用して、ストレージ・サーバーの構成を確認します。

   # dcli -g cell_group -l celladmin 'cellcli -e list cell attributes eighthrack'
   

   出力はFALSEになる必要があります。

4. 次のコマンドを使用して、各ディスク・グループのアプライアンス・モードを確認します。

   SQL> set lines 100
   SQL> column attribute format a20
   SQL> column value format a20
   SQL> column diskgroup format a20
   SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup    \
   FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG                                 \
   WHERE DG.group_number = att.group_number AND                                 \
   att.name LIKE '%appliance.mode%' ORDER BY DG.group_number;
   

5. 次のコマンドを使用して、Oracle ASMディスクの数を検証します。

   SQL> SELECT g.name,d.failgroup,d.mode_status,count(*)                      \
   FROM v$asm_diskgroup g, v$asm_disk d                                       \
   WHERE d.group_number=g.group_number                                        \
   GROUP BY g.name,d.failgroup,d.mode_status;
   
   NAME                             FAILGROUP                           MODE_ST  COUNT(*)
   ------------------------- ----------------------------- ------- ----------
   DATAC1                    EXA01CELADM01                 ONLINE          12
   DATAC1                    EXA01CELADM02                 ONLINE          12
   DATAC1                    EXA01CELADM03                 ONLINE          12
   RECOC1                    EXA01CELADM01                 ONLINE          12
   RECOC1                    EXA01CELADM02                 ONLINE          12
   RECOC1                    EXA01CELADM03                 ONLINE          12
   RECOC2                    EXA01CELADM01                 ONLINE          12
   RECOC2                    EXA01CELADM02                 ONLINE          12
   RECOC2                    EXA01CELADM03                 ONLINE          12
   DBFS_DG                   EXA01CELADM01                 ONLINE          10
   DBFS_DG                   EXA01CELADM02                 ONLINE          10
   DBFS_DG                   EXA01CELADM03                 ONLINE          10

   すべての2ソケット・システム(エイス・ラック構成を除く)では、どのシステム・モデルでも、セルごとに12個のディスクが搭載されます。エイス・ラック構成では、セルごとに6個のディスクが搭載されます。

2.2 Oracle Exadata Database Machine X3-2でのエイス・ラックからクオータ・ラックへの拡張

Oracle Exadata Database Machine X3-2以前のラックをエイス・ラックからクオータ・ラックに拡張するには、ソフトウェアを使用します。ラックの拡張にハードウェアを変更する必要はありません。この手順は、ローリング・データベース停止以外に停止時間または停止を発生することなく実行できます。この項の次の手順で、Oracle Exadata Database Machine X3-2のエイス・ラックをクオータ・ラックに拡張する方法について説明します。

• Oracle Exadata Database Machine X3-2エイス・ラックでの現在の構成の確認と検証
  
• Oracle Exadata Database Machine X3-2エイス・ラックのデータベース・サーバー・コアのアクティブ化
  このタスクでは、キャパシティオンデマンドでデータベース・サーバー・コアをアクティブ化する方法について説明します。
• Oracle Exadata Database Machine X3-2エイス・ラックのストレージ・サーバー・コアおよびディスクのアクティブ化
  
• Oracle Exadata Database Machine X3-2エイス・ラックでのグリッド・ディスクの作成
  グリッド・ディスクの作成では、適切なオフセットを確保するために特定の順序に従う必要があります。
• Oracle Exadata Database Machine X3-2エイス・ラックでのグリッド・ディスクのOracle ASMディスク・グループへの追加
  この手順では、グリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。
• 新しいOracle Exadata Database Machine X3-2クオータ・ラックの構成の検証
  

2.2.1 Oracle Exadata Database Machine X3-2エイス・ラックでの現在の構成の確認と検証

次の手順では、現在の構成を確認および検証する方法について説明します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. 次のコマンドを使用して、データベース・サーバーの現在の構成を確認します。

   # dcli -g db_group -l root /opt/oracle.SupportTools/resourcecontrol -show
   

   次に、コマンドの出力例を示します。

   dm01db01: [INFO] Validated hardware and OS. Proceed.
   dm01db01:
   dm01db01: system_bios_version:  25010600
   dm01db01: restore_status:  Ok
   dm01db01: config_sync_status:  Ok
   dm01db01: reset_to_defaults: Off
   dm01db01: [SHOW] Number of cores active per socket: 4
   dm01db02: [INFO] Validated hardware and OS. Proceed.
   dm01db02:
   dm01db02: system_bios_version:  25010600
   dm01db02: restore_status:  Ok
   dm01db02: config_sync_status:  Ok
   dm01db02: reset_to_defaults: Off
   dm01db02: [SHOW] Number of cores active per socket: 4
   

   注意:

   Oracle Exadata Database Machine X3-2エイス・ラック・データベース・サーバーのアクティブ・コア数は4です。

   エイス・ラックに構成されているデータベース・サーバーのコア数が異なる場合は、Oracleサポート・サービスに問い合せてください。

   この手順を続行する前に、restore_statusおよびconfig_sync_statusの出力が「OK」と表示されていることを確認してください。

3. 次のコマンドを使用して、ストレージ・サーバーの現在の構成を確認します。予想される出力はTRUEです。

   # dcli -g cell_group -l celladmin 'cellcli -e LIST CELL attributes eighthrack'
   

4. 次のコマンドを使用して、フラッシュ・ディスクがOracle ASMディスク・グループで使用されないようにします。フラッシュ・キャッシュは、この手順で削除されて再作成されます。

   # dcli -g cell_group -l celladmin cellcli -e  "list griddisk attributes   \
   asmDiskgroupName,asmDiskName,diskType where diskType ='FlashDisk'         \
   and asmDiskgroupName !=null"
   

   このコマンドでは、行は返されません。

2.2.2 Oracle Exadata Database Machine X3-2エイス・ラックのデータベース・サーバー・コアのアクティブ化

このタスクでは、キャパシティオンデマンドでデータベース・サーバー・コアをアクティブ化する方法について説明します。

:

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. データベース・サーバー・グループで、次のdcliユーティリティ・コマンドを使用してすべてのデータベース・サーバー・コアをアクティブにします。

   # dcli -g db_group -l root /opt/oracle.SupportTools/resourcecontrol      \
   -core number_of_cores 
   

   前述のコマンドで、number_of_coresは、アクティブ化するコアの合計数です。すべてのコアをアクティブ化するには、コア数としてAllを入力します。

3. 次のコマンドを使用して、ローリング方式でデータベース・サーバーを再起動します。

   # shutdown -r now
   

   注意:

   ストレージ・サーバー・コアおよびディスクをアクティブ化する前に、restore_statusとconfig_sync_statusの出力がOkであることを確認します。再起動後、BIOSからステータスを取得するには、数分かかる場合があります。

2.2.3 Oracle Exadata Database Machine X3-2エイス・ラックのストレージ・サーバー・コアおよびディスクのアクティブ化

次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. 次のコマンドを使用してストレージ・サーバー・グループのコアをアクティブ化します。このコマンドはdcliユーティリティを使用し、celladminユーザーとして実行します。

   # dcli -g cell_group -l celladmin cellcli -e "alter cell eighthRack=false"
   

3. 次のコマンドを使用して、セル・ディスクを作成します。

   # dcli -g cell_group -l celladmin cellcli -e  "create celldisk all"
   

4. 次のコマンドを使用して、フラッシュ・ログを再作成します。

   # dcli -g cell_group -l celladmin cellcli -e  "drop flashlog all force"
   # dcli -g cell_group -l celladmin cellcli -e  "create flashlog all"
   

5. 次のコマンドを使用して、フラッシュ・キャッシュを拡張します。

   # dcli -g cell_group -l celladmin cellcli -e  "alter flashcache all"
   

2.2.4 Oracle Exadata Database Machine X3-2エイス・ラックでのグリッド・ディスクの作成

適切なオフセットを確保するために、グリッド・ディスクの作成は特定の順序で行う必要があります。

グリッド・ディスク作成の順序は、グリッド・ディスクが最初に作成された順序と同じにしてください。Oracle Exadata Deployment Assistantを使用する標準デプロイメントの場合は、DATA、RECO、DBFS_DGの順です。すべてのDATAグリッド・ディスクをまず作成し、次にRECOグリッド・ディスク、さらにDBFS_DGグリッド・ディスクを作成します。

次の手順では、グリッド・ディスクを作成する方法について説明します。

注意:

この手順で示すコマンドでは、標準のデプロイメント・グリッド・ディスク接頭辞名DATA、RECOおよびDBFS_DGを使用しています。サイズのチェックはセル・ディスク02で行います。セル・ディスク02を使用するのは、セル・ディスク00および01のディスク・レイアウトがサーバーの他のセル・ディスクとは異なるためです。

1. 次のコマンドを使用して、グリッド・ディスクのサイズをチェックします。同じグリッド・ディスク接頭辞で開始するグリッド・ディスクでは各セルが同じサイズを返します。

   # dcli -g cell_group -l celladmin cellcli -e    \
   "list griddisk attributes name, size where name like \'DATA.*02.*\'"
   
   # dcli -g cell_group -l celladmin cellcli -e    \
   "list griddisk attributes name, size where name like \'RECO.*02.*\'"
   
   # dcli -g cell_group -l celladmin cellcli -e    \
   "list griddisk attributes name, size where name like \'DBFS_DG.*02.*\'" 
   

   表示されるサイズは、グリッド・ディスク作成で使用します。

2. ステップ1で表示したサイズを使用してディスク・グループのグリッド・ディスクを作成します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。

   表2-3 Oracle Exadata Database Machine X3-2エイス・ラックを拡張する際にディスク・グループを作成するコマンド

   ラック

   コマンド

   High PerformanceまたはHigh Capacity Oracle Exadata Database Machine X3-2

   dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_06_\`hostname -s\` celldisk=CD_06_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_07_\`hostname -s\` celldisk=CD_07_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_08_\`hostname -s\` celldisk=CD_08_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_09_\`hostname -s\` celldisk=CD_09_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_10_\`hostname -s\` celldisk=CD_10_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_11_\`hostname -s\` celldisk=CD_11_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_06_\`hostname -s\` celldisk=CD_06_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_07_\`hostname -s\` celldisk=CD_07_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_08_\`hostname -s\` celldisk=CD_08_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_09_\`hostname -s\` celldisk=CD_09_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_10_\`hostname -s\` celldisk=CD_10_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_11_\`hostname -s\` celldisk=CD_11_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_06_\`hostname -s\` celldisk=CD_06_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_07_\`hostname -s\` celldisk=CD_07_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_08_\`hostname -s\` celldisk=CD_08_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_09_\`hostname -s\` celldisk=CD_09_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_10_\`hostname -s\` celldisk=CD_10_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_11_\`hostname -s\` celldisk=CD_11_\`hostname -s\`,size=dbfssize"

2.2.5 Oracle Exadata Database Machine X3-2エイス・ラックでのグリッド・ディスクのOracle ASMディスク・グループへの追加

この手順では、グリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。

Oracle Exadata Database Machine X3-2エイス・ラックでのグリッド・ディスクの作成で作成されたグリッド・ディスクは、対応する既存のOracle ASMディスク・グループにOracle ASMディスクとして追加する必要があります。

1. 次を検証します。

   • リバランス操作が現在実行していないこと。

   • すべてのOracle ASMディスクがアクティブになっていること。

2. Oracle Grid Infrastructureソフトウェアを実行している所有者として、最初のデータベース・サーバーにログインします。

3. サーバーの+ASMインスタンスにアクセスするように環境を設定します。

4. 次のコマンドを使用して、ASMインスタンスにsysasmユーザーとしてログインします。

   $ sqlplus / as sysasm
   

5. 次のように現在の設定を検証します。

   SQL> set lines 100
   SQL> column attribute format a20
   SQL> column value format a20
   SQL> column diskgroup format a20
   SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup   \
   FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP  DG                               \
   WHERE DG.group_number = att.group_number AND                                \
   att.name LIKE '%appliance.mode%' ORDER BY att.group_number;
   

   出力は次のようになります。

   ATTRIBUTE            VALUE                DISKGROUP
   -------------------- -------------------- --------------------
   appliance.mode       TRUE                 DATAC1
   appliance.mode       TRUE                 DBFS_DG
   appliance.mode       TRUE                 RECOC1
   

6. 次のコマンドを使用して、TRUEが表示されたすべてのディスク・グループのappliance.mode属性を無効化します。

   SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='FALSE';
   SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='FALSE';
   SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='FALSE';
   

   このコマンドで、data_diskgroup、reco_diskgroupおよびdbfs_dg_diskgroupは、それぞれDATA、RECOおよびDBFS_DGディスク・グループの名前です。

7. グリッド・ディスクをOracle ASMディスク・グループに追加します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。新しいディスクを調整するとシステムのリバランスが必要になります。

   表2-4 Oracle Exadata Database Machine X3-2エイス・ラックを拡張する際にディスク・グループを追加するコマンド

   ラック	コマンド
   High CapacityまたはHigh Performance Oracle Exadata Database Machine X3-2	SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_CD_0[6-9]*',' \ o/*/DATA_CD_1[0-1]*' REBALANCE POWER 32; SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_CD_0[6-9]*',' \ o/*/RECO_CD_1[0-1]*' REBALANCE POWER 32; SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK ' \ o/*/DBFS_DG_CD_0[6-9]*',' o/*/DBFS_DG_CD_1[0-1]*' REBALANCE POWER 32;

   成功すると、前述のコマンドによってDiskgroup alteredが返されます。

8. (オプション)次のコマンドを使用して、現在のリバランス操作を監視します。

   SQL> SELECT * FROM  gv$asm_operation;
   

9. 次のコマンドを使用して、appliance.mode属性を有効化します(ステップ6で無効化した場合)。

   SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='TRUE';
   SQL> ALTER DISKGROUP recodiskgroup set attribute 'appliance.mode'='TRUE';
   SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='TRUE';
   

2.2.6 新しいOracle Exadata Database Machine X3-2クオータ・ラックの構成の検証

グリッド・ディスクをOracle ASMディスク・グループに追加したら構成を検証します。次の手順では、構成を検証する方法について説明します。

1. 最初のデータベース・サーバーにrootユーザーとしてログインします。

2. 次のコマンドを使用して、コア数をチェックします。

   # dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
   

3. 次のコマンドを使用して、ストレージ・サーバーの構成を確認します。

   # dcli -g cell_group -l celladmin 'cellcli -e list cell attributes eighthrack'
   

   出力はFALSEになる必要があります。

4. 次のコマンドを使用して、各ディスク・グループのアプライアンス・モードを確認します。

   SQL> set lines 100
   SQL> column attribute format a20
   SQL> column value format a20
   SQL> column diskgroup format a20
   SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup    \
   FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP  DG                                \
   WHERE DG.group_number =att.group_number AND                                  \
   att.name LIKE '%appliance.mode%' ORDER BY DG.group_number;
   

5. 次のコマンドを使用して、Oracle ASMディスクの数を検証します。

   SQL> SELECT g.name,d.failgroup,d.mode_status,count(*)                      \
   FROM v$asm_diskgroup g, v$asm_disk d                                       \
   WHERE d.group_number=g.group_number                                        \
   GROUP BY g.name,d.failgroup,d.mode_status;
   

2.3 エラスティック構成の拡張

Oracle Engineered Systemは、Oracle Exadata Configuration Assistant (OECA)で定義されているように、最大でラックの容量までの多数のデータベース・サーバーおよびストレージ・サーバーで構成されるエラスティック構成で使用できます。

領域が使用可能な場合は、追加のデータベースおよびストレージ・サーバーを追加できます。詳細は、OECAを参照してください。アップグレード・プロセスには、新しいサーバーとケーブルの追加が含まれます。

注意:

マシンがオンラインのときに停止することなくハードウェアを拡張できます。ただし、十分に注意する必要があります。また、ハードウェアを拡張する前に既存のスイッチおよびサーバーのパッチを適用する必要があります。

• ドアの取外し
  この手順では、Oracle Engineered Systemのドアを取り外す方法について説明します。
• 新しいスイッチの追加
  増加するリソース要件に応じて、新しいRDMAネットワーク・ファブリック・スイッチを個別に追加できます。
• 新しいサーバーの追加
  エイス・ラックではないシステムの場合、容量がいっぱいでないOracle Engineered System Rackに新しいサーバーを追加できます。
• データベース・サーバーの配線
  
• ストレージ・サーバーの配線
  新しいストレージ・サーバーを設置したら、既存の機器に接続する必要があります。
• ラックを閉じる
  新しい機器を設置した後、パネルを交換してラックを閉じる必要があります。

2.3.1 ドアの取外し

この手順では、Oracle Engineered Systemのドアを取り外す方法について説明します。

注意:

Oracle Engineered System X7システムについては、次を参照してください

• Oracle Engineered SystemのX7ラックにハードウェアを追加する場合は、Oracle Rack Cabinet 1242ユーザーズ・ガイドのドアの取り外し(https://docs.oracle.com/cd/E85660_01/html/E87280/gshfw.html#scrolltoc)を参照してください。

• 以前のOracle Engineered Systemラックにハードウェアを追加する場合は、Sun Rack IIユーザーズ・ガイドのドアの取り外し(https://docs.oracle.com/cd/E19657-01/html/E29153/z40004911007624.html#scrolltoc)を参照してください。

2.3.2 新しいスイッチの追加

増加するリソース要件に応じて、新しいRDMAネットワーク・ファブリック・スイッチを個別に追加できます。

X8MとRDMA over RoCE Network Fabricの場合と、X8以前とRDMA over InfiniBand Network Fabricの場合とでは、その手順は異なります。

• Cisco Nexus 9336C Switchの追加(オプション)
  
• Sun Datacenter InfiniBand Switch 36の追加(オプション)
  

2.3.2.1 Cisco Nexus 9336C Switchの追加(オプション)

この手順は、X8MとRDMA over RoCE Network Fabricの場合に使用します。

• Oracle Engineered System X8M-2を別のX8M-2に拡張します。

• Oracle Engineered System X8M-8を別のX8M-8に拡張します。

• X8以前には適用できません。

注意:

この手順のステップは、Oracle Engineered Systemに固有のものです。Cicso Nexusマニュアルのステップとは異なります。

1. Cisco Nexusスイッチのコンポーネントを梱包箱から取り出します。次の項目が梱包箱にあります。

   • Cisco Nexus 9336C-FX2 Switch

   • ケーブル金具およびラック取付けキット

   • ケーブル管理金具およびカバー

   • 2つのラック・レール構成部品

   • 各種ねじおよび係留ナット

   • Cisco Nexus 9336C-FX2 Switchのドキュメント

   スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。

2. RU1のラックからトラフを取り外します。RDMAネットワーク・ファブリック・スイッチの設置中は、ケーブルを脇に置きます。トラフは破棄できます。

3. 適切な穴に各ラック・レールのケージ・ナットを設置します。

4. カットアウト付きの金具をスイッチの電源側に取り付けます。

5. C金具をスイッチのポート側に取り付けます。

6. 前面からラックの途中までスイッチをスライドします。右側のC金具をとおして2本の電源コードを抜く間、できるだけスイッチをラックの左側に保持します。

7. ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。

8. スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。

9. 組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。

   1. ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。

   2. ケーブル・アーム金具を正しい位置まで回転します。

   3. 上のねじを設置します。

   4. 両方のねじを締めます。

   できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。

10. 前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。

11. スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。

12. スイッチの後部にケーブル管理アームの下部を設置します。

13. ケーブルを適切なポートに接続します。

14. ケーブル管理アームの上部を設置します。

15. ラックU2のサーバーをラックにスライドします。

16. 電源コードを前面のスイッチ電源装置スロットに取り付けます。

17. 通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。

関連項目:

• ラック・レイアウトを確認するには、『Oracle Exadata Database Machineシステム概要』を参照してください。

• ネットワーク・ケーブルの詳細は、Oracle Exadata Database Machineシステム概要を参照してください。

2.3.2.2 Sun Datacenter InfiniBand Switch 36の追加(オプション)

この手順は、X8以前とRDMA over InfiniBand Network Fabricの場合に使用します。

• これは、Oracle Engineered System X8Mには適用されません。

• Sun Fire X4170 Oracle Database Serverを使用するラックからOracle Exadata Database Machineハーフ・ラックまたはOracle Exadata Database Machineフル・ラックへのアップグレード。

• クオータ・ラックまたはエイス・ラックの拡張。

• Oracle Exadata Database Machine X4-2ラックの拡張。

注意:

この手順のステップは、Oracle Exadata Database Machineに固有のものです。Sun Datacenter InfiniBand Switch 36マニュアルのステップとは異なります。

1. 梱包箱からSun Datacenter InfiniBand Switch 36スイッチ・コンポーネントを取り出します。次の項目が梱包箱にあります。

   • Sun Datacenter InfiniBand Switch 36スイッチ

   • ケーブル金具およびラック取付けキット

   • ケーブル管理金具およびカバー

   • 2つのラック・レール構成部品

   • 各種ねじおよび係留ナット

   • Sun Datacenter InfiniBand Switch 36ドキュメント

   スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。

2. X5ラックのみ: RU1のラックからトラフを取り外し、Sun Datacenter InfiniBand Switch 36スイッチの設置中はケーブルを脇に置いておきます。トラフは破棄できます。

3. 適切な穴に各ラック・レールのケージ・ナットを設置します。

4. カットアウト付きの金具をスイッチの電源側に取り付けます。

5. C金具をスイッチのSun Datacenter InfiniBand Switch 36ポート側に取り付けます。

6. 前面からラックの途中までスイッチをスライドします。右側のC金具を介した2つの電源コードを抜く間、できるだけスイッチをラックの左側に維持する必要があります。

7. ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。

8. スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。

9. 組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。

   1. ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。

   2. ケーブル・アーム金具を正しい位置まで回転します。

   3. 上のねじを設置します。

   4. 両方のねじを締めます。

   できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。

10. 前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。

11. スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。

12. スイッチの後部にケーブル管理アームの下部を設置します。

13. ケーブルを適切なポートに接続します。

14. ケーブル管理アームの上部を設置します。

15. ラックU2のサーバーをラックにスライドします。

16. 電源コードを前面のSun Datacenter InfiniBand Switch 36スイッチ電源装置スロットに取り付けます。

17. 通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。

関連項目:

• ラック・レイアウトを確認するには、『Oracle Exadata Database Machineシステム概要』を参照してください。

• InfiniBandネットワーク・ケーブルの詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。

2.3.3 新しいサーバーの追加

エイス・ラックではないシステムの場合、容量がいっぱいでないOracle Engineered System Rackに新しいサーバーを追加できます。

エラスティック構成方法を使用して、リソース要件の増加に対応するために必要に応じて個々のデータベース・サーバーまたはストレージ・サーバーを追加できます。領域が使用可能な場合は、追加のデータベースおよびストレージ・サーバーを追加できます。詳細は、Oracle Exadata Configuration Assistant (OECA)を参照してください。アップグレード・プロセスには、新しいサーバーとケーブルの追加が含まれます。ハードウェアの追加が必要な場合があります。

注意:

• ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。

• 新しいサーバーは手動で構成する必要があります。

• 新しいサーバーの設置準備
  新しいサーバーを設置する前に、サーバーを取り付けるためのラック・ユニットを準備します。
• ラック・アセンブリの設置
  設置の準備が完了したら、次に、新しいサーバーを保持するラック・アセンブリを取り付けます。
• サーバーの設置
  設置の準備およびラック構成部品の取り付け後、新しいサーバーを設置します。

2.3.3.1 新しいサーバーの設置準備

新しいサーバーを設置する前に、サーバーを取り付けるためのラック・ユニットを準備します。

1. サーバーを設置するラック・ユニットを確認します。ラックの一番下の段から見て、空いている最初のユニットに設置します。

2. ユニットにサーバーが設置されるまではケーブル・ハーネスが取り付けられているトラフを外して破棄します。

3. 詰め物を取り出して破棄します。

2.3.3.2 ラック・アセンブリの設置

設置の準備が完了したら、次に、新しいサーバーを保持するラック・アセンブリを取り付けます。

1. スライド・レール・ロックがサーバーの前にあり、取付け金具の5つのキー穴開口部が、シャーシ側面の5つの位置決めピンに合うように取付け金具をシャーシに対して配置します。

2. ボール・ベアリング・トラックが前方で、適切な位置で固定されるように、スライド・レール構成部品を正しい向きに置きます。

3. ラックの左側または右側のいずれかから、スライド・レール構成部品の背面をラック・レールの内側に合せ、カチッという音がしてロックされるまでアセンブリを押します。

   図2-1 背面ラック・レールの内側へのスライド・レール構成部品のロック

   
   「図2-1 背面ラック・レールの内側へのスライド・レール構成部品のロック」の説明

4. スライド・レール構成部品の前面をラック・レールの前面の外側に合せ、カチッという音がしてロックされるまでアセンブリを押します。

5. ラックの反対側で、ステップ2から4を繰り返します。

2.3.3.3 サーバーの設置

設置の準備およびラック構成部品の取り付け後、新しいサーバーを設置します。

警告:

• サーバーは重いので、サーバーの設置には少なくとも2名の作業者またはリフトが必要です。この手順を1人で実行すると、機器が損傷したり、けがをしたりする可能性があります。

• ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。

1. ラックにサーバーを設置する前に、サーバーの上部カバーのサービス・ラベルを参照します。

2. スライド・レール構成部品にサーバーをはめ込みます。

   1. スライド・レールをスライド・レール構成部品にできるだけ奥まで押し込みます。

   2. 取付け金具の後端が、機器ラックに取り付けられているスライド・レール構成部品と揃うようにサーバーの位置を決めます。

      図2-2 ラック内のスライド・レール構成部品と取付け金具の後端の位置合せ

      
      
      「図2-2 ラック内のスライド・レール構成部品と取付け金具の後端の位置合せ」の説明
      

      図内で引出し線で示しているのは次の部分です。

      1: スライド・レールに挿入される取付け金具

      2: スライドレール・リリース・レバー

   3. 取付け金具をスライド・レールに挿入し、取付け金具がスライド・レールのストップに接触するまでサーバーをラック内に押し込みます(約30cm(12インチ))。

   4. 両方の取付け金具のスライド・レール開放レバーを同時に押しながら、サーバーをラック内に押し込みます。

      注意:

      1人がラックへのサーバーの出入れを行い、もう1人がケーブルやケーブル管理アーム(CMA)に目を配るというように、ラックへのサーバーの設置は2人で行うことをお薦めします。

   5. 取付け金具の前面のスライド・レール・ロックがスライド・レール構成部品にかみ合って、カチッという音がするまで押し込みます。

3. Exadata Storage Serverの配線の説明に従って、新しいサーバーを配線します。

2.3.4 データベース・サーバーの配線

新しいデータベース・サーバーを設置したら、既存の機器を配線する必要があります。次の手順は、ラックの新しい機器を配線する方法を示しています。手順内のイメージは、Sun Fire X4170 M2 Oracle Database Serverを示しています。

注意:

• ラックの既存のケーブル接続は変更されません。

• 青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。

• 一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。

• ラックの下から上に順次作業してください。上部にドングル、下部に電力ケーブルを装備したCMAを介してケーブルを配線します。

• 3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。

1. CAT5eケーブル、AC電源ケーブル、USBをサーバー背面のそれぞれのポートに接続します。ドングルの平らな面がCMA内部レールに接触していることを確認します。

   図2-3 サーバーの背面のケーブル

   
   「図2-3 サーバーの背面のケーブル」の説明

2. ケーブル管理アーム(CMA)の緑色の金具を調整します。

   図2-4 ケーブル管理アーム(CMA)の金具

   
   「図2-4 ケーブル管理アーム(CMA)の金具」の説明

   CMAの図内引出し線の説明

   1. コネクタA

   2. 前部スライド・バー

   3. マジックテープ・ストラップ(6)

   4. コネクタB

   5. コネクタC

   6. コネクタD

   7. スライドレール・ラッチ金具(コネクタD用)

   8. 後部スライド・バー

   9. ケーブル・カバー

   10. ケーブル・カバー

3. CMAをサーバーに接続します。

4. CAT5eと電源ケーブルをワイヤ・クリップで配線します。

   図2-5 ケーブル管理アームを介して配線されたケーブル

   
   「図2-5 ケーブル管理アームを介して配線されたケーブル」の説明

5. CAT5eと電源ケーブルを、曲げ半径を最小に保持しながら曲げて、CMAに通します。

6. CAT5eと電源ケーブルがケーブル留め具の下になるようにします。

   図2-6 ケーブル留め具の下に固定されたケーブル

   
   「図2-6 ケーブル留め具の下に固定されたケーブル」の説明

7. CMAを経由してケーブルを配線し、フックとループ・ストラップの間隔が同じになるようにします。

   図2-7 等間隔のフック・アンド・ループ・ストラップで固定されたケーブル

   
   「図2-7 等間隔のフック・アンド・ループ・ストラップで固定されたケーブル」の説明

8. RDMAネットワーク・ファブリックまたはTwinAxケーブルを、最初に曲げた状態でCMAに接続します。TwinAxケーブルはデータベース・サーバーへのクライアント・アクセス用です。

   図2-8 CMAに配置されているRDMAネットワーク・ファブリックまたはTwinAxケーブル

   
   「図2-8 CMAに配置されているRDMAネットワーク・ファブリックまたはTwinAxケーブル」の説明

9. RDMAネットワーク・ファブリックまたはTwinAxケーブルを、等間隔のフック・アンド・ループ・ストラップで固定します。

   図2-9 等間隔のフック・アンド・ループ・ストラップで固定されたRDMAネットワーク・ファブリックまたはTwinAxケーブル

   
   「図2-9 等間隔のフック・アンド・ループ・ストラップで固定されたRDMAネットワーク・ファブリックまたはTwinAxケーブル」の説明

10. ファイバ・コア・ケーブルを配線します。

11. ケーブルをCMAの緑の留め具に通して収めます。

12. 赤のILOMケーブルをデータベース・サーバーに接続します。

13. ネットワーク・ケーブルをOracle Database Serverに接続します。

14. Oracle DatabaseサーバーからRDMAネットワーク・ファブリック・スイッチにケーブルを接続します。

15. オレンジ色のイーサネット・ケーブルをKVMスイッチに接続します。

16. 赤と青のイーサネット・ケーブルをCiscoスイッチに接続します。

17. 次に示すように、各サーバーのスライド・レールおよびCMAの動作を確認します。

    注意:

    このステップは、2人の作業者で実行することをお薦めします。1人がサーバーをラックの前後に動かし、もう1人がケーブルとCMAを監視します。

    1. スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。

    2. バインドまたはねじれがないか、接続されたケーブルを検査します。

    3. CMAがスライド・レールから一杯まで伸びることを確認します。

18. 次に示すように、サーバーをラック内に押し込みます。

    1. 2対のスライド・レール・ストップを解放します。

    2. 両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。最初の対のストップは各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーです。レバーにはPUSHというラベルが付いています。サーバーは、約46cm(18インチ)スライドして停止します。

    3. ケーブルおよびCMAが引っかからずに格納されることを確認します。

    4. 両方のスライド・レール・リリース・ボタンを同時に押すか引いて、両方のスライド・レールがかみ合うまでサーバーを完全にラック内に押し込みます。2番目の対のストップは、各取付け金具の前面近くにあるスライド・レール・リリース・ボタンです。

19. ケーブルをまとめてストラップで固定します。まとめるケーブルの数は8個以下にすることをお薦めします。

20. ケーブルが動きにくかったり引っかかったりしていないか確認するため、サーバーをスライドアウトしてから完全に押し込んでケーブル配線を確認します。

21. 残りのサーバーにこの手順を繰り返します。

22. 電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。今回は施設のソケットに電力ケーブルを接続しないでください。

関連項目:

• 配線表の詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。

• 最小曲げ半径は、ケーブル管理アーム・ガイドラインの確認を参照してください。

• InfiniBandケーブルの床および床下配線

2.3.5 ストレージ・サーバーの配線

新しいストレージ・サーバーを設置したら、既存の機器に接続する必要があります。

次の手順は、ラックの新しい機器を配線する方法を示しています。

注意:

• ラックの既存のケーブル接続は変更されません。

• 青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。

• 一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。

• ラックの下から上に順次作業してください。

• 3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。

1. CMAをサーバーに取り付けます。

2. フック・アンド・ループ・ストラップを通して、各ケーブルをそれぞれのポートに挿入し、次の順番でCMAにケーブルを配線します。

   1. 電源

   2. イーサネット

   3. RDMAネットワーク・ファブリック

   図2-10 サーバーの背面の電源ケーブルとネットワーク・ケーブル

   
   「図2-10 サーバーの背面の電源ケーブルとネットワーク・ケーブル」の説明

3. CMAを通してケーブルを配線し、CMAの内側と外側の両方のカーブで、フック・アンド・ループ・ストラップを使用して固定します。

   図2-11 CMAを通して配線され、フック・アンド・ループ・ストラップで固定されたケーブル

   
   「図2-11 CMAを通して配線され、フック・アンド・ループ・ストラップで固定されたケーブル」の説明

4. クロスバー・カバーを閉じて、ケーブルを真っ直ぐに固定します。

5. 各サーバーのスライド・レールおよびCMAの動作を確認します。

   注意:

   1人がラックへのサーバーの出入れを行い、もう1人がケーブルやCMAに目を配るというように、このステップは2人で行うことをお薦めします。

   1. スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。

   2. バインドまたはねじれがないか、接続されたケーブルを検査します。

   3. CMAがスライド・レールから一杯まで伸びることを確認します。

6. サーバーをラック内に戻します。

   1. 2対のスライド・レール・ストップを解放します。

   2. 各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーを探します。「PUSH」というラベルが付いています。

   3. おおよそ46cm (18インチ)で止まるまで、両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。

   4. ケーブルおよびCMAが絡まらずに格納されることを確認します。

   5. 各取付け金具の前面近くにあるスライド・レール開放ボタンを探します。

   6. 両方のスライド・レール開放ボタンを同時に押して、両方のスライド・レールがかみ合うまでサーバーを完全にラック内にスライドさせます。

7. ケーブルをまとめてストラップで固定します。8個以下のバンドルのRDMAネットワーク・ファブリック・ケーブルを使用することをお薦めします。

8. 各サーバーを引き出し、完全に元に戻して、ケーブルが絡まったり引っかかったりしていないことを確認します。

9. すべてのサーバーにこの手順を繰り返します。

10. 電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。まだ、施設のソケットに電力ケーブルを接続しないでください。

関連項目:

マルチラック配線表

システムの配線表は、『Oracle Exadata Database Machineシステム概要』

2.3.6 ラックを閉じる

新しい機器を設置した後、パネルを交換してラックを閉じる必要があります。

Oracleエンジニアド・システム・ラックで使用されているラック・モデルは2つあります。最新のステップは、該当するドキュメントを参照してください。

• Oracle Rack Cabinet 1242ユーザーズ・ガイド(http://docs.oracle.com/cd/E85660_01/html/E87280/index.html)
• 『Sun Rack IIユーザーズ・ガイド』(https://docs.oracle.com/cd/E19657-01/html/E29153/index.html)

次のステップは、プロセスの概要を示しています。

1. 次に示すように、ラックの前部ドアと後部ドアを元に戻します。

   1. ドアを取り出して、ドア・ヒンジに慎重に置きます。

   2. 前部ドアと後部ドアの接地ストラップをフレームに接続します。

   3. ドアを閉じます。

   4. (オプション)ドアをロックします。キーは発送キットにあります。

2. (オプション)次に示すように、アップグレード用に取り外されていた場合はサイド・パネルを元に戻します。

   1. 各サイド・パネルを持ち上げて、ラックの側面に配置します。ラックの上部で、サイド・パネルの重量を支えます。パネル留具とラック・フレームの溝が整列していることを確認します。

   2. サイド・パネルの取外し工具を使用して、各サイド・パネル留具を時計回りに1/4回転します。パネル・ロック付近の留具を時計回りに回転します。サイド・パネルごとに10個の留具があります。

   3. (オプション)各サイド・パネルをロックします。キーは発送キットにあります。ロックはサイド・パネル中央の下部にあります。

   4. 接地ストラップをサイド・パネルに接続します。

ラックを閉じた後、新しいハードウェアの構成に進み、新しいハードウェアを構成します。

2.4 「別のラックの追加によるラックの拡張」

別のラックの追加によるOracle Engineered System Rackの拡張では、ラックの配線と構成を一緒に行います。

モデルX8までのラックは、停止時間なしで配線できます。X8M以降のラックでは、ラックの配線時に停止時間が必要になることがあります。

警告:

重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。

• 既存のシステムへの別のラックの追加の概要
  ラックを配線する前に次の注意事項を確認してください。
• 2ラック配線
  エンジニアド・システム・ラックの拡張の最も簡単な例は、2つのラックの配線です。
• 複数のラックの配線
  特定の順序で一連のステップに従って、複数のラックをまとめて配線できます。

2.4.1 既存のシステムへの別のラックの追加の概要

ラックを配線する前に次の注意事項を確認してください。

• X8までのモデルでは、ラック配線中にパフォーマンスが若干低下します。このパフォーマンスの低下は、ネットワーク帯域幅が小さくなったことと、ケーブルを抜いた時のパケット損失によるデータ再送信によるものです。

• X8-2モデルまでにラックを接続する場合、リーフ・スイッチを1つオフにする必要があるため、高可用性環境にはなりません。トラフィックはすべて残りのリーフ・スイッチ経由で送信されます。

• ラックを追加するときは、既存のラックのみが稼働します。新しいラックのサーバーは、電源を切断する必要があります。

• システム上で実行中のソフトウェアにRDMAネットワーク・ファブリックの再起動関連の問題はありません。複数のラックを接続する前に構成を検証するには、パフォーマンス・テストなしでinfinicheckを実行します(-eオプションを使用)。

• 各Oracle Engineered System Rackに3つのRDMAネットワーク・ファブリック・スイッチがすでに設置されていると想定されています。

• 新しいラックには配線前に拡張システムに移行される適切なIPアドレスが構成されており、重複するIPアドレスはありません。

• RDMA over RoCE Network Fabricを使用するX8Mラックを拡張する手順は、RDMA over InfiniBand Network Fabricを使用するラック(X8以前)の場合の手順とは異なります。

• X8Mラックの場合、Oracle Engineered Systemでスパイン・スイッチごとに1つのループバックIPインタフェースが必要となります。IPアドレス指定スキームでは、IANAの共有アドレス領域100.64.0.0/10が使用されます。これにより、他のスキームを使用するネットワークのIPv4アドレスと重複することはありません。
  • リーフのループバック0のIPは、100.64.0.101、100.64.0.102、100.64.0.103などとして割り当てられます。
  • スパインのループバック0のIPは、100.64.0.201、100.64.0.202から100.64.0.208までとして割り当てられます。

2.4.2 「2ラック配線」

エンジニアド・システム・ラックの拡張の最も簡単な例は、2つのラックの配線です。

• 2ラック配線 - X8M
  RDMA over RoCE Network Fabricを使用する2つのラックを配線するには、この手順を使用します。
• 2ラック配線 - X8以前
  RDMA over InfiniBand Network Fabricを使用する2つのラックを配線するには、この手順を使用します。

2.4.2.1 2ラック配線 – X8M

RDMA over RoCE Network Fabricを使用する2つのラックを配線するには、この手順を使用します。

注意:

2つのX8Mラックを配線するには、両方のラックで停止時間が必要となります。

この手順では、既存のラックはR1で、新しいラックはR2です。

1. 新しいラックが既存ラックの近くにあることを確認します。
   RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。

   スイッチごとに、『Oracle Exadata Database Machineメンテナンス・ガイド』の「RDMA over RoCE Network Fabricのスイッチ設定のバックアップ」で示されている手順を完了します。

3. 新しいラック(R2)と既存のラック(R1)のすべてのサーバーを停止します。
   スイッチは使用可能なままにしておく必要があります。
4. マルチラックのスパイン・スイッチ構成を2つのスパイン・スイッチに適用します。
   1. 最新リリースのRDMAネットワーク・スイッチのパッチZIPファイルをダウンロードしたサーバーにログインします。
      使用できるパッチZIPファイルがない場合は、Oracle Exadata System Softwareの使用しているリリースのパッチをダウンロードできます。たとえば、19.3リリースの場合、パッチは29963277 (RDMAネットワーク・スイッチ(7.0(3)17(6))およびInfiniBandネットワーク・スイッチ(2.2.13-2))です。
   2. 各スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチZIPファイルを解凍したら、パッチ・ディレクトリから次のコマンドを実行します。

      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_R1SS.cfg
      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_R2SS.cfg

   3. スパイン・スイッチ構成ファイルの各コピーを編集します。

      テキスト・エディタを使用して、すべての%SPINE_LOOPBACK_IP0%を、次の表に示されているスイッチの正しいIPアドレスに置き換えます。

      スイッチ	SPINE_LOOPBACK_IP0
      ラック1のスパイン・スイッチ(R1SS)	100.64.0.201
      ラック2のスパイン・スイッチ(R2SS)	100.64.0.202

   4. 更新されたマルチラック構成ファイルを対応するスパイン・スイッチに適用します。

      1. 各スパイン・スイッチにログインし、次のコマンドを使用して既存の構成ファイルを削除します。

         delete bootflash:roce_spine_switch_multi.cfg
         

         次に例を示します。

         rack1sw-roces0(config)# delete bootflash:roce_spine_switch_multi.cfg
         Do you want to delete "/roce_spine_switch_multi.cfg" ? (yes/no/abort) [y] y
         rack1sw-roces0(config)#

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するスパイン・スイッチにコピーします。

         # scp roce_spine_switch_multi_R1SS.cfg admin@R1SS_IP_Address:/
         # scp roce_spine_switch_multi_R2SS.cfg admin@R2SS_IP_Address:/

      3. 各スイッチに再度ログインして、変更された構成をフラッシュにコピーします。

         ラック1のスパイン・スイッチでは、次のコマンドを使用します。

         run-script bootflash:roce_spine_switch_multi_R1SS.cfg | grep 'none'
         copy running-config startup-config

         ラック2のスパイン・スイッチでは、次のコマンドを使用します。

         run-script bootflash:roce_spine_switch_multi_R2SS.cfg | grep 'none'
         copy running-config startup-config

5. マルチラックのリーフ・スイッチ構成を4つのリーフ・スイッチに適用します。

   スイッチごとに、次のステップを実行します。ここで、SW#は、構成しているスイッチに応じて、値R1LL、R1UL、R2LLまたはR2ULを表します。

   1. 最新リリースのRDMAネットワーク・スイッチのパッチZIPファイルをダウンロードしたサーバーにログインします。
   2. 各リーフ・スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチZIPファイルを解凍したら、パッチ・ディレクトリから次のコマンドを4回実行します(SW#の値をR1LL、R1UL、R2LLおよびR2ULに置き換えます)。

      # cp roce_switch_templates/roce_leaf_switch_multi.cfg roce_leaf_switch_multi_SW#.cfg

   3. リーフ・スイッチ構成ファイルの各コピーを編集して、ループバックIPアドレスを置き換えます。

      テキスト・エディタを使用して、すべての%LOOPBACK__IP0%および%LOOPBACK__IP1%を、次の表に示されているリーフ・スイッチの正しいIPアドレスに置き換えます。

      2ラック・システムのリーフ・スイッチのループバックIPアドレスに使用されるスキームは、次のとおりです。

      スイッチ	LEAF_LOOPBACK_IP0	LEAF_LOOPBACK_IP1
      ラック1の下位リーフ・スイッチ(R1LL)	100.64.0.101	100.64.1.101
      ラック1の上位リーフ・スイッチ(R1UL)	100.64.0.102	100.64.1.102
      ラック2の下位リーフ・スイッチ(R2LL)	100.64.0.103	100.64.1.103
      ラック2の上位リーフ・スイッチ(R2UL)	100.64.0.104	100.64.1.104

   4. 更新されたマルチラック構成ファイルを対応する各リーフ・スイッチに適用します。

      1. 各リーフ・スイッチにログインし、次のコマンドを使用して既存の構成ファイルを削除します。

         delete bootflash:roce_leaf_switch.cfg
         

         次に例を示します。

         rack1sw-rocea0(config)# delete bootflash:roce_leaf_switch.cfg
         Do you want to delete "/roce_leaf_switch.cfg" ? (yes/no/abort) [y] y
         rack1sw-rocea0(config)#

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するリーフ・スイッチにコピーします。

         # scp roce_leaf_switch_multi_SW#.cfg admin@SW#_IP_Address:/

      3. 各スイッチに再度ログインして、変更された構成をフラッシュにコピーします。

         ラック1の上位リーフ・スイッチでは、次のコマンドを使用します。

         run-script bootflash:roce_leaf_switch_multi_R1UL.cfg | grep 'none'
         copy running-config startup-config

         ラック2の下位リーフ・スイッチでは、次のコマンドを使用します。

         run-script bootflash:roce_leaf_switch_multi_R2LL.cfg | grep 'none'
         copy running-config startup-config

6. patchmgrを使用し、RDMAネットワーク・ファブリック・スイッチの構成をゴールデン構成ファイルに対して検証します。
   1. 両方のラックのリーフ・スイッチとスパイン・スイッチの名前またはIPアドレスを含むファイルを作成します。
      たとえば、roce_switches.lstという名前のファイルを作成します。このファイルには、2つのスパイン・スイッチおよび4つのリーフ・スイッチのホスト名またはIPアドレスが含まれている必要があります。各スイッチを新しい行に記述します。
   2. --verify_configオプションを指定してpatchmgrを実行します。

      次のコマンドで、roce_switches.lstは問合せ対象のスイッチが1行に1つずつ含まれているファイルです。

      ./patchmgr --roceswitches roce_switches.lst --verify-config

7. スイッチの物理的な配線を行います。
   1. ラック2で、2つのリーフ・スイッチ(R2ULおよびR2LL.)の間にある8つの既存のスイッチ間接続を取り外します。
   2. ラック2で、X8Mラックの2ラック配線の表を使用して、各リーフスイッチを配線します。
   3. ラック1で、2つのリーフ・スイッチ(R1ULおよびR1LL.)の間にある8つの既存のスイッチ間接続を取り外します。
   4. ラック1で、X8Mラックの2ラック配線の表を使用して、各リーフスイッチを配線します。
8. 各スイッチが使用可能で、接続されていることを確認します。

   6つの各スイッチについて、スイッチに「connected」と「100G」が表示されていることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

   スパイン・スイッチから実行すると、出力は次のようになります。

   rack1sw-roces0# show interface status
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   mgmt0         --                 connected routed    full    1000    -- 
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   ...
   Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
   Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
   Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
   Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
   Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
   Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
   Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
   Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
   Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
   Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
   Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
   Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
   Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
   Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
   Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
   Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
   Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
   ...

   リーフ・スイッチから実行すると、出力は次のようになります。

   rack1sw-rocea0# show interface status
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   mgmt0         --                 connected routed    full    1000    -- 
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   ...
   Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
   Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
   Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
   Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
   Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
   ...
   Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
   Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
   Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
   Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
   Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
   ...

9. 各スイッチで、接続されているスイッチが表示されることを確認します。

   ラックR1およびR2のすべてのスイッチについて、近隣探索をチェックします。すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)をX8Mラックの2ラック配線の表に対して確認します。

   各スイッチにログインし、show lldp neighborsコマンドを使用します。スパイン・スイッチでは、各ラックの2つのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

   rack1sw-roces0# show lldp neighbors
   ...
   Device ID            Local Intf      Hold-time  Capability  Port ID
   rack1-adm0           mgmt0           120        BR          Ethernet1/47
   rack1sw-roceb0       Eth1/5     120        BR          Ethernet1/5
   rack2sw-roceb0       Eth1/6     120        BR          Ethernet1/5
   rack1sw-roceb0       Eth1/7     120        BR          Ethernet1/7
   rack2sw-roceb0       Eth1/8     120        BR          Ethernet1/7
   rack1sw-roceb0       Eth1/9     120        BR          Ethernet1/4
   rack2sw-roceb0       Eth1/10    120        BR          Ethernet1/4
   rack1sw-roceb0       Eth1/11    120        BR          Ethernet1/6
   rack2sw-roceb0       Eth1/12    120        BR          Ethernet1/6
   rack1sw-rocea0       Eth1/13    120        BR          Ethernet1/5
   rack2sw-rocea0       Eth1/14    120        BR          Ethernet1/5
   rack1sw-rocea0       Eth1/15    120        BR          Ethernet1/7
   rack2sw-rocea0       Eth1/16    120        BR          Ethernet1/7
   rack1sw-rocea0       Eth1/17    120        BR          Ethernet1/4
   rack2sw-rocea0       Eth1/18    120        BR          Ethernet1/4
   rack1sw-rocea0       Eth1/19    120        BR          Ethernet1/6 
   rack2sw-rocea0       Eth1/20    120        BR          Ethernet1/6
   Total entries displayed: 17

   各リーフ・スイッチでは、2つのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

   rack1sw-rocea0# show lldp neighbors
   ...
   Device ID            Local Intf      Hold-time  Capability  Port ID
   switch               mgmt0      120        BR          Ethernet1/46
   rack1sw-roces0       Eth1/4     120        BR          Ethernet1/17
   rack1sw-roces0       Eth1/5     120        BR          Ethernet1/13
   rack1sw-roces0       Eth1/6     120        BR          Ethernet1/19
   rack1sw-roces0       Eth1/7     120        BR          Ethernet1/15
   rack2sw-roces0       Eth1/30    120        BR          Ethernet1/17
   rack2sw-roces0       Eth1/31    120        BR          Ethernet1/13
   rack2sw-roces0       Eth1/32    120        BR          Ethernet1/19
   rack2sw-roces0       Eth1/33    120        BR          Ethernet1/15
   rocetoi-ext-sw       Eth1/36    120        BR          Ethernet1/49
   Total entries displayed: 10

10. ラックR1およびR2のすべてのサーバーの電源を入れます。
11. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    注意:

    RDMAネットワーク・ファブリックに配線されたリーフ・スイッチおよびスパイン・スイッチのポートの場合は、「CABLE OK?」列の「FAIL」ステータスを無視します。スイッチの他のポート(データベース・サーバー用、ストレージ・サーバー用など)の場合、ステータスは「OK」である必要があります。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
    SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
    ----------- --------------   --------------------------- : --------   -----------------------    : ---------
    Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : FAIL       rack1sw-roces0 Ethernet1/9 : FAIL
    Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : FAIL       rack1sw-roces0 Ethernet1/5 : FAIL
    Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : FAIL       rack1sw-roces0 Ethernet1/11: FAIL
    Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : FAIL       rack1sw-roces0 Ethernet1/7 : FAIL
    Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
    Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
    Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
    ...
    Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
    Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
    Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
    ...
    Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : FAIL       rack2sw-roces0 Ethernet1/9 : FAIL
    Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : FAIL       rack2sw-roces0 Ethernet1/5 : FAIL
    Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : FAIL       rack2sw-roces0 Ethernet1/11: FAIL
    Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : FAIL       rack2sw-roces0 Ethernet1/7 : FAIL
    

    # ./verify_roce_cables.py -n nodes.rack2 -s switches.rack2
    SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
    ----------- --------------   --------------------------- : --------   -----------------------    : ---------
    Eth1/4 (ISL peer switch)  :  rack1sw-roces0 Ethernet1/18 : FAIL       rack1sw-roces0 Ethernet1/10: FAIL
    ...

12. infinicheckコマンドを使用して、データベース・サーバーとストレージ・サーバーの間の現在のクラスタのネットワーク・ステータスを確認します。
    ROCE操作に基づいたRDMAネットワーク・ファブリックの検証に記載されているステップを完了します。

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -z
    
    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b
    
    INFINICHECK                    
            [Network Connectivity, Configuration and Performance]        
                   
              ####  FABRIC TYPE TESTS  #### 
    System type identified: RoCE
    Verifying User Equivalance of user=root from all DBs to all CELLs.
         ####  RoCE CONFIGURATION TESTS  ####       
         Checking for presence of RoCE devices on all DBs and CELLs 
    [SUCCESS].... RoCE devices on all DBs and CELLs look good
         Checking for RoCE Policy Routing settings on all DBs and CELLs 
    [SUCCESS].... RoCE Policy Routing settings look good
         Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
    [SUCCESS].... RoCE DSCP ToS settings look good
         Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
    [SUCCESS].... RoCE PFC and DSCP settings look good
         Checking for RoCE interface MTU settings. Expected value : 2300
    [SUCCESS].... RoCE interface MTU settings look good
         Verifying switch advertised DSCP on all DBs and CELLs ports ( )
    [SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
        ####  CONNECTIVITY TESTS  ####
        [COMPUTE NODES -> STORAGE CELLS] 
          (60 seconds approx.)       
        (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
    [SUCCESS]....... All  can talk to all storage cells          
        [COMPUTE NODES -> COMPUTE NODES]               
    ...

13. ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。

2.4.2.2 2ラック配線 - X8以前

RDMA over InfiniBand Network Fabricを使用する2つのラックを配線するには、この手順を使用します。

この手順では、相互に隣接するラックを仮定します。

この手順では、既存のラックはR1で、新しいラックはR2です。

1. 次のように、スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。

   1. アクティブなシステム上のRDMAネットワーク・ファブリック・スイッチにログインします。

   2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。そうでない場合は、Oracle Exadata Database Machineインストレーションおよび構成ガイドのOracle Exadata Database Machineフル・ラックおよびOracle Exadata Database Machineハーフ・ラックのサブネット・マネージャ・マスターの設定の手順に従います。

   3. スパイン・スイッチにログインします。

   4. disablesmコマンドを使用して、サブネット・マネージャを停止します。

   5. setsmpriority 10コマンドを使用して優先度を10に設定します。

   6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

   7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。

2. 新しいラックが既存ラックの近くにあることを確認します。RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。

3. 新しいラック(R2)を完全に停止します。

4. 2ラック配線に従って、2台のリーフ・スイッチ R2 IB2とR2 IB3を新しいラック内で配線します。新しいラックR2内の(既存ラックR1ではありません)リーフ・スイッチとスパイン・スイッチ間の2つの接続および各リーフ・スイッチ間の7つの既存のスイッチの相互接続を解除する必要があります。

5. すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。

6. リーフ・スイッチR1 IB2の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのRDMAネットワーク・ファブリック・トラフィックがR1 IB3にフェイルオーバーされます。

7. R1 IB2とR1 IB3間の7つすべてのスイッチ間リンクを解除し、R1 IB2とスパイン・スイッチR1 IB1の間の1つの接続も解除します。

8. 2ラック配線に従って、リーフ・スイッチR1 IB2を配線します。

9. リーフ・スイッチR1 IB2の電源をオンにします。

10. R1 IB2が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

11. すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。

12. リーフ・スイッチR1 IB3の電源をオフにします。すべてのデータベース・サーバーおよびストレージ・サーバーのRDMAネットワーク・ファブリック・トラフィックがR1 IB2にフェイルオーバーされます。

13. R1 IB3とスパイン・スイッチR1 IB1間の1つの接続を解除します。

14. 2ラック配線に従って、リーフ・スイッチR1 IB3を配線します。

15. リーフ・スイッチR1 IB3の電源をオンにします。

16. R1 IB3が完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。

17. R2のすべてのInfiniBandスイッチの電源をオンにします。

18. スイッチが完全に操作状態になるまで3分待ちます。

    スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。6つのスイッチ、R1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2およびR2 IB3が出力表示されます。

19. 任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。

20. R2のすべてのサーバーの電源をオンにします。

21. スパイン・スイッチR1 IB1にログインし、次のように優先度を8に下げます。

    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。

    2. setsmpriority 8コマンドを使用して優先度を8に設定します。

    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。

22. スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。

ラックを配線した後、新しいハードウェアの構成に進み、ラックを構成します。

2.4.3 「複数のラックの配線」

特定の順序で一連のステップに従って、複数のラックをまとめて配線できます。

この手順では、相互に隣接するラックを仮定します。既存のラックはR1, R2, ... Rnで、新しいラックはRn+1です。たとえば、4つのラックがあり、5つ目を追加する場合、既存のラックはR1、R2、R3およびR4で、新しいラックはR5になります。

追加スイッチなしで最大18ラックをまとめて配線できます。

RDMA over RoCE Network Fabric (X8M)の手順は、RDMA over InfiniBand Network Fabric (X8以前)の手順とは異なります。

• 複数のラックの配線 – X8M
  より大きいエンジニアド・システムを作成する場合は、複数のX8Mラックを配線できます。
• 複数のラックの配線 ｰ X8以前
  特定の順序で一連のステップに従って、複数のラックをまとめて配線できます。

2.4.3.1 複数のラックの配線 – X8M

より大きいエンジニアド・システムを作成する場合は、複数のX8Mラックを配線できます。

この手順は、X8MとRDMA over RoCE Network Fabricの場合に使用します。

この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。

• rack5sw-roces0:ラック5のスパイン・スイッチ(SS)
• rack5sw-rocea0: ラック5の下位リーフ・スイッチ(R5LL)
• rack5sw-roceb0: ラック5の上位リーフ・スイッチ(R5UL)

注意:

3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断します

1. 新しいラックが既存のラックR1、R2、…、Rnの近くにあることを確認します。
   RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
2. 既存のラックおよび新しいラックの各スイッチの現在のスイッチ構成のバックアップがあることを確認します。
   スイッチごとに、『Oracle Exadata Database Machineメンテナンス・ガイド』の「RDMA over RoCE Network Fabricのスイッチ設定のバックアップ」で示されている手順を完了します。
3. 新しいラックR n+1のすべてのサーバーを停止します。
   Oracle Exadataラックの電源オフを参照してください。スイッチはオンラインのままで、使用可能な状態である必要があります。
4. 新しいラックRn+1のスパイン・スイッチに、マルチラックのスパイン・スイッチ構成を適用します。
   1. 既存のラックで使用されているOracle Exadata System SoftwareリリースのRDMAネットワーク・スイッチのパッチZIPファイルをダウンロードしたサーバーにログインします。

      使用できるパッチZIPファイルがない場合は、使用しているOracle Exadata System Softwareのリリースの最新のパッチをダウンロードできます。使用可能な最新のパッチの詳細は、My Oracle Support Doc ID 888828.1を参照してください。

      たとえば、19.3リリースの場合、2019年10月現在でのパッチは30345643 (RDMAネットワーク・スイッチ(7.0(3)17(6))およびInfiniBandネットワーク・スイッチ(2.2.13-2))です。

   2. 新しいスパイン・スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチZIPファイルを解凍したら、パッチ・ディレクトリから次のコマンドを実行します。ここで、n+1は新しいラックの番号です。

      # cp roce_switch_templates/roce_spine_switch_multi.cfg roce_spine_switch_multi_Rn+1SS.cfg

   3. スパイン・スイッチ構成ファイルのコピーを編集します。

      テキスト・エディタを使用して、3箇所の%SPINE_LOOPBACK_IP0%を次の表に示されているスイッチの正しいIPアドレスに置き換えます。使用している環境のRn+1と一致する値を使用します。

      スイッチ	SPINE_LOOPBACK_IP0
      ラック3のスパイン・スイッチ(R3SS)	100.64.0.203
      ラック4のスパイン・スイッチ(R4SS)	100.64.0.204
      ラック5のスパイン・スイッチ(R5SS)	100.64.0.205
      ラック6のスパイン・スイッチ(R6SS)	100.64.0.206
      ラック7のスパイン・スイッチ(R7SS)	100.64.0.207
      ラック8のスパイン・スイッチ(R8SS)	100.64.0.208

      たとえば、既存の4ラック・システムにラックを追加する場合(n+1=5)、IPアドレス100.64.0.205を新しいラックのスパイン・スイッチ(R5SS)のSPINE_LOOPBACK_IP0として使用します。

      ! Define loopback interface for underlay OSPF routing
      interface loopback0
       description Routing loopback interface
       !ip address 100.64.0.201/32
       ip address 100.64.0.205/32
       ip router ospf UNDERLAY area 0.0.0.0
      ! Configure OSPF as the underlay network
      router ospf UNDERLAY
       router-id 100.64.0.205
      ! change ECMP hash rotate value from default 32 to 40 for better
      ! router port utilization for upto parallel flows via the 8
      ! available router ports
      ip load-sharing address source-destination port source-destination rotate 40
      ! Create BGP route reflector to exchange routes across VTEPs
      ! Use CIDR block of IPs for neighbor range
      ! - log-neighbor-changes: Enables the generation of logging messages
      ! generated when the status of a BGP neighbor changes.
      ! - address-family ipv4 unicast: Enters address family configuration
      ! mode and Specifies IP Version 4 unicast address prefixes.
      ! address
      router bgp 65502
       router-id 100.64.0.205
       log-neighbor-changes

   4. スパイン・スイッチ構成ファイルの3つの置換を確認します。

      たとえば、5番目のラックを追加する場合、スパイン・スイッチ構成ファイルのIPアドレス100.64.0.205をチェックします。

      $ grep 100.64 roce_spine_switch_multi_R5SS.cfg |grep -v ‘neighbor’ |grep -v ‘!’
       ip address 100.64.0.205/32
       router-id 100.64.0.205
       router-id 100.64.0.205

   5. 新しいラックRn+1のスパイン・スイッチに、更新されたマルチラック構成ファイルを適用します。

      1. 新しいラックRn+1のスイッチにログインし、既存の構成ファイルがあれば、それを削除します。たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。

         rack5sw-roces0(config)# delete bootflash:roce_spine_switch_multi.cfg
         Do you want to delete "/roce_spine_switch_multi.cfg" ? (yes/no/abort) [y] y
         rack5sw-roces0(config)#

      2. スパイン・スイッチの変更された構成ファイルがあるサーバーにログインし、新しいラックのスパイン・スイッチにそのファイルをコピーします。たとえば、5番目のラックを追加する場合は、次のようにします。

         # scp roce_spine_switch_multi_R5SS.cfg admin@R5SS_IP_Address:/

      3. 変更したファイルがスパイン・スイッチに正常にコピーされたことを確認します。たとえば、5番目のラックを追加する場合は、新しいラックRn+1のスパイン・スイッチに再度ログインし、次のコマンドを使用します。

         rack5sw-roces0(config)# dir bootflash:roce_spine_switch_multi_R5SS.cfg
              27360 Nov 20 12:12:50 2019 roce_spine_switch_multi_R5SS.cfg
         Usage for bootflash://sup-local
         1829572608 bytes used
         114893496320 bytes free
         116723068928 bytes total

      4. 変更した構成をフラッシュにコピーします。

         たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。

         rack5sw-roces0(config)# run-script bootflash:roce_spine_switch_multi_R5SS.cfg | grep 'none'
         
         rack5sw-roces0(config)# copy running-config startup-config

         注意:

         スパイン・スイッチのrun-scriptコマンドは、完了までに最大2分かかることがあります。
5. 新しいラックRn+1のリーフ・スイッチに、マルチラックのリーフ・スイッチ構成を適用します。

   各リーフ・スイッチで、次のステップを実行します。ここで、SW#は、構成しているスイッチに応じて、値Rn+1LLまたはRn+1ULを表します。

   1. 既存のラックで使用されているOracle Exadata System SoftwareリリースのRDMAネットワーク・スイッチのパッチZIPファイル(ステップ4.a)をダウンロードしたサーバーにログインします。
   2. 各リーフ・スイッチのゴールデン構成ファイルのコピーを作成します。

      パッチZIPファイルを解凍したら、パッチ・ディレクトリから次のコマンドを2回実行します(SW#の値をRn+1LLおよびRn+1ULに置き換えます)。

      # cp roce_switch_templates/roce_leaf_switch_multi.cfg roce_leaf_switch_multi_SW#.cfg

   3. リーフ・スイッチ構成ファイルの各コピーを編集して、ループバックIPアドレスを置き換えます。

      テキスト・エディタを使用して、3箇所の%LOOPBACK__IP0%および1箇所の%LOOPBACK__IP1%を、次の表に示されているリーフ・スイッチの正しいIPアドレスに置き換えます。

      スイッチ	LEAF_LOOPBACK_IP0	LEAF_LOOPBACK_IP1
      ラック3の下位リーフ・スイッチ(R3LL) ラック3の上位リーフ・スイッチ(R3UL)	100.64.0.105 100.64.0.106	100.64.1.105 100.64.1.106
      ラック4の下位リーフ・スイッチ(R4LL) ラック4の上位リーフ・スイッチ(R4UL)	100.64.0.107 100.64.0.108	100.64.1.107 100.64.1.108
      ラック5の下位リーフ・スイッチ(R5LL) ラック5の上位リーフ・スイッチ(R5UL)	100.64.0.109 100.64.0.110	100.64.1.109 100.64.1.110
      ラック6の下位リーフ・スイッチ(R6LL) ラック6の上位リーフ・スイッチ(R6UL)	100.64.0.111 100.64.0.112	100.64.1.111 100.64.1.112
      ラック7の下位リーフ・スイッチ(R7LL) ラック7の上位リーフ・スイッチ(R7UL)	100.64.0.113 100.64.0.114	100.64.1.113 100.64.1.114
      ラック8の下位リーフ・スイッチ(R8LL) ラック8の上位リーフ・スイッチ(R8UL)	100.64.0.115 100.64.0.116	100.64.1.115 100.64.1.116

      たとえば、既存の4ラック・システムにラックを追加する場合(n+1=5)は、前述の表でR5LLとR5ULにリストされているループバックIPアドレスを使用します。

      ! Define loopback interface for IGP protocol for VTEP reachability
      interface loopback0
       description Routing loopback interface
       !ip address 100.64.0.101/32
       ip address 100.64.0.109/32
       ip router ospf UNDERLAY area 0.0.0.0
      ! Define loopback interface for associating with local VTEP
      interface loopback1
       description VTEP loopback interface
       !ip address 100.64.1.101/32
       ip address 100.64.1.109/32
       ip router ospf UNDERLAY area 0.0.0.0
      ! Configure OSPF as the underlay network
      router ospf UNDERLAY
       router-id 100.64.0.109
      ! change ECMP hash rotate value from default 32 to 40 for better
      ! router port utilization for upto parallel flows via the 8
      ! available router ports
      ip load-sharing address source-destination port source-destination rotate 40
      ! - Create BGP route reflector to exchange routes across VTEPs
      ! Define max config 8 neighbor spines using their loopback IPs
      ! - BGP peers are located in an autonomous system (AS) that uses
      ! 4-byte AS numbers. Cisco recommends to pick a high value such
      ! as 65502 to avoid conflict with future bgp peers.
      ! - Create a template ‘BasePolicy’ that defines a peer policy
      ! template to define attributes for a particular address family.
      router bgp 65502
       router-id 100.64.0.109
       log-neighbor-changes
      

   4. 各リーフ構成ファイルのIPアドレス置換を確認します。

      たとえば、5番目のラックを追加する場合、R5LLのリーフ・スイッチ構成ファイルのIPアドレス100.64.0.109および100.64.1.109をチェックし、R5ULのリーフ・スイッチ構成ファイルのIPアドレス100.64.0.110および100.64.1.110をチェックします。

      $ grep 100.64. roce_leaf_switch_multi_R5LL.cfg | grep -v neighbor | grep -v ‘!’
       ip address 100.64.0.109/32
       ip address 100.64.1.109/32
       router-id 100.64.0.109
       router-id 100.64.0.109
      
      $ grep 100.64. roce_leaf_switch_multi_R5UL.cfg | grep -v neighbor | grep -v ‘!’
       ip address 100.64.0.110/32
       ip address 100.64.1.110/32
       router-id 100.64.0.110
       router-id 100.64.0.110

   5. 更新されたマルチラック構成ファイルを新しいラックの対応する各リーフ・スイッチに適用します。

      1. 各リーフ・スイッチにログインして、既存の構成ファイルを削除します。たとえば、5番目のラックを追加する場合は、各リーフ・スイッチで次のコマンドを使用します。

         rack5sw-rocea0# delete bootflash:roce_leaf_switch.cfg
         Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y
         
         rack5sw-rocea0# delete bootflash:roce_leaf_switch_multi.cfg
         No such file or directory

         rack5sw-roceb0# delete bootflash:roce_leaf_switch.cfg
         Do you want to delete “/roce_leaf_switch.cfg” ? (yes/no/abort) [y] y
         
         rack5sw-roceb0# delete bootflash:roce_leaf_switch_multi.cfg
         No such file or directory

      2. 変更された構成ファイルがあるサーバーにログインし、各ファイルを対応するリーフ・スイッチにコピーします。

         # scp roce_leaf_switch_multi_R5LL.cfg admin@rack5sw-rocea0:/
         User Access Verification
         Password:
         roce_leaf_switch_multi_R5LL.cfg 100% 167KB 487.6KB/s 00:00
         
         # scp roce_leaf_switch_multi_R5UL.cfg admin@rack5sw-roceb0:/
         User Access Verification
         Password:
         roce_leaf_switch_multi_R5UL.cfg

      3. 変更したファイルがリーフ・スイッチに正常にコピーされたことを確認します。たとえば、5番目のラックを追加する場合は、各リーフ・スイッチに再度ログインして、次のコマンドを使用します。

         rack5sw-rocea0# dir bootflash:roce_leaf_switch_multi_R5LL.cfg
             171387 Nov 20 14:41:52 2019 roce_leaf_switch_multi_R5LL.cfg
         Usage for bootflash://sup-local
         2583580672 bytes used
         114139488256 bytes free
         116723068928 bytes total
         
         rack5sw-roceb0# dir bootflash:roce_leaf_switch_multi_R5UL.cfg
             171387 Nov 20 21:41:50 2019 roce_leaf_switch_multi_R5UL.cfg
         Usage for bootflash://sup-local
         2579836928 bytes used
         114143232000 bytes free
         116723068928 bytes total

      4. 変更した構成ファイルをフラッシュにコピーします。

         たとえば、5番目のラックを追加する場合は、次のコマンドを使用します。

         rack5sw-rocea0(config)# run-script bootflash:roce_leaf_switch_multi_R5LL.cfg | grep 'none'
         
         rack5sw-rocea0(config)# copy running-config startup-config

         rack5sw-roceb0(config)# run-script bootflash:roce_leaf_switch_multi_R5UL.cfg | grep 'none'
         
         rack5sw-roceb0(config)# copy running-config startup-config

         注意:

         リーフ・スイッチのrun-scriptコマンドは、完了までに最大6分かかることがあります。
6. patchmgrを使用し、RDMAネットワーク・ファブリック・スイッチの構成をゴールデン構成ファイルに対して検証します。
   1. (ステップ4.aで).RDMAネットワーク・スイッチのパッチZIPファイルをダウンロードしたサーバーにログインします。
   2. すべてのラックのリーフ・スイッチとスパイン・スイッチの名前またはIPアドレスを含むファイルを作成します。
      たとえば、roce_switches.lstという名前のファイルを作成します。このファイルには、各ラックのスパイン・スイッチおよび両方のリーフ・スイッチのホスト名またはIPアドレスが含まれています。各スイッチは新しい行に記述します。
   3. --verify_configオプションを指定してpatchmgrを実行します。

      次のコマンドで、roce_switches.lstは問合せ対象のスイッチが含まれているファイルです。

      $ ./patchmgr --roceswitches roce_switches.lst --verify-config --log_dir /tmp
      
      2019-11-20 14:12:27 -0800 :Working: Initiate config verify on RoCE switches from . Expect up to 6 minutes for each switch
                                                         
      
      2019-11-20 14:12:30 -0800 1 of 15 :Verifying config on switch rack1sw-rocea0
      
      2019-11-20 14:12:30 -0800: [INFO ] Dumping current running config locally as file: /tmp/run.rack1sw-rocea0.cfg
      2019-11-20 14:12:33 -0800: [SUCCESS ] Backed up switch config successfully
      2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [1/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch.cfg
      2019-11-20 14:12:33 -0800: [INFO ] Validating running config against template [2/3]: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
      2019-11-20 14:12:33 -0800: [INFO ] Config matches template: /tmp/patch_switch_19.3.1.0.0.191018/roce_switch_templates/roce_leaf_switch_multi.cfg
      2019-11-20 14:12:33 -0800: [SUCCESS ] Config validation successful!
      
      
      2019-11-20 14:12:33 -0800 2 of 15 :Verifying config on switch rack1sw-roceb0
      ...

7. 新しいラックRn+1のスイッチの物理的な配線を行います。

   注意:

   重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。
   1. 新しいラックRn+1の各リーフ・スイッチの間にある、8つの既存のスイッチ間接続を取り外します(ポート4、5、6、7および30、31、32、33)。
   2. マルチラック配線表の該当する表に従って、新しいラックでリーフ・スイッチを配線します。

      たとえば、5番目のラックを追加していて、ラックRn+1がR5の場合は、表4-14 5ラック・システムの5番目のラックのリーフ・スイッチ接続を使用します。

8. 既存のラックのスイッチに新しいラックを追加します(R1からRn)。
   1. 既存のラック(Rx)の場合、マルチラック配線表の該当する表に従って、下部のリーフ・スイッチRxLLを配線します。
   2. 同じラックの場合、マルチラック配線表の該当する表に従って、上位リーフ・スイッチRxULを配線します。
   3. これらのステップを既存の各ラック(R1からRn)で繰り返します。
9. 各スイッチが使用可能で、接続されていることを確認します。

   ラックR1、R2、…、Rn、Rn+1の各スイッチについて、スイッチのshow interface statusコマンドの出力にconnectedと100Gが表示されることを確認します。次の例では、リーフ・スイッチはポートEth1/4からEth1/7、およびEth1/30からEth1/33です。スパイン・スイッチはポートEth1/5からEth1/20です。

   スパイン・スイッチから実行すると、出力は次のようになります。

   rack1sw-roces0# show interface status
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   mgmt0         --                 connected routed    full    1000    -- 
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   ...
   Eth1/5        RouterPort5        connected routed    full    100G    QSFP-100G-CR4
   Eth1/6        RouterPort6        connected routed    full    100G    QSFP-100G-SR4
   Eth1/7        RouterPort7        connected routed    full    100G    QSFP-100G-CR4
   Eth1/8        RouterPort8        connected routed    full    100G    QSFP-100G-SR4
   Eth1/9        RouterPort9        connected routed    full    100G    QSFP-100G-CR4
   Eth1/10       RouterPort10       connected routed    full    100G    QSFP-100G-SR4
   Eth1/11       RouterPort11       connected routed    full    100G    QSFP-100G-CR4
   Eth1/12       RouterPort12       connected routed    full    100G    QSFP-100G-SR4
   Eth1/13       RouterPort13       connected routed    full    100G    QSFP-100G-CR4
   Eth1/14       RouterPort14       connected routed    full    100G    QSFP-100G-SR4
   Eth1/15       RouterPort15       connected routed    full    100G    QSFP-100G-CR4
   Eth1/16       RouterPort16       connected routed    full    100G    QSFP-100G-SR4
   Eth1/17       RouterPort17       connected routed    full    100G    QSFP-100G-CR4
   Eth1/18       RouterPort18       connected routed    full    100G    QSFP-100G-SR4
   Eth1/19       RouterPort19       connected routed    full    100G    QSFP-100G-CR4
   Eth1/20       RouterPort20       connected routed    full    100G    QSFP-100G-SR4
   Eth1/21       RouterPort21       xcvrAbsen      routed    full    100G    --
   ...

   リーフ・スイッチから実行すると、出力は次のようになります。

   rack1sw-rocea0# show interface status
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   mgmt0         --                 connected routed    full    1000    -- 
   --------------------------------------------------------------------------------
   Port          Name               Status    Vlan      Duplex  Speed   Type
   --------------------------------------------------------------------------------
   ...
   Eth1/4        RouterPort1        connected routed    full    100G    QSFP-100G-CR4
   Eth1/5        RouterPort2        connected routed    full    100G    QSFP-100G-CR4
   Eth1/6        RouterPort3        connected routed    full    100G    QSFP-100G-CR4
   Eth1/7        RouterPort4        connected routed    full    100G    QSFP-100G-CR4
   Eth1/8        celadm14           connected 3888      full    100G    QSFP-100G-CR4
   ...
   Eth1/29       celadm01           connected 3888      full    100G    QSFP-100G-CR4
   Eth1/30       RouterPort5        connected routed    full    100G    QSFP-100G-SR4
   Eth1/31       RouterPort6        connected routed    full    100G    QSFP-100G-SR4
   Eth1/32       RouterPort7        connected routed    full    100G    QSFP-100G-SR4
   Eth1/33       RouterPort8        connected routed    full    100G    QSFP-100G-SR4
   ...

10. ラックR1、R2、…、Rn、Rn+1のすべてのスイッチで、近隣探索をチェックします。
    すべてのスイッチが表示されることを確認し、スイッチのポートの割当て(リーフ・スイッチ: ポートEth1/4 - Eth1/7、Eth1/30 - Eth1/33、スパイン・スイッチ: ポートEth1/5 - Eth1/20)をマルチラック配線表の該当する表に対して確認します。

    各スイッチにログインし、show lldp neighborsコマンドを使用します。

    各スパイン・スイッチでは、各ラックのすべてのリーフ・スイッチが表示されますが、他のスパイン・スイッチは表示されません。スパイン・スイッチの出力は次のようになります。

    rack1sw-roces0# show lldp neighbors | grep roce
    rack1sw-roceb0 Eth1/5 120 BR Ethernet1/5
    rack2sw-roceb0 Eth1/6 120 BR Ethernet1/5
    rack1sw-roceb0 Eth1/7 120 BR Ethernet1/7
    rack2sw-roceb0 Eth1/8 120 BR Ethernet1/7
    rack1sw-roceb0 Eth1/9 120 BR Ethernet1/4
    rack2sw-roceb0 Eth1/10 120 BR Ethernet1/4
    rack3sw-roceb0 Eth1/11 120 BR Ethernet1/5
    rack3sw-roceb0 Eth1/12 120 BR Ethernet1/7
    rack1sw-rocea0 Eth1/13 120 BR Ethernet1/5
    rack2sw-rocea0 Eth1/14 120 BR Ethernet1/5
    rack1sw-rocea0 Eth1/15 120 BR Ethernet1/7
    rack2sw-rocea0 Eth1/16 120 BR Ethernet1/7
    rack3sw-rocea0 Eth1/17 120 BR Ethernet1/5
    rack2sw-rocea0 Eth1/18 120 BR Ethernet1/4
    rack3sw-rocea0 Eth1/19 120 BR Ethernet1/7
    rack3sw-rocea0 Eth1/20 120 BR Ethernet1/4 

    各リーフ・スイッチでは、すべてのラックのスパイン・スイッチが表示されますが、他のリーフ・スイッチは表示されません。リーフ・スイッチの出力は次のようになります。

    rack1sw-rocea0# show lldp neighbors | grep roce
    rack3sw-roces0 Eth1/4 120 BR Ethernet1/13
    rack1sw-roces0 Eth1/5 120 BR Ethernet1/13
    rack3sw-roces0 Eth1/6 120 BR Ethernet1/15
    rack1sw-roces0 Eth1/7 120 BR Ethernet1/15
    rack2sw-roces0 Eth1/30 120 BR Ethernet1/17
    rack2sw-roces0 Eth1/31 120 BR Ethernet1/13
    rack3sw-roces0 Eth1/32 120 BR Ethernet1/17
    rack2sw-roces0 Eth1/33 120 BR Ethernet1/15

11. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
12. 各ラックで、verify_roce_cables.pyスクリプトを実行して、マルチラック配線を確認します。

    ダウンロードおよび使用方法については、My Oracle SupportのDoc ID 2587717.1を参照してください。

    注意:

    RDMAネットワーク・ファブリックに配線されたリーフ・スイッチおよびスパイン・スイッチのポートの場合は、「CABLE OK?」列の「FAIL」ステータスを無視します。スイッチの他のポート(データベース・サーバー用、ストレージ・サーバー用など)の場合、ステータスは「OK」である必要があります。

    次の出力は、コマンドの結果の部分的な例を示しています。

    # ./verify_roce_cables.py -n nodes.rack1 -s switches.rack1
    SWITCH PORT (EXPECTED PEER)  LEAF-1 (rack1sw-rocea0)     : CABLE OK?  LEAF-2 (rack1sw-roceb0)    : CABLE OK?
    ----------- --------------   --------------------------- : --------   -----------------------    : ---------
    Eth1/4 (ISL peer switch)   : rack1sw-roces0 Ethernet1/17 : FAIL       rack1sw-roces0 Ethernet1/9 : FAIL
    Eth1/5 (ISL peer switch)   : rack1sw-roces0 Ethernet1/13 : FAIL       rack1sw-roces0 Ethernet1/5 : FAIL
    Eth1/6 (ISL peer switch)   : rack1sw-roces0 Ethernet1/19 : FAIL       rack1sw-roces0 Ethernet1/11: FAIL
    Eth1/7 (ISL peer switch)   : rack1sw-roces0 Ethernet1/15 : FAIL       rack1sw-roces0 Ethernet1/7 : FAIL
    Eth1/12 (celadm10)         : rack1celadm10 port-1        : OK         rack1celadm10 port-2       : OK
    Eth1/13 (celadm09)         : rack1celadm09 port-1        : OK         rack1celadm09 port-2       : OK
    Eth1/14 (celadm08)         : rack1celadm08 port-1        : OK         rack1celadm08 port-2       : OK
    ...
    Eth1/15 (adm08)            : rack1dbadm08 port-1         : OK         rack1dbadm08 port-2        : OK
    Eth1/16 (adm07)            : rack1dbadm07 port-1         : OK         rack1dbadm07 port-2        : OK
    Eth1/17 (adm06)            : rack1dbadm06 port-1         : OK         rack1dbadm06 port-2        : OK
    ...
    Eth1/30 (ISL peer switch)  : rack2sw-roces0 Ethernet1/17 : FAIL       rack2sw-roces0 Ethernet1/9 : FAIL
    Eth1/31 (ISL peer switch)  : rack2sw-roces0 Ethernet1/13 : FAIL       rack2sw-roces0 Ethernet1/5 : FAIL
    Eth1/32 (ISL peer switch)  : rack2sw-roces0 Ethernet1/19 : FAIL       rack2sw-roces0 Ethernet1/11: FAIL
    Eth1/33 (ISL peer switch)  : rack2sw-roces0 Ethernet1/15 : FAIL       rack2sw-roces0 Ethernet1/7 : FAIL
    

13. infinicheckコマンドを使用して、データベース・サーバーとストレージ・サーバーの間の現在のクラスタのネットワーク・ステータスを確認します。

    ROCE操作に基づいたRDMAネットワーク・ファブリックの検証に記載されているステップを完了します。

    注意:

    SSHの等価が設定されていない場合は、最初にinfinicheck -sを実行します。

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -z
    
    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts.lst -c cells.lst -b
    
    INFINICHECK                    
            [Network Connectivity, Configuration and Performance]        
                   
              ####  FABRIC TYPE TESTS  #### 
    System type identified: RoCE
    Verifying User Equivalance of user=root from all DBs to all CELLs.
         ####  RoCE CONFIGURATION TESTS  ####       
         Checking for presence of RoCE devices on all DBs and CELLs 
    [SUCCESS].... RoCE devices on all DBs and CELLs look good
         Checking for RoCE Policy Routing settings on all DBs and CELLs 
    [SUCCESS].... RoCE Policy Routing settings look good
         Checking for RoCE DSCP ToS mapping on all DBs and CELLs 
    [SUCCESS].... RoCE DSCP ToS settings look good
         Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
    [SUCCESS].... RoCE PFC and DSCP settings look good
         Checking for RoCE interface MTU settings. Expected value : 2300
    [SUCCESS].... RoCE interface MTU settings look good
         Verifying switch advertised DSCP on all DBs and CELLs ports ( )
    [SUCCESS].... Advertised DSCP settings from RoCE switch looks good  
        ####  CONNECTIVITY TESTS  ####
        [COMPUTE NODES -> STORAGE CELLS] 
          (60 seconds approx.)       
        (Will walk through QoS values: 0-6) [SUCCESS]..........Results OK
    [SUCCESS]....... All  can talk to all storage cells          
        [COMPUTE NODES -> COMPUTE NODES]               
    ...

14. ラックを配線した後、新しいハードウェアの構成に進み、新しいラックの構成を完了します。

2.4.3.2 複数のラックの配線 - X8以前

特定の順序で一連のステップに従って、複数のラックをまとめて配線できます。

サブネット・マネージャ・マスターは最初のラック(R1 IB1)の最初のRDMA over InfiniBand Network Fabricスイッチで実行されているとみなされます。

この手順は、X8以前とRDMA over InfiniBand Network Fabricの場合に使用します。

1. スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
   1. アクティブなシステムで任意のInfiniBandスイッチにログインします。
   2. getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。

      次の例は、スパイン・スイッチdm01sw-ib1でサブネット・マネージャ・マスターが実行されていることを示しています。

      # getmaster
      20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36
      QDR switch dm01sw-ib1.example.com enhanced port 0 lid 1 lmc 0

      スパイン・スイッチでサブネット・マネージャ・マスターが実行されていない場合は、次のステップを実行します。

      1. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。

      2. サブネット・マネージャ・マスターのリーフ・スイッチにrootユーザーとしてログインします。

      3. スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。

      4. getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまでステップ1.b.iiと1.b.iiiを繰り返します。

      5. この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。

   3. スパイン・スイッチにログインします。
   4. disablesmコマンドを使用して、サブネット・マネージャを停止します。
   5. setsmpriority 10コマンドを使用して優先度を10に設定します。
   6. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
   7. ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
2. 新しいラックが既存ラックの近くにあることを確認します。
   InfiniBandケーブルは各ラックのサーバーまで届く必要があります。
3. 新しいラック(Rn+1)を完全に停止します。
4. マルチラック配線表の該当する表に従って、新しいラックでリーフ・スイッチを配線します。

   たとえば、ラックRn+1がR4の場合は、表5-9を使用します。

   注意:

   重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。

   新しいInfiniBandトポロジに使用する配線表では、ラックに接続するためにリーフ・スイッチのポートをスパイン・スイッチのポートに接続する方法について説明しています。スパイン・スイッチのこれらのポートの一部は、既存のInfiniBandトポロジをサポートするためにすでに使用されている可能性があります。このような場合、新しいラックのリーフ・スイッチのケーブルのみを接続し、この時点で停止します。終了できなかったケーブルをメモします。

   この時点で既存のラックのスパイン・スイッチのケーブルを抜かないでください。ステップ5では、既存のラックでリーフ・スイッチを再度配線する方法について説明します(順に、再度配線されるリーフ・スイッチの電源がオフになります)。これにより、現在使用中のポートが解放されます。この時点で、ケーブルのもう一方の端を、新しいラックのリーフ・スイッチから、表に示されている既存のラックのスパイン・スイッチに接続できます。

5. 元の各ラックに対して次の手順を実行します。
   このステップで、RxはR1からRnまでのラック番号を表します。
   1. リーフ・スイッチRx IB2の電源をオフにします。
      これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB3にフェイルオーバーされます。
   2. 「マルチラック配線表」に従って、リーフ・スイッチRx IB2を配線します。
   3. リーフ・スイッチRx IB2の電源をオンにします。
   4. Rx IB2が完全に操作状態になるまで少なくとも3分待ちます。

      スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

   5. リーフ・スイッチRx IB3の電源をオフにします。
      これにより、ラック内のすべてのサーバーのInfiniBandトラフィックがRx IB2にフェイルオーバーされます。
   6. 「マルチラック配線表」に従って、リーフ・スイッチRx IB3を配線します。
   7. リーフ・スイッチRx IB3の電源をオンにします。
   8. Rx IB3が完全に操作状態になるまで少なくとも3分待ちます。

      スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。

   マルチラック配線表に従って、すべてのラックが再配線されました。

6. 新しいラックのすべてのInfiniBandスイッチの電源をオンにします。
7. スイッチが完全に操作状態になるまで3分待ちます。

   スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...Rn+1のIB1、IB2およびIB3に対して(n+1)*3スイッチが出力表示されます。

8. 任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。
9. 新しいラック(Rn+1)のすべてのサーバーの電源をオンにします。
10. スパイン・スイッチR1 IB1にログインし、優先度を8に下げます。
    1. disablesmコマンドを使用して、サブネット・マネージャを停止します。
    2. setsmpriority 8コマンドを使用して優先度を8に設定します。
    3. enablesmコマンドを使用して、サブネット・マネージャを再起動します。
11. 任意のスイッチからgetmasterコマンドを使用し、スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
12. 任意のスイッチから次のコマンドを入力して、各スパイン・スイッチでサブネット・マネージャが実行中であることを確認します。

    ibdiagnet -r

    各スパイン・スイッチは、出力のSummary Fabric SM-state-priorityセクションで実行中と表示されます。スパイン・スイッチが実行中でない場合は、スイッチにログインし、enablesmコマンドを使用してサブネット・マネージャを有効化します。

13. 現在、4つ以上のラックがある場合は、各ラックのリーフ・スイッチにログインし、disablesmコマンドを使用してサブネット・マネージャを無効化します。