2 ハードウェアの拡張
ラック内にデータベース・サーバーおよびストレージ・サーバーを追加することで、Oracle Exadata Database Machineを拡張できます。複数のラックをケーブルで接続することもできます。
すべての新しい機器は、カスタマ・サポートID(CSI)を受け取ります。Oracle Exadata Rackの新しい機器には、新しいCSIがあります。新しいCSIと既存のOracle Exadata Rack CSIを調整する場合は、Oracleサポート・サービスに連絡してください。Oracleサポート・サービスに連絡する場合は、元のインスタンス番号または使用可能なシリアル番号、および新しい番号をお手元に用意してください。
- エイス・ラックの拡張
- エラスティック構成の拡張
Exadata Database Machineは、Oracle Exadata Configuration Assistant (OECA)で定義されているように、最大でラックの容量までの多数のデータベース・サーバーおよびストレージ・サーバーで構成されるエラスティック構成で使用できます。 - 別のラックの追加によるラックの拡張
Oracle Exadata Rackを拡張するには、別のラックの追加とラックの構成を一緒に行います。
2.1 エイス・ラックの拡張
Oracle Exadata Database Machineエイス・ラック・システムの拡張プロセスは主に、他のExadataラックを拡張する場合と同じです。プロセスには主に、次のステージが含まれます。
-
既存のエイス・ラック・システム構成を確認します。
-
必要なハードウェアの設置を実行します。
この段階では、一部のハードウェア・コンポーネントを取り付けるためにサーバーのシャットダウンが必要になることがあります。必要に応じて、システムの全体的な可用性を維持するために、ローリング方式でサーバーをシャットダウンします。
-
追加のハードウェア・リソースを構成します。
このステージでは、次のことを行います。
-
新しいデータベース・サーバー・リソースをデータベース・クラスタに追加します。
-
新しいストレージ・サーバー・リソースを使用して、追加のグリッド・ディスクを作成します。これを使用して、既存のOracle ASMディスク・グループを拡張できます。
-
次の項では、Oracle Exadata Database Machineエイス・ラックに固有の追加情報および手順について説明します。
- エイス・ラック拡張オプション
この項では、様々なOracle Exadata Database Machineエイス・ラック・モデルで使用可能な拡張オプションの概要を示します。 - エイス・ラック拡張手順
この項では、一部のOracle Exadata Database Machineエイス・ラック・モデルを拡張するために必要となる可能性がある特定の手順について説明します。
親トピック: ハードウェアの拡張
2.1.1 エイス・ラックの拡張オプション
この項では、様々なOracle Exadata Database Machineエイス・ラック・モデルで使用可能な拡張オプションの概要を示します。
- X9M-2エイス・ラックのアップグレード・オプション
- X7-2、X8-2およびX8M-2エイス・ラックのアップグレード・オプション
- X6-2エイス・ラックのアップグレード・オプション
- エイス・ラックX4-2およびX5-2の拡張オプション
親トピック: エイス・ラックの拡張
2.1.1.1 X9M-2エイス・ラックのアップグレード・オプション
Oracle Exadata Database Machine X9M-2エイス・ラック・システムのアップグレードには、ハードウェアの変更が必要になります。エイス・ラック以外のシステムと比べて、エイス・ラック・データベース・サーバーは1つのCPUを搭載し、メモリーが少なく、エイス・ラック・ストレージ・サーバーはCPUコアが少なく、メモリーが少なく、ディスク・ストレージも少なく、フラッシュ・ストレージも少なくなります。
Oracle Exadata Database Machine X9M-2エイス・ラック・システムは、次のようにアップグレードできます。
-
データベース・サーバーにCPUアップグレード・キットを追加します。これにより、各データベース・サーバーにCPUが1つ追加されます。
CPUアップグレード・キットの追加の一部として、次も行う必要があります。
-
ネットワーク・インタフェース・カードをPCIeスロット2からPCIeスロット1に物理的に移動します。
-
/opt/oracle.cellos/ipconf.pl
を実行して、OSネットワーク構成ファイルを再構成します。
-
-
データベース・サーバーにメモリー・アップグレード・キットを追加します。これにより、各データベース・サーバーに32 GB DIMMが4つ追加されます。
384GBのメモリーを持つデータベース・サーバーでは、CPUアップグレード・キットをインストールする場合は、メモリー・アップグレード・キットをインストールする必要があります。
-
データベース・サーバーを追加します。
標準(完全に構成された)データベース・サーバーを追加することで、処理能力を拡張できます。必須ではありませんが、ラック全体の一貫性を最大化するために、データベース・サーバーを追加する前に元のエイス・ラック・データベース・サーバーをアップグレードすることをお薦めします。
-
ストレージ・サーバーを追加します。
エイス・ラック大容量ストレージ・サーバーを拡張するためのアップグレード・キットはありません。ただし、エイス・ラック大容量ストレージ・サーバーを追加することで、ストレージ容量を拡張できます。
標準の大容量(HC)、Extreme Flash (EF)またはExtended (XT)ストレージ・サーバーを追加して、ストレージ容量を拡張することもできます。
親トピック: エイス・ラックの拡張オプション
2.1.1.2 X7-2、X8-2およびX8M-2エイス・ラックのアップグレード・オプション
Oracle Exadata Database Machine X7-2、X8-2またはX8M-2エイス・ラック・システムのアップグレードには、ハードウェアの変更が必要になります。エイス・ラックのデータベース・サーバーでは、CPUの1つがなくなり、CPU1のすべてのメモリーがCPU0に移動されています。ストレージ・サーバーは半分のコアが有効で、ディスクとフラッシュ・カードの半分が取り外されています。
Extreme Flashストレージ・サーバーを搭載したOracle Exadata Database Machine X7-2、X8-2またはX8M-2エイス・ラック・システムでは、CPUおよびフラッシュ・カードを追加して、システムをクオータ・ラックに拡張できます。
大容量ストレージ・サーバーを搭載したOracle Exadata Database Machine X7-2、X8-2またはX8M-2エイス・ラック・システムの場合は、CPUおよびメモリーをデータベース・サーバーおよびエイス・ラック高容量ストレージ・サーバーに追加してシステムを拡張できます。
具体的には、次のことを行います。
-
エイス・ラックX7-2、X8-2またはX8M-2データベース・サーバーを拡張するには:
-
CPU1をインストールします
-
CPU0のメモリーの半分をCPU1に移動します
-
10/25GbE PCIカードをPCIeスロット1に移動します
-
-
エイス・ラックX7-2、X8-2またはX8M-2 Extreme Flashストレージ・サーバーを拡張するには、4個のF640/F640v2フラッシュ・カードをPCIeスロット2、3、8および9に取り付けます。
親トピック: エイス・ラックの拡張オプション
2.1.1.3 X6-2エイス・ラックのアップグレード・オプション
Oracle Exadata Database Machine X6-2エイス・ラック・システムでは、エイス・ラック大容量ストレージ・サーバーを追加することで大容量(HC)ストレージを追加できます。個々のエイス・ラック大容量ストレージ・サーバーを拡張するためのアップグレード・キットはありません。
さらに、ソフトウェア専用のアップグレード・キットを使用して、X6-2エイス・ラック・データベース・サーバーおよびX6-2エイス・ラックExtreme Flash (EF)ストレージ・サーバー用として無効化されたハードウェア・リソースを有効にできます。
親トピック: エイス・ラックの拡張オプション
2.1.1.4 エイス・ラックX4-2およびX5-2の拡張オプション
Oracle Exadata Database Machineエイス・ラックX4-2およびX5-2には、完全に構成されたサーバーが含まれており、使用可能なシステム・リソース(CPU、RAMおよびストレージ)の約半分は無効になっています。その結果、X4-2またはX5-2システムのエイス・ラックからクォータ・ラックへの拡張は、無効なハードウェア・リソースを有効化するためにソフトウェアのみを使用して行われます。クォータ・ラックを超える拡張には、追加のハードウェアを含む追加の拡張キットが必要です。
親トピック: エイス・ラックの拡張オプション
2.1.2 エイス・ラックの拡張手順
この項では、一部のOracle Exadata Database Machineエイス・ラック・モデルを拡張するために必要となる可能性がある特定の手順について説明します。
次の手順の一部は、特定の状況でのみ適用されます。そのため、該当する場合は、手順の冒頭にある適用メモを確認してください。それ以外の場合、データベース・サーバーまたはストレージ・サーバーの追加によるエイス・ラックの拡張には、エイス・ラック以外のエラスティック拡張と同じ一般的な手順を使用します。「エラスティック構成の拡張」および「新しいハードウェアの構成」を参照してください。
また、次の手順では、
-
ディスク・グループ名とサイズは例です。実際のシステムに合せて、コマンドの値を変更するようにしてください。
-
最初のデータベース・サーバーおよび他のすべてのデータベース・サーバーの
root
ユーザーと、すべてのストレージ・セルのcelladmin
ユーザーの間にユーザー等価(パスワードなしSSH)が存在すると仮定しています。 -
セル・ホスト名とデータベース・サーバー・ホスト名それぞれのリストを含むテキスト・ファイル
cell_group
およびdb_group
を作成する必要があります。
エイス・ラックの拡張手順:
- エイス・ラックのOracle Exadata Database Machineの現在の構成の確認と検証
次の手順では、現在の構成を確認および検証する方法について説明します。 - Oracle Exadata Database Machineエイス・ラックのデータベース・サーバー・コアのアクティブ化
次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。 - Oracle Exadata Database Machineエイス・ラックのストレージ・サーバー・コアおよびディスクのアクティブ化
次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。 - Oracle Exadata Database Machineエイス・ラックでの追加グリッド・ディスクの作成
追加グリッド・ディスクの作成では、適切なオフセットを確保するために特定の順序に従う必要があります。 - Oracle Exadata Database Machineエイス・ラックでのグリッド・ディスクのOracle ASMディスク・グループへの追加
次の手順では、新しいグリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。 - Oracle Exadata Database Machineの拡張の検証
拡張後、新しい構成を検証します。
親トピック: エイス・ラックの拡張
2.1.2.1 エイス・ラックのOracle Exadata Database Machineの現在の構成の確認と検証
次の手順では、現在の構成を確認および検証する方法について説明します。
-
最初のデータベース・サーバーに
root
ユーザーとしてログインします。 -
次のコマンドを使用して、ストレージ・サーバーの現在の構成を確認します。予想される出力は
TRUE
です。# dcli -g cell_group -l celladmin 'cellcli -e LIST CELL attributes eighthrack'
-
次のコマンドを使用して、データベース・サーバーの現在のCPUコア数を確認します。
# dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
次に、すべてのCPUコアが有効なOracle Exadata Database Machine X9M-2エイス・ラックから予想される出力の例を示します。
dm01db01: 32 dm01db02: 32
アクティブなデータベース・サーバーのCPUコアの数が予想される値と異なる場合は、Oracleサポート・サービスに連絡してください。
親トピック: エイス・ラックの拡張手順
2.1.2.2 Oracle Exadata Database Machineエイス・ラックのデータベース・サーバー・コアのアクティブ化
次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。
ノート:
この手順は次に対して適用されます。
-
無効化された元のデータベース・サーバーのCPUコア
-
承認されたCPUアップグレード・キットの一部である追加のCPUコア
データベース・サーバーを追加することでデータベース・サーバーのハードウェア・リソースを拡張する場合、次の操作は必要ありません。
-
最初のデータベース・サーバーに
root
ユーザーとしてログインします。 -
データベース・サーバー・グループで、次のdcliユーティリティ・コマンドを使用して、すべてのデータベース・サーバー・コアをアクティブにします。
# dcli -g db_group -l root 'dbmcli -e \ ALTER DBSERVER pendingCoreCount = number_of_cores'
前述のコマンドで、number_of_coresは、アクティブ化するコアの合計数です。この値には、既存のコア数とアクティブ化する追加のコア数が含まれます。次のコマンドは、Oracle Exadata Database Machine X5-2エイス・ラックのすべてのコアをアクティブ化します。
# dcli -g db_group -l root 'dbmcli -e ALTER DBSERVER pendingCoreCount = 36'
各サーバー・モデルでサポートされるコア数の詳細は、Oracle Exadata Database Machineのキャパシティ・オンデマンドの制限に関する項を参照してください
-
各データベース・サーバーを再起動します。
ノート:
Oracle DatabaseとOracle Grid Infrastructureがアクティブな状態でローリング方式でこの手順を実行する場合は、データベース・サーバーを再起動する前に次の点を確認してください。
-
すべてのOracle ASMグリッド・ディスクがオンラインになっていること。
-
アクティブなOracle ASMリバランス操作がないこと。リバランス操作のステータスを確認するには、
V$ASM_OPERATION
ビューに問い合せます。 -
Oracle DatabaseとOracle Grid Infrastructureを適切な方法で停止し、必要であればサービスをフェイルオーバーすること
-
-
再起動が完了して次のサーバーに進む前に、データベース・サーバーで次の点を確認します。
-
Oracle DatabaseとOracle Grid Infrastructureサービスがアクティブであること。
『Oracle Real Application Clusters管理およびデプロイメント・ガイド』のインスタンスが実行中であることを確認するためのSRVCTLの使用に関する項および
crsctl status resource –w "TARGET = ONLINE" —t
コマンドを参照してください。 -
アクティブ・コア数が正しいこと。
dbmcli -e list dbserver attributes coreCount
コマンドを使用して、コア数を確認します。
-
関連項目:
-
『Oracle Real Application Clusters管理およびデプロイメント・ガイド』のSRVCTLを使用した1つ以上のインスタンスおよびOracle RACデータベースの停止に関する項
親トピック: エイス・ラックの拡張手順
2.1.2.3 Oracle Exadata Database Machineエイス・ラックのストレージ・サーバー・コアおよびディスクのアクティブ化
次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。
ノート:
この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。
ストレージ・サーバーを追加することでストレージ・サーバーのハードウェア・リソースを拡張する場合、この手順は適用されません。
-
最初のデータベース・サーバーに
root
ユーザーとしてログインします。 -
次のコマンドを使用してストレージ・サーバー・グループのコアをアクティブ化します。このコマンドはdcliユーティリティを使用し、
celladmin
ユーザーとして実行します。# dcli -g cell_group -l celladmin cellcli -e "alter cell eighthRack=false"
-
次のコマンドを使用して、セル・ディスクを作成します。
# dcli -g cell_group -l celladmin cellcli -e "create celldisk all"
-
次のコマンドを使用して、フラッシュ・ログを再作成します。
# dcli -g cell_group -l celladmin cellcli -e "drop flashlog all force" # dcli -g cell_group -l celladmin cellcli -e "create flashlog all"
-
次のコマンドを使用して、フラッシュ・キャッシュを拡張します。
# dcli -g cell_group -l celladmin cellcli -e "alter flashcache all"
親トピック: エイス・ラックの拡張手順
2.1.2.4 Oracle Exadata Database Machineエイス・ラックでの追加グリッド・ディスクの作成
適切なオフセットを確保するために、追加グリッド・ディスクの作成は特定の順序で行う必要があります。
ノート:
この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。
ストレージ・サーバーを追加することでストレージ・サーバーのハードウェア・リソースを拡張する場合、この手順は適用されません。
グリッド・ディスク作成の順序は、グリッド・ディスクの最初の作成プロセスで使用された順序と同じにする必要があります。Oracle Exadata Deployment Assistant (OEDA)を使用する標準デプロイメントの場合は、DATA、RECO、DBFS_DGの順です(存在する場合)。すべてのDATAグリッド・ディスクをまず作成し、次にRECOグリッド・ディスク、さらにDBFS_DGグリッド・ディスクを作成します(存在する場合)。
次の手順では、グリッド・ディスクを作成する方法について説明します。
ノート:
この手順で示すコマンドでは、標準のデプロイメント・グリッド・ディスク接頭辞名DATA、RECOおよびDBFS_DGを使用しています。サイズのチェックはセル・ディスク02で行います。セル・ディスク02を使用するのは、セル・ディスク00および01のディスク・レイアウトがサーバーの他のセル・ディスクとは異なるためです。-
次のコマンドを使用して、グリッド・ディスクのサイズをチェックします。同じグリッド・ディスク接頭辞で開始するグリッド・ディスクでは各セルが同じサイズを返します。
# dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'DATA.*_02_.*\'" # dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'RECO.*_02_.*\'" # dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'DBFS_DG.*_02_.*\'"
表示されるサイズは、グリッド・ディスク作成で使用します。
-
ステップ1で表示したサイズを使用してディスク・グループのグリッド・ディスクを作成します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。
表2-1 Oracle Exadata Database Machineエイス・ラックを拡張する際にディスク・グループを作成するコマンド
ラック | コマンド |
---|---|
Extreme Flash Oracle Exadata Database Machine |
|
大容量Oracle Exadata Database Machine |
|
親トピック: エイス・ラックの拡張手順
2.1.2.5 Oracle Exadata Database Machineエイス・ラックでのグリッド・ディスクのOracle ASMディスク・グループへの追加
次の手順では、新しいグリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。
ノート:
この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。
ストレージ・サーバーを追加することでストレージ・サーバーのハードウェア・リソースを拡張する場合、この手順は適用されません。
Oracle Exadata Database Machineエイス・ラックでの追加グリッド・ディスクの作成で作成されたグリッド・ディスクは、対応する既存のOracle ASMディスク・グループにOracle ASMディスクとして追加する必要があります。
-
次を検証します。
- リバランス操作が現在実行していないこと。
- すべてのOracle ASMディスクがアクティブになっていること。
-
Oracle Grid Infrastructureソフトウェアを実行している所有者として、最初のデータベース・サーバーにログインします。
-
サーバーの+ASMインスタンスにアクセスするように環境を設定します。
-
次のコマンドを使用して、ASMインスタンスに
sysasm
ユーザーとしてログインします。$ sqlplus / as sysasm
-
次のように現在の設定を検証します。
SQL> set lines 100 SQL> column attribute format a20 SQL> column value format a20 SQL> column diskgroup format a20 SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG WHERE DG.group_number=att.group_number AND att.name LIKE '%appliance.mode%' ORDER BY att.group_number;
出力は次のようになります。
ATTRIBUTE VALUE DISKGROUP -------------------- -------------------- -------------------- appliance.mode TRUE DATAC1 appliance.mode TRUE DBFS_DG appliance.mode TRUE RECOC1
-
次のコマンドを使用して、
TRUE
が表示されたすべてのディスク・グループのappliance.mode
属性を無効化します。SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='FALSE'; SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='FALSE'; SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='FALSE';
このコマンドで、data_diskgroup、reco_diskgroupおよびdbfs_dg_diskgroupは、それぞれDATA、RECOおよびDBFS_DGディスク・グループの名前です。
-
グリッド・ディスクをOracle ASMディスク・グループに追加します。次の表に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。新しいディスクを調整するとシステムのリバランスが必要になります。
表2-2 エイス・ラックのOracle Exadata Database Machineを拡張する際にディスク・グループを追加するコマンド
ラック コマンド Extreme Flash Oracle Exadata Database Machine
SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_FD_0[4-7]*' \ REBALANCE POWER 32; SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_FD_0[4-7]*' \ REBALANCE POWER 32; SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK 'o/*/DBFS_DG_FD_0[4-7]*'\ REBALANCE POWER 32;
大容量Oracle Exadata Database Machine
SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_CD_0[6-9]*',' \ o/*/DATA_CD_1[0-1]*' REBALANCE POWER 32; SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_CD_0[6-9]*',' \ o/*/RECO_CD_1[0-1]*' REBALANCE POWER 32; SQL> ALTER DISKGROUP
dbfs_dg_diskgroup
ADD DISK ' \ o/*/DBFS_DG_CD_0[6-9]*',' o/*/DBFS_DG_CD_1[0-1]*' REBALANCE POWER 32;成功すると、前述のコマンドによって
Diskgroup altered
が返されます。 -
(オプション)次のコマンドを使用して、現在のリバランス操作を監視します。
SQL> SELECT * FROM gv$asm_operation;
-
次のコマンドを使用して、
appliance.mode
属性を有効化します(ステップ6で無効化した場合)。SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='TRUE'; SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='TRUE'; SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='TRUE';
親トピック: エイス・ラックの拡張手順
2.1.2.6 Oracle Exadata Database Machineの拡張の検証
拡張後、新しい構成を検証します。
ノート:
この手順は、Oracle Exadata Database Machineエイス・ラック・モデル(Extreme Flash (EF)ストレージ・サーバーを使用したX4-2、X5-2およびX6-2)の元のストレージ・サーバーにのみ適用されます。
サーバーを追加することでハードウェア・リソースを拡張する場合、この手順は適用されません。
-
最初のデータベース・サーバーに
root
ユーザーとしてログインします。 -
次のコマンドを使用して、データベース・サーバーのコア数をチェックします。
# dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
-
次のコマンドを使用して、データベース・サーバーの構成を確認します。
# dcli -g db_group -l root 'dbmcli -e list dbserver attributes eighthrack'
出力は
FALSE
になる必要があります。 -
次のコマンドを使用して、ストレージ・サーバーの構成を確認します。
# dcli -g cell_group -l celladmin 'cellcli -e list cell attributes eighthrack'
出力は
FALSE
になる必要があります。 -
次のコマンドを使用して、各ディスク・グループのアプライアンス・モードを確認します。
SQL> set lines 100 SQL> column attribute format a20 SQL> column value format a20 SQL> column diskgroup format a20 SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup \ FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG \ WHERE DG.group_number = att.group_number AND \ att.name LIKE '%appliance.mode%' ORDER BY DG.group_number;
-
次のコマンドを使用して、Oracle ASMディスクの数を検証します。
SQL> SELECT g.name,d.failgroup,d.mode_status,count(*) \ FROM v$asm_diskgroup g, v$asm_disk d \ WHERE d.group_number=g.group_number \ GROUP BY g.name,d.failgroup,d.mode_status; NAME FAILGROUP MODE_ST COUNT(*) ------------------------- ----------------------------- ------- ---------- DATAC1 EXA01CELADM01 ONLINE 12 DATAC1 EXA01CELADM02 ONLINE 12 DATAC1 EXA01CELADM03 ONLINE 12 RECOC1 EXA01CELADM01 ONLINE 12 RECOC1 EXA01CELADM02 ONLINE 12 RECOC1 EXA01CELADM03 ONLINE 12 RECOC2 EXA01CELADM01 ONLINE 12 RECOC2 EXA01CELADM02 ONLINE 12 RECOC2 EXA01CELADM03 ONLINE 12 DBFS_DG EXA01CELADM01 ONLINE 10 DBFS_DG EXA01CELADM02 ONLINE 10 DBFS_DG EXA01CELADM03 ONLINE 10
各大容量(HC)ストレージ・サーバー(エイス・ラック以外)には、12台のディスクが含まれています。
親トピック: エイス・ラックの拡張手順
2.2 エラスティック構成の拡張
Exadata Database Machineは、Oracle Exadata Configuration Assistant (OECA)で定義されているように、最大でラックの容量までの多数のデータベース・サーバーおよびストレージ・サーバーで構成されるエラスティック構成で使用できます。
領域が使用可能な場合は、追加のデータベースおよびストレージ・サーバーを追加できます。詳細は、OECAを参照してください。アップグレード・プロセスには、新しいサーバーとケーブルの追加が含まれます。
ノート:
マシンがオンラインのときに停止することなくハードウェアを拡張できます。ただし、十分に注意する必要があります。また、ハードウェアを拡張する前に既存のスイッチおよびサーバーのパッチを適用する必要があります。- ドアの取外し
この手順では、Exadata Database Machineのドアを取り外す方法について説明します。 - 新しいRDMAネットワーク・ファブリック・スイッチの追加
増加するリソース要件に応じて、新しいRDMAネットワーク・ファブリック・スイッチを個別に追加できます。 - 新しいサーバーの追加
容量がいっぱいでないOracle Exadata Rackに新しいサーバーを追加できます。 - データベース・サーバーの配線
- ストレージ・サーバーの配線
新しいストレージ・サーバーを設置したら、既存の機器に接続する必要があります。 - ラックを閉じる
新しい機器を設置した後、パネルを交換してラックを閉じる必要があります。
親トピック: ハードウェアの拡張
2.2.1 ドアの取外し
この手順は、Exadata Database Machineのドアを取り外す方法を示しています。
- Exadata Database Machine X7ラックにハードウェアを追加する場合は、Oracle Rack Cabinet 1242ユーザーズ・ガイドのドアの取外しに関する項(https://docs.oracle.com/cd/E85660_01/html/E87280/gshfw.html#scrolltoc)を参照してください。
- 以前のExadata Database Machineラックにハードウェアを追加する場合は、Sun Rack IIユーザーズ・ガイドのドアの取外しに関する項(https://docs.oracle.com/cd/E19657-01/html/E29153/z40004911007624.html#scrolltoc)を参照してください。
親トピック: エラスティック構成の拡張
2.2.2 新しいRDMAネットワーク・ファブリックのスイッチの追加
増加するリソース要件に応じて、新しいRDMAネットワーク・ファブリック・スイッチを個別に追加できます。
RoCEネットワーク・ファブリック・スイッチとInfiniBandネットワーク・ファブリック・スイッチの手順は異なります。
- RoCEネットワーク・ファブリック・スイッチの追加(Cisco Nexus 9336C-FX2)
- InfiniBandネットワーク・ファブリック・スイッチ(Sun Datacenter InfiniBand Switch 36)の追加
親トピック: エラスティック構成の拡張
2.2.2.1 RoCEネットワーク・ファブリック・スイッチの追加(Cisco Nexus 9336C-FX2)
この手順は、Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチを備えたシステムにのみ適用されます。
ノート:
この手順のステップは、Exadata Database Machineに固有のものです。Cicso Nexusマニュアルのステップとは異なります。
-
Cisco Nexusスイッチのコンポーネントを梱包箱から 開梱します。次の項目が梱包箱にあります。
-
Cisco Nexus 9336C-FX2 Switch
-
ケーブル金具およびラック取付けキット
-
ケーブル管理金具およびカバー
-
2つのラック・レール構成部品
-
各種ねじおよび係留ナット
-
Cisco Nexus 9336C-FX2 Switchのドキュメント
スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。
-
-
RU1のラックからトラフを取り外します。RoCEネットワーク・ファブリック・スイッチの設置中は、ケーブルを脇に置きます。トラフは破棄できます。
-
適切な穴に各ラック・レールのケージ・ナットを設置します。
-
カットアウト付きの金具をスイッチの電源側に取り付けます。
-
C金具をスイッチのポート側に取り付けます。
-
前面からラックの途中までスイッチをスライドします。右側のC金具をとおして2本の電源コードを抜く間、できるだけスイッチをラックの左側に保持します。
-
ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。
-
スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。
-
組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。
-
ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。
-
ケーブル・アーム金具を正しい位置まで回転します。
-
上のねじを設置します。
-
両方のねじを締めます。
できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。
-
-
前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。
-
スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。
-
スイッチの後部にケーブル管理アームの下部を設置します。
-
ケーブルを適切なポートに接続します。
-
ケーブル管理アームの上部を設置します。
-
ラックU2のサーバーをラックにスライドします。
-
電源コードを前面のスイッチ電源装置スロットに取り付けます。
-
通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。
関連項目:
-
ラック・レイアウトを確認するには、『Oracle Exadata Database Machineシステム概要』を参照してください。
-
ネットワーク・ケーブルの詳細は、Oracle Exadata Database Machineシステム概要を参照してください。
親トピック: 新しいRDMAネットワーク・ファブリック・スイッチの追加
2.2.2.2 InfiniBandネットワーク・ファブリック・スイッチ(Sun Datacenter InfiniBand Switch 36)の追加
この手順は、InfiniBandネットワーク・ファブリックを備えたシステムにのみ適用されます。
ノート:
この手順のステップは、Oracle Exadata Database Machineに固有のものです。Sun Datacenter InfiniBand Switch 36マニュアルのステップとは異なります。-
梱包箱からSun Datacenter InfiniBand Switch 36スイッチ・コンポーネントを開梱します。次の項目が梱包箱にあります。
-
Sun Datacenter InfiniBand Switch 36スイッチ
-
ケーブル金具およびラック取付けキット
-
ケーブル管理金具およびカバー
-
2つのラック・レール構成部品
-
各種ねじおよび係留ナット
-
Sun Datacenter InfiniBand Switch 36ドキュメント
スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。
-
-
X5ラックのみ: RU1のラックからトラフを取り外し、Sun Datacenter InfiniBand Switch 36スイッチの設置中はケーブルを脇に置いておきます。トラフは破棄できます。
-
適切な穴に各ラック・レールのケージ・ナットを設置します。
-
カットアウト付きの金具をスイッチの電源側に取り付けます。
-
C金具をスイッチのSun Datacenter InfiniBand Switch 36ポート側に取り付けます。
-
前面からラックの途中までスイッチをスライドします。右側のC金具を介した2つの電源コードを抜く間、できるだけスイッチをラックの左側に維持する必要があります。
-
ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。
-
スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。
-
組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。
-
ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。
-
ケーブル・アーム金具を正しい位置まで回転します。
-
上のねじを設置します。
-
両方のねじを締めます。
できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。
-
-
前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。
-
スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。
-
スイッチの後部にケーブル管理アームの下部を設置します。
-
ケーブルを適切なポートに接続します。
-
ケーブル管理アームの上部を設置します。
-
ラックU2のサーバーをラックにスライドします。
-
電源コードを前面のSun Datacenter InfiniBand Switch 36スイッチ電源装置スロットに取り付けます。
-
通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。
関連項目:
-
ラック・レイアウトを確認するには、『Oracle Exadata Database Machineシステム概要』を参照してください。
-
InfiniBandネットワーク・ケーブルの詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。
親トピック: 新しいRDMAネットワーク・ファブリック・スイッチの追加
2.2.3 新しいサーバーの追加
容量がいっぱいでないOracle Exadata Rackに新しいサーバーを追加できます。
エラスティック構成方法を使用して、リソース要件の増加に対応するために必要に応じて個々のデータベース・サーバーまたはストレージ・サーバーを追加できます。詳細は、Oracle Exadata Configuration Assistant (OECA)を参照してください。アップグレード・プロセスには、新しいサーバーとケーブルの追加が含まれます。ハードウェアの追加が必要な場合があります。
ノート:
-
ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。
-
新しいサーバーは手動で構成する必要があります。
- 新しいサーバーの設置準備
新しいサーバーを設置する前に、サーバーを取り付けるためのラック・ユニットを準備します。 - ラック・アセンブリの設置
設置の準備が完了したら、次に、新しいサーバーを保持するラック・アセンブリを取り付けます。 - サーバーの設置
設置の準備およびラック構成部品の取り付け後、新しいサーバーを設置します。
関連トピック
親トピック: エラスティック構成の拡張
2.2.3.1 新しいサーバーの設置準備
新しいサーバーを設置する前に、サーバーを取り付けるためのラック・ユニットを準備します。
-
サーバーを設置するラック・ユニットを確認します。ラックの一番下の段から見て、空いている最初のユニットに設置します。
-
ユニットにサーバーが設置されるまではケーブル・ハーネスが取り付けられているトラフを外して破棄します。
-
詰め物を取り出して破棄します。
親トピック: 新しいサーバーの追加
2.2.3.2 ラック・アセンブリの設置
設置の準備が完了したら、次に、新しいサーバーを保持するラック・アセンブリを取り付けます。
-
スライド・レール・ロックがサーバーの前にあり、取付け金具の5つのキー穴開口部が、シャーシ側面の5つの位置決めピンに合うように取付け金具をシャーシに対して配置します。
-
ボール・ベアリング・トラックが前方で、適切な位置で固定されるように、スライド・レール構成部品を正しい向きに置きます。
-
ラックの左側または右側のいずれかから、スライド・レール構成部品の背面をラック・レールの内側に合せ、カチッという音がしてロックされるまでアセンブリを押します。
-
スライド・レール構成部品の前面をラック・レールの前面の外側に合せ、カチッという音がしてロックされるまでアセンブリを押します。
親トピック: 新しいサーバーの追加
2.2.3.3 サーバーの設置
設置の準備およびラック構成部品の取り付け後、新しいサーバーを設置します。
警告:
-
サーバーは重いので、サーバーの設置には少なくとも2名の作業者またはリフトが必要です。この手順を1人で実行すると、機器が損傷したり、けがをしたりする可能性があります。
-
ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。
-
ラックにサーバーを設置する前に、サーバーの上部カバーのサービス・ラベルを参照します。
-
スライド・レール構成部品にサーバーをはめ込みます。
-
スライド・レールをスライド・レール構成部品にできるだけ奥まで押し込みます。
-
取付け金具の後端が、機器ラックに取り付けられているスライド・レール構成部品と揃うようにサーバーの位置を決めます。
図内で引出し線で示しているのは次の部分です。
1: スライド・レールに挿入される取付け金具
2: スライドレール・リリース・レバー
-
取付け金具をスライド・レールに挿入し、取付け金具がスライド・レールのストップに接触するまでサーバーをラック内に押し込みます(約30cm(12インチ))。
-
両方の取付け金具のスライド・レール開放レバーを同時に押しながら、サーバーをラック内に押し込みます。
ノート:
1人がラックへのサーバーの出入れを行い、もう1人がケーブルやケーブル管理アーム(CMA)に目を配るというように、ラックへのサーバーの設置は2人で行うことをお薦めします。 -
取付け金具の前面のスライド・レール・ロックがスライド・レール構成部品にかみ合って、カチッという音がするまで押し込みます。
-
-
Exadata Storage Serverの配線の説明に従って、新しいサーバーを配線します。
親トピック: 新しいサーバーの追加
2.2.4 データベース・サーバーの配線
新しいデータベース・サーバーを設置したら、既存の機器を配線する必要があります。次の手順は、ラックの新しい機器を配線する方法を示しています。手順内のイメージは、Sun Fire X4170 M2 Oracle Database Serverを示しています。
ノート:
-
ラックの既存のケーブル接続は変更されません。
-
青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。
-
一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。
-
ラックの下から上に順次作業してください。上部にドングル、下部に電力ケーブルを装備したCMAを介してケーブルを配線します。
-
3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。
-
CAT5eケーブル、AC電源ケーブル、USBをサーバー背面のそれぞれのポートに接続します。ドングルの平らな面がCMA内部レールに接触していることを確認します。
-
ケーブル管理アーム(CMA)の緑色の金具を調整します。
CMAの図内引出し線の説明
-
コネクタA
-
前部スライド・バー
-
マジックテープ・ストラップ(6)
-
コネクタB
-
コネクタC
-
コネクタD
-
スライドレール・ラッチ金具(コネクタD用)
-
後部スライド・バー
-
ケーブル・カバー
-
ケーブル・カバー
-
-
CMAをサーバーに接続します。
-
CAT5eと電源ケーブルをワイヤ・クリップで配線します。
-
CAT5eと電源ケーブルを、曲げ半径を最小に保持しながら曲げて、CMAに通します。
-
CAT5eと電源ケーブルがケーブル留め具の下になるようにします。
-
CMAを経由してケーブルを配線し、フックとループ・ストラップの間隔が同じになるようにします。
-
RDMAネットワーク・ファブリックまたはTwinAxケーブルを、最初に曲げた状態でCMAに接続します。TwinAxケーブルはデータベース・サーバーへのクライアント・アクセス用です。
-
RDMAネットワーク・ファブリックまたはTwinAxケーブルを、等間隔のフック・アンド・ループ・ストラップで固定します。
図2-9 等間隔のフック・アンド・ループ・ストラップで固定されたRDMAネットワーク・ファブリックまたはTwinAxケーブル
「図2-9 等間隔のフック・アンド・ループ・ストラップで固定されたRDMAネットワーク・ファブリックまたはTwinAxケーブル」の説明 -
ファイバ・コア・ケーブルを配線します。
-
ケーブルをCMAの緑の留め具に通して収めます。
-
赤のILOMケーブルをデータベース・サーバーに接続します。
-
ネットワーク・ケーブルをOracle Database Serverに接続します。
-
Oracle DatabaseサーバーからRDMAネットワーク・ファブリック ・スイッチにケーブルを接続します。
-
オレンジ色のイーサネット・ケーブルをKVMスイッチに接続します。
-
赤と青のイーサネット・ケーブルをCiscoスイッチに接続します。
-
次に示すように、各サーバーのスライド・レールおよびCMAの動作を確認します。
ノート:
このステップは、2人の作業者で実行することをお薦めします。1人がサーバーをラックの前後に動かし、もう1人がケーブルとCMAを監視します。
-
スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。
-
バインドまたはねじれがないか、接続されたケーブルを検査します。
-
CMAがスライド・レールから一杯まで伸びることを確認します。
-
-
次に示すように、サーバーをラック内に押し込みます。
-
2対のスライド・レール・ストップを解放します。
-
両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。最初の対のストップは各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーです。レバーには
PUSH
というラベルが付いています。サーバーは、約46cm(18インチ)スライドして停止します。 -
ケーブルおよびCMAが引っかからずに格納されることを確認します。
-
両方のスライド・レール・リリース・ボタンを同時に押すか引いて、両方のスライド・レールがかみ合うまでサーバーを完全にラック内に押し込みます。2番目の対のストップは、各取付け金具の前面近くにあるスライド・レール・リリース・ボタンです。
-
-
ケーブルをまとめてストラップで固定します。まとめるケーブルの数は8個以下にすることをお薦めします。
-
ケーブルが動きにくかったり引っかかったりしていないか確認するため、サーバーをスライドアウトしてから完全に押し込んでケーブル配線を確認します。
-
残りのサーバーにこの手順を繰り返します。
-
電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。今回は施設のソケットに電力ケーブルを接続しないでください。
関連項目:
-
配線表の詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。
-
最小曲げ半径は、ケーブル管理アーム・ガイドラインの確認を参照してください。
親トピック: エラスティック構成の拡張
2.2.5 ストレージ・サーバーの配線
新しいストレージ・サーバーを設置したら、既存の機器に接続する必要があります。
次の手順は、ラックの新しい機器を配線する方法を示しています。
ノート:
-
ラックの既存のケーブル接続は変更されません。
-
青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。
-
一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。
-
ラックの下から上に順次作業してください。
-
3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。
-
CMAをサーバーに取り付けます。
-
フック・アンド・ループ・ストラップを通して、各ケーブルをそれぞれのポートに挿入し、次の順番でCMAにケーブルを配線します。
-
電源
-
イーサネット
-
RDMAネットワーク・ファブリック
-
-
CMAを通してケーブルを配線し、CMAの内側と外側の両方のカーブで、フック・アンド・ループ・ストラップを使用して固定します。
-
クロスバー・カバーを閉じて、ケーブルを真っ直ぐに固定します。
-
各サーバーのスライド・レールおよびCMAの動作を確認します。
ノート:
1人がラックへのサーバーの出入れを行い、もう1人がケーブルやCMAに目を配るというように、このステップは2人で行うことをお薦めします。
-
スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。
-
バインドまたはねじれがないか、接続されたケーブルを検査します。
-
CMAがスライド・レールから一杯まで伸びることを確認します。
-
-
サーバーをラック内に戻します。
-
2対のスライド・レール・ストップを解放します。
-
各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーを探します。「PUSH」というラベルが付いています。
-
おおよそ46cm (18インチ)で止まるまで、両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。
-
ケーブルおよびCMAが絡まらずに格納されることを確認します。
-
各取付け金具の前面近くにあるスライド・レール開放ボタンを探します。
-
両方のスライド・レール開放ボタンを同時に押して、両方のスライド・レールがかみ合うまでサーバーを完全にラック内にスライドさせます。
-
-
ケーブルをまとめてストラップで固定します。8個以下のバンドルのRDMAネットワーク・ファブリック・ケーブルを使用することをお薦めします。
-
各サーバーを引き出し、完全に元に戻して、ケーブルが絡まったり引っかかったりしていないことを確認します。
-
すべてのサーバーにこの手順を繰り返します。
-
電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。まだ、施設のソケットに電力ケーブルを接続しないでください。
親トピック: エラスティック構成の拡張
2.2.6 ラックを閉じる
新しい機器を設置した後、パネルを交換してラックを閉じる必要があります。
Oracle Exadata Rackで使用されているラック・モデルは2つあります。最新のステップは、該当するドキュメントを参照してください。
- Oracle Rack Cabinet 1242ユーザーズ・ガイド(
http://docs.oracle.com/cd/E85660_01/html/E87280/index.html
) - 『Sun Rack IIユーザーズ・ガイド』(
https://docs.oracle.com/cd/E19657-01/html/E29153/index.html
)
次のステップは、プロセスの概要を示しています。
-
次に示すように、ラックの前部ドアと後部ドアを元に戻します。
-
ドアを取り出して、ドア・ヒンジに慎重に置きます。
-
前部ドアと後部ドアの接地ストラップをフレームに接続します。
-
ドアを閉じます。
-
(オプション)ドアをロックします。キーは発送キットにあります。
-
-
(オプション)次に示すように、アップグレード用に取り外されていた場合はサイド・パネルを元に戻します。
-
各サイド・パネルを持ち上げて、ラックの側面に配置します。ラックの上部で、サイド・パネルの重量を支えます。パネル留具とラック・フレームの溝が整列していることを確認します。
-
サイド・パネルの取外し工具を使用して、各サイド・パネル留具を時計回りに1/4回転します。パネル・ロック付近の留具を時計回りに回転します。サイド・パネルごとに10個の留具があります。
-
(オプション)各サイド・パネルをロックします。キーは発送キットにあります。ロックはサイド・パネル中央の下部にあります。
-
接地ストラップをサイド・パネルに接続します。
-
ラックを閉じた後、新しいハードウェアの構成に進み、新しいハードウェアを構成します。
親トピック: エラスティック構成の拡張
2.3 「別のラックの追加によるラックの拡張」
Oracle Exadata Rackを拡張するには、別のラックの追加とラックの構成を一緒に行います。
- 既存のシステムへの別のラックの追加の概要
ラックを配線する前に次のノートを確認してください。 - 2つのラックの配線
システムの仕様と動作要件に基づいて、使用可能な方法から選択します。 - 複数のラックの配線
次の手順を使用して、既存のマルチラック・システムに別のラックを追加できます。
親トピック: ハードウェアの拡張
2.3.1 既存のシステムへの別のラックの追加の概要
ラックを配線する前に次のノートを確認してください。
-
RoCEネットワーク・ファブリックを使用するラック(X8M以降)を拡張する手順は、InfiniBandネットワーク・ファブリックを使用するラック(X8以前)の場合の手順とは異なります。
-
InfiniBandネットワーク・ファブリックを使用するラックは、停止時間なしで配線できます。RoCEネットワーク・ファブリックを使用するラックでは、使用する手順によって、ラックを配線する際に停止時間が必要になる場合があります。
-
重大な破損を避けるために、ライブ・ネットワーク内の配線を慎重に行う必要があります。
-
ラック配線中にパフォーマンスが低下する可能性があります。このパフォーマンスの低下は、ケーブルを抜いたときのパケット損失によるデータ再送信およびネットワーク帯域幅が小さくなることによるものです。
-
RDMAネットワーク・ファブリックの冗長性は、ラックの配線中に損われる可能性があります。これは、RDMAネットワーク・ファブリック・ポートまたはスイッチがオフラインになり、すべてのトラフィックが残りのスイッチを使用する必要がある場合に発生します。
-
ラックを追加するときは、既存のラックのみが稼働します。これは、新しいラックのサーバーの電源が最初に切断されていることを前提としています。
-
システム上で実行中のソフトウェアにRDMAネットワーク・ファブリックの再起動関連の問題はありません。構成を確認するには、複数のラックを接続する前に、各ラックで個別に
infinicheck
を実行します。 -
各Oracle Exadata Rackに3つのRDMAネットワーク・ファブリック・スイッチがすでに設置されていると想定されています。
-
新しいラックには配線前に拡張システムに移行される適切なIPアドレスが構成されており、重複するIPアドレスはありません。
- RoCEネットワーク・ファブリックを使用するラックでは、各スパイン・スイッチで1つのループバックIPインタフェースを使用し、各リーフ・スイッチで2つのループバックIPインタフェースを使用します。IPアドレス指定スキームでは、IANAの共有アドレス領域100.64.0.0/10が使用されます。これにより、他のスキームを使用するネットワークのIPv4アドレスと重複することはありません。
- リーフのループバック0のIPは、100.64.0.101、100.64.0.102、100.64.0.103などとして割り当てられます。
- リーフのループバック1のIPは、100.64.1.101、100.64.1.102、100.64.1.103などとして割り当てられます。
- スパインのループバック0のIPは、100.64.0.201、100.64.0.202から100.64.0.208までとして割り当てられます。
親トピック: 別のラックの追加によるラックの拡張
2.3.2 「2ラック配線」
システムの仕様および動作要件に基づいて、使用可能な方法から選択します。
- 停止時間なしの2つのRoCEネットワーク・ファブリック・ラックの配線
動作要件のために予定されている停止時間を許容できない場合は、次の手順から選択して、別のラックを追加して既存のRoCEネットワーク・ファブリック・ラックを拡張します。 - 停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
動作要件のために予定されている停止時間をある程度許容できる場合は、次の手順から選択して、別のラックを追加して既存のRoCEネットワーク・ファブリック・ラックを拡張します。 - 2つのInfiniBandネットワーク・ファブリック・ラックの配線
InfiniBandネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。
親トピック: 別のラックの追加によるラックの拡張
2.3.2.1 停止時間なしの2つのRoCEネットワーク・ファブリック・ラックの配線
動作要件のために予定されている停止時間を許容できない場合は、次の手順から選択して、別のラックを追加して既存のRoCEネットワーク・ファブリック・ラックを拡張します。
親トピック: 2ラック配線
2.3.2.1.1 別のX9Mラックの追加による停止時間なしのX9Mラックの拡張
警告:
実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。
ノート:
その他の背景情報は、X9Mラックのマルチラック配線の理解を参照してください。
この手順を使用して、通常のX9Mラックを拡張するには、別のX9Mラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。
次に、手順の概要を示します。
-
このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。
-
構成および物理的な配線
このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。
-
下位リーフ・スイッチの部分的な構成(ステップ3)
このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。
-
上位リーフ・スイッチの部分的な構成(ステップ4)
このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。
-
下位リーフ・スイッチの完了(ステップ5)
このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。
-
上位リーフ・スイッチの完了(ステップ6)
このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。
-
-
このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。
手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。
ノート:
-
この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。
-
スイッチ間ポートはポート4から7、ポート30から33です。
-
ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。
-
データベース・サーバー・ポートはポート15から22です。
他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えたX9M-8システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。
-
-
この手順では、次のネーミングの略称および表記規則を使用します。
-
既存のラックの略称はR1で、新しいラックの略称はR2です。
-
LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。
-
SSはスパイン・スイッチを識別します。
-
特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。
-
-
ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。
ヒント:
ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。
-
操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。
-
RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。
この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。新しいハードウェアの構成を参照してください。
2.3.2.1.2 X9Mラックの追加による停止時間なしのX8Mラックの拡張
警告:
実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。
ノート:
この手順では、既存のX8Mラック上のRoCEネットワーク・ファブリック・スイッチに、Oracle Exadata System Software 20.1.0以降からのゴールデン構成設定が含まれていることを前提としています。それ以外の場合は、この手順を使用する前に、Oracle Exadata System Softwareを更新し、RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新する必要があります。RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新するには、ダウンタイムが必要です。
ノート:
その他の背景情報は、X8Mラックのマルチラック配線の理解およびX9Mラックのマルチラック配線の理解を参照してください。
この手順を使用して、通常のX8Mラックを停止時間なしで拡張するには、X9Mラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。
次に、手順の概要を示します。
-
このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。
-
構成および物理的な配線
このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。
-
下位リーフ・スイッチの部分的な構成(ステップ3)
このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。
-
上位リーフ・スイッチの部分的な構成(ステップ4)
このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。
-
下位リーフ・スイッチの完了(ステップ5)
このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。
-
上位リーフ・スイッチの完了(ステップ6)
このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。
-
-
このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。
手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。
ノート:
-
この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。
-
スイッチ間ポートはポート4から7、ポート30から33です。
-
ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。
-
データベース・サーバー・ポートはポート15から22です。
他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えた8ソケット・システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。
-
-
この手順では、次のネーミングの略称および表記規則を使用します。
-
既存のX8Mラックの略称はR1で、新しいX9Mラックの略称はR2です。
-
LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。
-
SSはスパイン・スイッチを識別します。
-
特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。
-
-
ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。
ヒント:
ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。
-
操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。
-
RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。
この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。新しいハードウェアの構成を参照してください。
- X8MラックとX9Mラックを組み合せるシステムのための2ラック配線
この項では、どちらもRoCEネットワーク・ファブリックを使用しているX8MラックとX9Mラックを接続するための配線の詳細を示します。
関連トピック
2.3.2.1.2.1 X8MラックとX9Mラックを組み合せるシステムのための2ラック配線
この項では、どちらもRoCEネットワーク・ファブリックを使用しているX8MラックとX9Mラックを接続するためのケーブル配線の詳細について説明します。
ノート:
-
複数のラックをまとめて配線するための配線表記では、次の表記規則が使用されています。
-
最初(X8M)のラックの略称はR1で、2番目(X9M)のラックの略称はR2です。
-
LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。
-
SSは、すべてのラックのU1にあるスパイン・スイッチを識別します。
-
特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは最初のラック(R1)の下位リーフ・スイッチ(LL)を識別します。
-
-
リーフ・スイッチは次の場所にあります。
-
2ソケット・システム(Exadata Database Machine X8M-2またはX9M-2、またはStorage Expansion Rack X8M-2またはX9M-2)のラック・ユニット20 (U20)および22 (U22)。
-
8ソケット・システム(Exadata Database Machine X8M-8またはX9M-8)のラック・ユニット21 (U21)およびラック・ユニット23 (U23)。
-
-
次のリストに示すケーブル長は、ラックが相互に隣接していること、ケーブルが上げ床を経由して配線されていること、およびラック間の配線に障害物がないことを前提としています。ラックが隣接していないか、頭上の配線トレイを使用している場合は、長いケーブル長が必要になる場合があります。100メートルまでのケーブル長がサポートされています。
-
5mを超える長さでサポートされているのは、光ケーブル(追加のトランシーバを使用)のみです。
次の図は、2ラック・ハイブリッド・システムをX8MラックおよびX9Mラックと配線する場合のスパイン・スイッチのケーブル接続を示しています。
次の表に、X8MラックとX9Mラックを備えた2ラック・ハイブリッド・システム内のすべてのRoCEネットワーク・ファブリック配線接続の詳細を示します。
表2-3 X8Mラック(R1)のリーフ・スイッチ接続
リーフ・スイッチ | 接続 | ケーブル長 |
---|---|---|
R1ULからR1SS |
R1UL-P5からR1SS-P5 R1UL-P7からR1SS-P7 R1UL-P4からR1SS-P9 R1UL-P6からR1SS-P11 |
3メートル |
R1ULからR2SS |
R1UL-P31からR2SS-P5 R1UL-P33からR2SS-P7 R1UL-P30からR2SS-P9 R1UL-P32からR2SS-P11 |
5メートル |
R1LLからR1SS |
R1LL-P5からR1SS-P13 R1LL-P7からR1SS-P15 R1LL-P4からR1SS-P17 R1LL-P6からR1SS-P19 |
3メートル |
R1LLからR2SS |
R1LL-P31からR2SS-P13 R1LL-P33からR2SS-P15 R1LL-P30からR2SS-P17 R1LL-P32からR2SS-P19 |
5メートル |
表2-4 X9Mラック(R2)のリーフ・スイッチ接続
スイッチ・ペア | 接続 | ケーブル長 |
---|---|---|
R2ULからR1SS |
R2UL-P1からR1SS-P6 R2UL-P2からR1SS-P8 R2UL-P3からR1SS-P10 R2UL-P4からR1SS-P12 R2UL-P5からR1SS-P14 R2UL-P6からR1SS-P16 R2UL-P7からR1SS-P18 |
5メートル |
R2ULからR2SS |
R2UL-P30からR2SS-P6 R2UL-P31からR2SS-P8 R2UL-P32からR2SS-P10 R2UL-P33からR2SS-P12 R2UL-P34からR2SS-P14 R2UL-P35からR2SS-P16 R2UL-P36からR2SS-P18 |
3メートル |
R2LLからR1SS |
R2LL-P1からR1SS-P20 R2LL-P2からR1SS-P22 R2LL-P3からR1SS-P24 R2LL-P4からR1SS-P26 R2LL-P5からR1SS-P28 R2LL-P6からR1SS-P30 R2LL-P7からR1SS-P32 |
5メートル |
R2LLからR2SS |
R2LL-P30からR2SS-P20 R2LL-P31からR2SS-P22 R2LL-P32からR2SS-P24 R2LL-P33からR2SS-P26 R2LL-P34からR2SS-P28 R2LL-P35からR2SS-P30 R2LL-P36からR2SS-P32 |
3メートル |
親トピック: X9Mラックの追加による停止時間なしのX8Mラックの拡張
2.3.2.1.3 別のX8Mラックの追加による停止時間なしのX8Mラックの拡張
警告:
実装前に、この手順を読んで理解してください。コマンド例の前後の手順に注意してください。プロシージャが正しく適用されない場合、システム停止が発生する可能性があります。
ノート:
この手順では、X8Mラック上のRoCEネットワーク・ファブリック・スイッチに、Oracle Exadata System Software 20.1.0以降からのゴールデン構成設定が含まれていることを前提としています。それ以外の場合は、この手順を使用する前に、Oracle Exadata System Softwareを更新し、RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新する必要があります。RoCEネットワーク・ファブリック・スイッチのゴールデン構成設定を更新するには、ダウンタイムが必要です。
ノート:
その他の背景情報は、X8Mラックのマルチラック配線の理解を参照してください。
この手順を使用して、通常のX8Mラックを停止時間なしで拡張するには、別のX8Mラックと配線します。プライマリ・ラック(指定されたR1)およびそれがサポートするすべてのシステムは、手順全体を通してオンラインのままです。手順の開始時に、追加のラック(指定されたR2)が停止します。
次に、手順の概要を示します。
-
このフェーズでは、ラック、スイッチおよびケーブルを準備します。また、スパイン・スイッチを両方のラックに設置して配線します。
-
構成および物理的な配線
このフェーズでは、リーフ・スイッチを再構成し、スパイン・スイッチへの配線を完了します。これらのタスクは、次のように、プライマリ・システムでの停止時間を回避するために慎重に編成されています。
-
下位リーフ・スイッチの部分的な構成(ステップ3)
このステップでは、下位リーフ・スイッチのスイッチ・ポートを再構成します。このステップでは、物理的な配線は行いません。
-
上位リーフ・スイッチの部分的な構成(ステップ4)
このステップでは、上位リーフ・スイッチのスイッチ・ポートを再構成し、両方のラックのリーフ・スイッチを接続するスイッチ間ケーブルを取り外し、上位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続します。
-
下位リーフ・スイッチの完了(ステップ5)
このステップでは、下位リーフ・スイッチのスイッチ・ポート構成を完了します。また、下位リーフ・スイッチとスパイン・スイッチの間のケーブルを接続して、物理的な配線を完了します。
-
上位リーフ・スイッチの完了(ステップ6)
このステップでは、上位リーフ・スイッチのスイッチ・ポート構成を完了します。
-
-
このフェーズでは、両方のインターコネクト・ラックでRoCEネットワーク・ファブリックを検証およびテストします。
手順を完了すると、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。たとえば、既存のディスク・グループおよびOracle RACデータベースを拡張して、両方のラックでリソースを消費できます。
ノート:
-
この手順は、最初に次の仕様のリーフ・スイッチを持つ一般的なラック構成にのみ適用されます。
-
スイッチ間ポートはポート4から7、ポート30から33です。
-
ストレージ・サーバー・ポートは、ポート8から14、およびポート23から29です。
-
データベース・サーバー・ポートはポート15から22です。
他のラック構成(たとえば、3台のデータベース・サーバーと11台のストレージ・サーバーを備えたX8M-8システム)では、異なる手順および異なるRoCEネットワーク・ファブリック・スイッチ構成ファイルが必要です。詳細は、Oracleに連絡してください。
-
-
この手順では、次のネーミングの略称および表記規則を使用します。
-
既存のラックの略称はR1で、新しいラックの略称はR2です。
-
LLは下位リーフ・スイッチを識別し、ULは上位リーフ・スイッチを識別します。
-
SSはスパイン・スイッチを識別します。
-
特定のスイッチは、略称を組み合せることで識別できます。たとえば、R1LLは既存のラック(R1)の下位リーフ・スイッチ(LL)を識別します。
-
-
ほとんどの操作は、複数の場所で実行する必要があります。たとえば、ステップ1.hでは、すべてのRoCEネットワーク・ファブリック・リーフ・スイッチ(R1LL、R1UL、R2LLおよびR2UL)のファームウェアを更新するよう指示されます。指示に注意して、アクションを追跡します。
ヒント:
ステップを複数のスイッチで実行する必要がある場合、指示には該当するスイッチのリストが含まれます。たとえば、(R1LL、R1UL、R2LLおよびR2UL)このリストをチェックリストとして使用して、アクションを追跡できます。
-
操作を順番に実行し、すべての操作を完了してから次に進みます。たとえば、ある操作として3.a.iでコマンド・シーケンス全体を実行し、それを完了してから続行します。
-
RoCEネットワーク・ファブリック・スイッチで実行されるすべてのコマンドは、スイッチ管理インタフェースをスイッチ管理者として接続している間に実行する必要があります。
この時点で、両方のラックがRoCEネットワーク・ファブリックを共有し、結合されたシステムをさらに構成する準備が整います。新しいハードウェアの構成を参照してください。
2.3.2.2 停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
動作要件のために予定されている停止時間を許容できる場合は、次の手順から選択して、別のラックを追加して既存のRoCEネットワーク・ファブリック・ラックを拡張します。
- Oracle Exadata System Softwareリリース20.1.0以降を使用した、停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
停止時間を許容でき、Oracle Exadata System Softwareリリース20.1.0以降を使用している場合、RoCEネットワーク・ファブリックを使用する2つのラックを配線するには、このより単純な手順を使用します。 - Oracle Exadata System Softwareリリース19.3以前を使用した、停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
停止時間を許容でき、Oracle Exadata System Softwareリリース19.3以前を使用している場合、RoCEネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。
親トピック: 2ラック配線
2.3.2.2.1 Oracle Exadata System Softwareリリース20.1.0以降を使用した停止時間ありの2つのRoCEネットワーク・ファブリック・ラックの配線
停止時間を許容でき、Oracle Exadata System Softwareリリース20.1.0以降を使用している場合、RoCEネットワーク・ファブリックを使用する2つのラックを配線するには、このより単純な手順を使用します。
この手順では、既存のラックはR1で、新しいラックはR2です。
システム構成に応じて、適用可能な配線表を使用します。
2.3.2.3 2つのInfiniBandネットワーク・ファブリック・ラックの配線
InfiniBandネットワーク・ファブリックを使用する2つのラックを配線するには、この手順を使用します。
-
次のように、スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を
10
に設定します。-
アクティブなシステム上のRDMAネットワーク・ファブリック・スイッチにログインします。
-
getmaster
コマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。そうでない場合は、Oracle Exadata Database Machineインストレーションおよび構成ガイドのOracle Exadata Database Machineフル・ラックおよびOracle Exadata Database Machineハーフ・ラックのサブネット・マネージャ・マスターの設定の手順に従います。 -
スパイン・スイッチにログインします。
-
disablesm
コマンドを使用して、サブネット・マネージャを停止します。 -
setsmpriority 10
コマンドを使用して優先度を10に設定します。 -
enablesm
コマンドを使用して、サブネット・マネージャを再起動します。 -
ステップ1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
-
-
新しいラックが既存ラックの近くにあることを確認します。RDMAネットワーク・ファブリック・ケーブルは、各ラックのサーバーに到達できる必要があります。
-
新しいラック(R2)を完全に停止します。
-
InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、2台のリーフ・スイッチ R2 IB2とR2 IB3を新しいラック内で配線します。新しいラックR2内の(既存ラックR1ではありません)リーフ・スイッチとスパイン・スイッチ間の2つの接続および各リーフ・スイッチ間の7つの既存のスイッチの相互接続を解除する必要があります。
-
すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードで
ibstat
コマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。 -
リーフ・スイッチR1 IB2の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのRDMAネットワーク・ファブリック・トラフィックがR1 IB3にフェイルオーバーされます。
-
R1 IB2とR1 IB3間の7つすべてのスイッチ間リンクを解除し、R1 IB2とスパイン・スイッチR1 IB1の間の1つの接続も解除します。
-
InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、リーフ・スイッチR1 IB2を配線します。
-
リーフ・スイッチR1 IB2の電源をオンにします。
-
R1 IB2が完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインして
ibswitches
コマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。 -
すべてのデータベース・ノードおよびストレージ・セルで両方のRDMAネットワーク・ファブリック・インタフェースが起動していることを確認します。各ノードで
ibstat
コマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。 -
リーフ・スイッチR1 IB3の電源をオフにします。すべてのデータベース・サーバーおよびストレージ・サーバーのRDMAネットワーク・ファブリック・トラフィックがR1 IB2にフェイルオーバーされます。
-
R1 IB3とスパイン・スイッチR1 IB1間の1つの接続を解除します。
-
InfiniBandネットワーク・ファブリックを使用した2ラック配線に従って、リーフ・スイッチR1 IB3を配線します。
-
リーフ・スイッチR1 IB3の電源をオンにします。
-
R1 IB3が完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインして
ibswitches
コマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。 -
R2のすべてのInfiniBandスイッチの電源をオンにします。
-
スイッチが完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインして
ibswitches
コマンドを実行します。6つのスイッチ、R1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2およびR2 IB3が出力表示されます。 -
任意のスイッチから
getmaster
コマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。 -
R2のすべてのサーバーの電源をオンにします。
-
スパイン・スイッチR1 IB1にログインし、次のように優先度を8に下げます。
-
disablesm
コマンドを使用して、サブネット・マネージャを停止します。 -
setsmpriority 8
コマンドを使用して優先度を8に設定します。 -
enablesm
コマンドを使用して、サブネット・マネージャを再起動します。
-
-
スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
ラックを配線した後、新しいハードウェアの構成に進み、ラックを構成します。
親トピック: 2ラック配線
2.3.3 「複数のラックの配線」
次の手順を使用して、既存のマルチラック・システムに別のラックを追加できます。
この手順では、相互に隣接するラックを想定しています。既存のラックはR1、R2、... Rnで、新しいラックはRn+1です。たとえば、4つのラックがあり、5つ目のラックを追加する場合、既存のラックはR1、R2、R3およびR4として指定され、新しいラックはR5として指定されます。
Exadata Database Machine X9Mモデルからは、追加のスイッチなしで最大12ラックをまとめて配線できます。以前のモデル(X8Mまで)では、追加のスイッチなしで最大18ラックをまとめて配線できます。
この手順は、RoCEネットワーク・ファブリック(X8M以降)とInfiniBandネットワーク・ファブリック(X8以前)を使用するシステムでは異なります。
- Oracle Exadata System Softwareリリース20.1.0以降を使用した複数のRoCEネットワーク・ファブリック・ラックの配線
Oracle Exadata System Softwareリリース20.1.0以降を使用してRoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。 - Oracle Exadata System Softwareリリース19.3以前を使用した複数のRoCEネットワーク・ファブリック・ラックの配線
Oracle Exadata System Softwareリリース19.3以前を使用してRoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。 - 複数のInfiniBandネットワーク・ファブリック・ラックの配線
InfiniBandネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。
親トピック: 別のラックの追加によるラックの拡張
2.3.3.1 Oracle Exadata System Softwareリリース20.1.0以降を使用した複数のRoCEネットワーク・ファブリック・ラックの配線
Oracle Exadata System Softwareリリース20.1.0以降を使用して、RoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。
この手順は、RoCEネットワーク・ファブリック(X8M以降)を使用するシステムを対象としています。
この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。
rack5sw-roces0
:ラック5のスパイン・スイッチ(SS)rack5sw-rocea0
: ラック5の下位リーフ・スイッチ(R5LL)rack5sw-roceb0
: ラック5の上位リーフ・スイッチ(R5UL)
ノート:
3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断しますシステムに応じて、適用可能な配線表を使用します。
2.3.3.2 Oracle Exadata System Softwareリリース19.3以前を使用した複数のRoCEネットワーク・ファブリック・ラックの配線
Oracle Exadata System Softwareリリース19.3以前を使用して、RoCEネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。
この手順は、RoCEネットワーク・ファブリック(X8M以降)を使用するシステムを対象としています。
この手順では、既存のラックはR1、R2、…、Rnで、新しいラックはRn+1です。次のステップでは、次に示すサンプルのスイッチ名が使用されています。
rack5sw-roces0
:ラック5のスパイン・スイッチ(SS)rack5sw-rocea0
: ラック5の下位リーフ・スイッチ(R5LL)rack5sw-roceb0
: ラック5の上位リーフ・スイッチ(R5UL)
ノート:
3つ以上のラックを配線する場合、既存のラックR1、R2、…、Rnに停止時間は必要となりません。新しいラックRn+1の電源のみを切断します2.3.3.3 複数のInfiniBandネットワーク・ファブリック・ラックの配線
InfiniBandネットワーク・ファブリックを使用する既存のマルチラック・システムに別のラックを追加するには、この手順を使用します。
この手順は、InfiniBandネットワーク・ファブリック(X8以前)を使用するシステムを対象としています。
親トピック: 複数のラックの配線