| Oracle® Exadata Database Machine拡張およびマルチラック・ケーブリング・ガイド 18.1.0 E84906-06 |
|
 前 |
 次 |
この章では、Oracle Exadata Database Machineの拡張方法について説明します。
注意:
読みやすさを考慮して、Oracle Exadata Database MachineとOracle Exadata Storage拡張ラックの両方に言及する場合、「Oracle Exadataラック」という名前を使用します。
関連項目:
各Exadataバージョンの配線表は、『Oracle Exadata Database Machineシステム概要』を参照してください
Oracle Exadata Database Machineは次のように拡張できます。
Oracle Exadata Database Machineは、エイス・ラックからクオータ・ラック、クオータ・ラックからハーフ・ラック、ハーフ・ラックからフル・ラックというように、既定の構成内で自由に拡張できます。
許容される台数の範囲でデータベース・サーバーとストレージ・サーバーを任意に組み合せて追加し、Oracle Exadata Database Machineを既定またはカスタムの構成から、別のカスタム構成に拡張することもできます。これをエラスティック構成と呼びます。
Oracle Exadata Database Machineのハーフ・ラックとフル・ラックを組み合せて一緒に配線できます。
Sun Datacenter InfiniBand Switch 36スイッチおよびケーブルは、Oracle Exadata Database Machine X4-2ラックを拡張する前に注文する必要があります。
注意:
マルチラック配線表に示すケーブル長では、ラックが相互に隣接していると仮定しています。ラックが隣接していないか、頭上の配線トレイを使用している場合は、長いケーブル長が必要になる場合があります。最長100メートルがサポートされています。
5メートルを超える長さでサポートされているのは光ケーブルのみです。
以前のOracle Exadataラックを新しいOracle Exadataラックで拡張できます。
Oracle Exadata Database Machineエイス・ラックをOracle Exadata Storage拡張ラックで拡張する場合、2つの異なるディスク・グループが存在することを確認してください。Oracle Exadata Database Machineエイス・ラックのラックのドライブに1つのディスク・グループ、Oracle Exadata Storage拡張ラックのドライブに1つのディスク・グループが必要です。
複数のOracle Exadata Database Machineを個別の環境として実行し、InfiniBandネットワークで接続できます。この方法で複数のOracle Exadata Database Machineを使用する場合は、次の点に注意してください。
InfiniBandネットワークのすべてのサーバーが一意なIPアドレスを持つ必要があります。Oracle Exadata Database Machineをデプロイする場合、デフォルトのInfiniBandネットワークは192.168.10.1です。InfiniBandネットワークを再構成する前に、IPアドレスを変更する必要があります。そうしないと、IPアドレスが重複します。ネットワークの変更後、verify-topologyおよびinfinicheckコマンドを実行して、ネットワークが正しく動作していることを確認します。combined_cellip.oraなどのExadata Storage ServerのIPアドレスを含むファイルを作成する必要があります。次は、コマンドの例です。
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify-toplogy -t fattree # ./infinicheck -c /tmp/combined_cellip.ora -b
Oracle Exadata Database Machineが個別のクラスタで実行される場合、cellip.oraファイルを変更しないでください。データベース・サーバーのcellip.oraファイルには、そのデータベース・サーバーで使用されるExadata Storage ServerのIPアドレスのみ含める必要があります。
すでにインストール済のディスク・タイプとは異なるタイプのディスク・タイプを搭載したセルを追加することはできますが、ディスク・タイプを同じOracle ASMディスク・グループ内に混在させることはできません。たとえば、既存のすべてのディスク・グループで高パフォーマンス・ディスクを使用しているときに、大容量ディスクを搭載したセルを追加する場合は、大容量ディスクに新しいディスク・グループを作成する必要があります。
同じタイプのディスクを追加する場合は、新しいディスクが既存のディスクより大きい場合でも、グリッド・ディスク・サイズが完全に同じになるようにしてください。たとえば、既存のディスクが3 TBで、追加ディスクが4 TBである場合、3 TBディスクのサイズと同じグリッド・ディスクを作成する必要があります。1 TBのディスク領域を追加で使用して新しいディスク・グループを作成できます。
単一クラスタとして実行されていない場合に、一方のOracle Exadata Database Machineからもう一方のOracle Exadata Database MachineのExadata Storage Serverにアクセスするために、Exadata Storage Serverには、各Oracle Exadata Database Machineに一意のOracle ASMディスク・グループ名と障害グループ名が必要です。たとえば、2つのOracle Exadata Database Machineを配線して個別のクラスタとして実行するには、次の名前を一意にする必要があります。
セル名
セル・ディスク名
グリッド・ディスク名
Oracle ASM障害グループ名
すべての機器は、カスタマ・サポートID (CSI)を受け取ります。Oracle Exadata Database Machineの新しい機器にはすべて新しいCSIが指定されます。新しいCSIと既存のOracle Exadata Database Machine CSIを調整する場合は、Oracleサポート・サービスに連絡してください。Oracleサポート・サービスに連絡する場合は、元のインスタンス番号または使用可能なシリアル番号、および新しい番号をお手元に用意してください。
InfiniBandネットワークは外部接続に使用できます。Sun Datacenter InfiniBand Switch 36スイッチの外部接続ポートをメディア・サーバーに接続すると、テープのバックアップ、データのロード、クライアントおよびアプリケーションにアクセスできます。外部接続する場合は、リーフ・スイッチの利用可能なポートを使用します。ラックごとに12のポートがあります。利用可能なポートはそれぞれのリーフ・スイッチで5B、6A、6B、7A、7Bおよび12Aです。高可用性接続にするには、あるポートをリーフ・スイッチに接続してから、別のポートを2番目のリーフ・スイッチに接続します。検証済のInfiniBandのケーブル長は、次のとおりです。
最長5メートルのパッシブ銅4X QDR QSFP線
最長100メートルの光ファイバ4X D=QDR QSFPケーブル
関連項目:
ディスク・グループの名前変更の詳細は、『Oracle Automatic Storage Management管理者ガイド』を参照してください。
エラスティック構成の詳細は、『Oracle Exadata Database Machineシステム概要』
ラックのハードウェアを拡張する前に、この項の安全上の注意および配線情報を確認し、現在のラックに関する情報を収集します。
Oracle Exadata Database Machineをアップグレードする前に、ラックに付属するSunハードウェア・システム安全上の注意を参照してください。
注意:
サービス担当者またはOracle Advanced Customer Servicesに連絡して、機器をOracle Exadata Database Machineに設置して使用する資格があることを確認してください。資格のない機器を設置または使用する場合、オラクル社は発生する問題の責任を負いません。
関連項目:
安全ガイドラインについては、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』を参照してください。
安全上の注意については、『Oracle Engineered Systemセーフティおよびコンプライアンス・ガイド、コンプライアンス・モデル番号ESY27』を参照してください。
InfiniBandケーブルを使用する前に、次のInfiniBandケーブルの注意を確認してください。
レーザー・トランシーバを使用する光ファイバInfiniBandケーブルは、クラス1タイプにする必要があります。
InfiniBand銅芯ケーブルを127mm(5インチ)以下の半径に曲げないでください。曲げすぎると、ケーブルの内部が損傷する場合があります。
InfiniBand光ケーブルを85mm(3.4インチ)以下の半径に曲げないでください。曲げすぎると、ケーブルの内部が損傷する場合があります。
ジップ・タイを使用してInfiniBandケーブルを結束したり支えたりしないでください。タイの尖った部分により、ケーブルの内部が損傷する場合があります。フック・アンド・ループ・ストラップを使用してください。
InfiniBandケーブルを強く引っ張らないでください。InfiniBandケーブルを引っ張ったり引きずったりしないでください。InfiniBandケーブルを引っ張ると、ケーブルの内部が損傷する場合があります。
InfiniBandケーブルを長さにあわせて広げてください。
全長の2倍以上にInfiniBandケーブルを丸めないでください。InfiniBandケーブルを丸めると、ケーブルの内部が損傷する場合があります。
人が通る場所や転動荷重がかかる場所にInfiniBandケーブルの経路を設定しないでください。衝撃の影響により、ケーブルの内部が損傷する場合があります。
ケーブル経路はできるだけ短くしてください。ケーブル経路の長さを計算した後、長さの要件を満たす最も短いケーブルを選択してください。ケーブルを指定する場合、次の点を考慮してください。
ケーブル経路にカーブがある場合、ケーブルに必要な長さが増加します。直線のケーブルでコネクタが接続されることはめったにありません。ケーブル経路にカーブが必要ですが、カーブによって全体の長さが増加します。
結束すると、必要なケーブル長が長くなります。結束すれば、1本または複数のケーブルが同じ経路を使用することになります。ただし、ケーブルの結束内の位置によって、曲げ半径が異なります。結束が大きくてまとまっておらず、カーブが多くある場合、カーブの内側にあるケーブルもあれば、外側にあるケーブルもあります。この場合、必要なケーブル長の差はかなり大きくなります。
床下にInfiniBandケーブル経路を設定している場合、ケーブル経路の長さを計算する際に高くした床の高さを考慮してください。
InfiniBandケーブルをまとめて結束する場合、フック・アンド・ループ・ストラップを使用してケーブルを整理します。できれば、ケーブルおよび経路を識別できるように色分けされたストラップを使用してください。InfiniBandスプリッタおよび4X銅伝導体ケーブルは、長さに対して幅および重量があります。ケーブルを支える際のフック・アンド・ループ・ストラップの保持強度を考慮してください。できるだけ合理的な数のケーブルを結束してください。InfiniBandケーブルがストラップから外れて落下した場合、床に落下した際の衝撃または突然の張力の変動でケーブル内部が損傷する場合があります。
多くのフック・アンド・ループ・ストラップを使用して、ケーブルを結束できます。8個以下のケーブルを結束することをお薦めします。
1フィート(0.3m)に1ストラップなど、できるだけフック・アンド・ループ・ストラップを近づけてください。ケーブルがストラップから外れても、別のストラップが支えるのでケーブルの落下が抑えられます。
ケーブルを配線する前に、次のケーブル管理アーム(CMA)ガイドラインを確認します。
梱包から必要なケーブルをすべて取り出し、可能な場合はケーブルを順応(運用時の温度まで到達)させます。順応時間は通常、24時間です。このようにすると、ケーブルが扱いやすくなります。
可能な場合は、ANSI/TIA/EIA 606-A規格に準拠したラベルを各ケーブルの両端に貼ります。
順番に設置を開始します。
一度にスライドするサーバーは1台のみにしてください。複数のサーバーを取り出すとケーブルが落下し、サーバーを戻す時に問題を起こす場合があります。
曲げ半径要件が最も厳しくないケーブルを最初に束ねて、分割して設置します。次の曲げ半径要件はEIA/TIA 568-x規格に基づいており、製造業者の要件によって異なることがあります。
CAT5e UTP: ケーブルの直径の4倍または最低1インチ/25.4mmの曲げ半径
AC電源ケーブル: ケーブルの直径の4倍または最低1インチ/25.4mmの曲げ半径
TwinAx: ケーブルの直径の5倍または1.175インチ/33mm。
Quad Small Form-factor Pluggable (QSFP) InfiniBandケーブル: ケーブルの直径の6倍または2インチ/55mm。
ファイバ・コア・ケーブル: 0.125ケーブルの場合は、ケーブルの直径の10倍または1.22インチ/31.75mm。
寿命が最長のケーブルから設置します。
現在の構成情報は、パッチ適用要件の計画、新しいIPアドレスの構成などに使用されます。ラックを拡張する前に、説明に従って次の情報を収集する必要があります。
現在のラックからのExachkレポート。
イメージ履歴の情報(次のコマンドを使用)。
dcli -g ~/all_group -l root "imagehistory" > imagehistory.txt
すべてのExadata Storage Serverおよびデータベース・サーバーに定義される現在のIPアドレス(次のコマンドを使用)。
dcli -g ~/all_group -l root "ifconfig" > ifconfig_all.txt
セル、セル・ディスク、フラッシュ・ログおよびIORM計画の構成情報(次のコマンドを使用)。
dcli -g ~/cell_group -l root "cellcli -e list cell detail" > cell_detail.txt dcli -g ~/cell_group -l root "cellcli -e list physicaldisk detail" > \ physicaldisk_detail.txt dcli -g ~/cell_group -l root "cellcli -e list griddisk attributes \ name,offset,size,status,asmmodestatus,asmdeactivationoutcome" > griddisk.txt dcli -g ~/cell_group -l root "cellcli -e list flashcache detail" > \ fc_detail.txt dcli -g ~/cell_group -l root "cellcli -e list flashlog detail" > fl_detail.txt dcli -g ~/cell_group -l root "cellcli -e list iormplan detail" > \ iorm_detail.txt
データベース・サーバーのHugePagesメモリー構成(次のコマンドを使用)。
dcli -g ~/dbs_group -l root "cat /proc/meminfo | grep 'HugePages'" > \ hugepages.txt
InfiniBandスイッチの情報(次のコマンドを使用)。
ibswitches > ibswitches.txt
Sun Datacenter InfiniBand Switch 36スイッチのファームウェア・バージョン(各スイッチからnm2versionコマンドを使用)。
ラックの最初のデータベース・サーバーからの次のネットワーク・ファイル。
/etc/resolv.conf
/etc/ntp.conf
/etc/network
/etc/sysconfig/network-scripts/ifcfg-*
Oracle GoldenGateなど、新しいサーバーで作成する必要があるクラスタ管理サービス用に作成された任意のユーザー、ユーザー識別子、グループおよびグループ識別子。
/etc/passwd
/etc/group
現在のクラスタ・ステータスの出力(次のコマンドを使用)。
crsctl stat res -t > crs_stat.txt
グリッド・インフラストラクチャおよびOracleホームからのパッチ情報(次のコマンドを使用)。コマンドは、グリッド・インフラストラクチャ・ホームの所有者およびOracleホームの所有者として実行する必要があります。
/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory -oh \ GRID_HOME -detail -all_nodes > opatch_grid.txt /u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory -oh \ ORACLE_HOME -detail -all_nodes >> opatch_oracle.txt
前述のコマンドのGRID_HOMEは、グリッド・インフラストラクチャ・ホーム・ディレクトリのパスで、ORACLE_HOMEはOracleホーム・ディレクトリのパスです。
関連トピック
サーバーまたはラックを既存のラックに追加すると、Oracle Exadata Deployment Assistantを使用して新しいサーバーのIPアドレスが取得されます。サーバーを既存のラックにさらに追加する場合は、アプリケーションに新しいサーバーのみを含めるようにしてください。ラックを追加する場合は、新しいラックに独自のOracle Exadata Deployment Assistantを使用してください。現在使用中の正確なOracle ASMディスク・グループ構成が、アプリケーションによって反映されない場合があります。グリッド・ディスクおよびディスク・グループは手動で構成されるため、これは問題にはなりません。Oracleホームの場所や所有者など、その他すべての項目を既存の構成と同じように正確に定義する必要があります。
Oracle Exadata X4-2 Database Server以降またはOracle Exadata Storage Server X4-2L以降を追加する場合、結合構成はラックの既存のサーバーと一致する必要があります。Oracle Exadata Deployment AssistantのInfiniBand構成ページに、ボンディングのタイプを選択するオプションがあります。アクティブ-アクティブ・ボンディングのオプションを選択するか、またはアクティブ-パッシブ・ボンディングのオプション選択を解除します。
アプリケーションによって生成される構成ファイルは、Oracle Exadata Deployment Assistantによって使用されます。Oracle Exadata Deployment Assistantの完了後に、checkip.shおよびdbm.datファイルを使用して、ネットワーク構成を検証します。エラーが発生するのは、SCANアドレス、CiscoスイッチおよびSun Datacenter InfiniBand Switch 36スイッチにpingコマンドを実行した場合のみです。
関連項目:
$GRID_HOME/rdbms/auditディレクトリおよび$GRID_HOME/log/diagnosticsディレクトリのファイルは、クラスタを拡張する前に移動または削除する必要があります。時間がかかる場合があるため、拡張予定の1日または2日前にファイルを移動または削除することをお薦めします。
新しいラックまたはサーバーには、多くの場合、現在のラックよりも新しいリリースまたはパッチ・レベルが含まれます。現在のラック・リリースを新しいリリースに更新する必要が生じる場合もあります。また、現在のリリースのままにしたり、現在のラックに合うように新しいラックの再イメージ化を選択する必要が生じる場合もあります。どのような選択を行う場合でも、既存および新しいサーバーとSun Datacenter InfiniBand Switch 36 スイッチは同じパッチ・レベルである必要があります。ハードウェアおよびリリースについて、次の点に注意してください。
ヒント:
最小リリースの最新情報については、My Oracle Supportノート888828.1を参照してください。
Oracle Exadata Database Machine X4-2 (Sun Server X4-2 Oracle Database Server搭載)およびOracle Exadata Storage Server X4-2L Serverを拡張する場合、サーバーの最小リリースはリリース11.2.3.3.0です。
Oracle Exadata Database Machine X4-8フル・ラックを拡張する場合、サーバーの最小のリリースはリリース11.2.3.3.1です。
Sun Server X3-2 Oracle Database ServerおよびExadata Storage Server X3-2 Serverを使用したOracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)またはOracle Exadata Database Machine X2-2 (X4170 M2およびX4270 M2サーバー搭載)を拡張する場合、サーバーの最小リリースはリリース11.2.3.2.0です。
Sun Fire X4170 M2 Oracle Database Serverを使用したOracle Exadata Database Machine X2-2(X4170およびX4275サーバー搭載)、およびSun Fire X4270 M2サーバーを使用したOracle Exadata Storage Serverを拡張する場合、サーバーの最小リリースはリリース11.2.2.2.0になります。
最小リリースに合せて、以前のリリースのサーバーにパッチを適用して新しいリリースにする必要が生じる場合があります。また、以前のリリースのデータベース・サーバーでOracle Linuxリリース5.3を使用している場合があります。それらのサーバーは、最新のOracle Linuxリリースに更新する必要があります。
パッチ適用の追加の考慮事項には、グリッド・インフラストラクチャ、データベース・ホーム・リリースおよびバンドル・パッチ更新が含まれます。新しいパッチが適用される場合は、拡張手順の一部として新しいサーバーがリリースを継承するように、既存のサーバーを変更することをお薦めします。これにより、パッチ適用の対象のサーバーの数が減ります。拡張作業のスケジュール設定時に既存のサーバーが目的のレベルになり、それにより拡張時の作業の合計量が減少するように、既存のサーバーのパッチ適用を事前に実行する必要があります。
ハードウェアを拡張する前に、Oracle Exadata Database Machine物理システムを視覚的に確認します。
損傷がないか、ラックを確認します。
ねじの緩みまたは欠落がないか、ラックを確認します。
注文した構成かどうか、Oracle Exadata Database Machineを確認します。
すべてのケーブル接続が固定され、確実に取り付けられていることを確認します。
電力ケーブルを確認します。
正しいコネクタがデータ・センター施設の電源に供給されていることを確認します。
ネットワーク・データ・ケーブルを確認します。
ケーブル・アクセスと通気のために設置場所のタイルの配置を確認します。
Oracle Exadata Database Machineの前面へのデータ・センターの通気を確認します。
サーバーを追加する前に、次の作業を実行します。
Oracle Exadata Database Machine拡張キットを開封します。
梱包箱からすべてのOracle Exadata Database Machineサーバー・コンポーネントを開封します。次の項目がサーバーとともに梱包されています。
Oracle Database ServerまたはExadata Storage Server
カントリー・キットに梱包されている電源コード
設置手順を含むケーブル管理アーム
ラック・レールおよび設置手順を含むラック取付けキット
(オプション)Sunサーバー・ドキュメントおよびメディア・キット
注意:
Oracle Exadata Database Machine X4-2、Oracle Exadata Database Machine X3-8フル・ラック、またはOracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)ハーフ・ラックを拡張する場合、Sun Datacenter InfiniBand Switch 36スイッチが含まれる拡張キットを注文してください。
図1-1に、サーバー拡張キットのコンポーネントを示します。
サーバーのケーブルを並べます。
ケーブルを広げて、直線上に伸ばします。
ケーブルのラベルを貼り付けます。設置前にすべてのケーブルにラベルを貼ることをお薦めします。
サーバーを設置します。
サーバーを配線します。
関連項目:
ケーブルのラベルの詳細は、『Oracle Exadata Database Machineメンテナンス・ガイド』を参照してください。
サーバーの設置の詳細は、「新しいサーバーの追加」
サーバーの配線の詳細は、「データベース・サーバーの配線」および「Exadata Storage Serverの配線」
ラックを配線して、Oracle Exadata Database Machineクオータ・ラックからOracle Exadata Database Machineハーフ・ラック、Oracle Exadata Database Machineハーフ・ラックからOracle Exadata Database Machineフル・ラックにOracle Exadata Database Machineを拡張できます。
Oracle Exadata Database Machine X4-2またはX5-2をエイス・ラックからクオータ・ラックに拡張するには、ソフトウェアを使用します。ラックの拡張にハードウェアを変更する必要はありません。
ただし、その他のOracle Exadata Database Machineバージョンでは、ハードウェアの変更が必要になる場合があります。詳細は、「Oracle Exadata Database Machine X6-2の場合: 大容量ディスクおよびフラッシュ・カードの追加」および「Oracle Exadata Database Machine X7-2の場合: エイス・ラック・システムからクオータ・ラックへのアップグレード」を参照してください。
この手順は、ローリング・データベース停止以外に停止時間または停止を発生することなく実行できます。
注意:
次の手順でディスク・グループの名前およびサイズは例です。実際のシステムに合せて、コマンドの値を変更するようにしてください。
この手順では、最初のデータベース・サーバーおよび他のすべてのデータベース・サーバーのrootユーザーと、すべてのストレージ・セルのcelladminユーザーの間にユーザー等価が存在すると仮定しています。
セル・ホスト名とデータベース・サーバー・ホスト名それぞれのリストを含むテキスト・ファイルcell_groupおよびdb_groupを作成する必要があります。
次の手順では、現在の構成を確認および検証する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
次のコマンドを使用して、データベース・サーバーの現在の構成を確認します。
# dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
たとえば、Oracle Exadata Database Machine X5-2エイス・ラックの場合、コマンドの出力は次のようになります。
dm01db01: 18 dm01db02: 18
注意:
Oracle Exadata Database Machine X5-2エイス・ラック・データベース・サーバーのアクティブ・コア数は18です。Oracle Exadata Database Machine X4-2エイス・ラック・データベース・サーバーのアクティブ・コア数は12です。
エイス・ラックに構成されているデータベース・サーバーのコア数が異なる場合は、Oracleサポート・サービスに問い合せてください。
次のコマンドを使用して、ストレージ・サーバーの現在の構成を確認します。予想される出力はTRUEです。
# dcli -g cell_group -l celladmin 'cellcli -e LIST CELL attributes eighthrack'
次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
データベース・サーバー・グループで、次のdcliユーティリティ・コマンドを使用してすべてのデータベース・サーバー・コアをアクティブにします。
# dcli -g db_group -l root 'dbmcli -e \
ALTER DBSERVER pendingCoreCount = number_of_cores'
前述のコマンドで、number_of_coresは、アクティブ化するコアの合計数です。この値には、既存のコア数とアクティブ化する追加のコア数が含まれます。次のコマンドは、Oracle Exadata Database Machine X5-2エイス・ラックのすべてのコアをアクティブ化します。
# dcli -g db_group -l root 'dbmcli -e ALTER DBSERVER pendingCoreCount = 36'
注意:
Oracle Exadata Database Machine X5-2エイス・ラックの合計アクティブ・コアの最大数は36です。Oracle Exadata Database Machine X4-2エイス・ラックの合計アクティブ・コアの最大数は24です。
各データベース・サーバーを再起動します。
注意:
データベースとグリッド・インフラストラクチャがアクティブな状態でローリング方式でこの手順を実行する場合は、データベース・サーバーを再起動する前に次の点を確認してください。
すべてのOracle ASMグリッド・ディスクがオンラインになっていること。
Oracle ASMのリバランス操作がアクティブでないこと。リバランス操作のステータスを確認するには、V$ASM_OPERATIONビューに問い合せます。
データベースとグリッド・インフラストラクチャを適切な方法で停止し、必要であればサービスをフェイルオーバーすること。
再起動が完了して次のサーバーに進む前に、データベース・サーバーで次の点を確認します。
データベースとグリッド・インフラストラクチャがアクティブであること。
Oracle Real Application Clusters管理およびデプロイメント・ガイドのインスタンスが実行中であることを確認するためのSRVCTLの使用に関する項およびcrsctl status resource –w "TARGET = ONLINE" —tコマンドを参照してください。アクティブ・コア数が正しいこと。dbmcli -e list dbserver attributes coreCountコマンドを使用して、コア数を確認します。
関連項目:
『Oracle Exadata System Softwareユーザーズ・ガイド』のディスクのオフラインとオンラインの切替えに関する項
『Oracle Real Application Clusters管理およびデプロイメント・ガイド』のSRVCTLを使用した1つ以上のインスタンスおよびOracle RACデータベースの停止に関する項
『Oracle Database 2日でReal Application Clustersガイド』のOracle Clusterwareリソースの起動および停止に関する項
コアのサブセットをアクティブにする方法の詳細は、Oracle Exadata Database Machineメンテナンス・ガイドを参照してください。
コアのサブセットにライセンスを付与する方法の詳細は、Oracle Exadata Database Machineライセンス情報ユーザーズ・ガイドを参照してください。
Oracle Exadata Database Machine X6-2エイス・ラック大容量システムのアップグレードではハードウェアの変更が必要になりますが、X6-2 Extreme Flashのアップグレードの場合は必要ありません。
エイス・ラック大容量ストレージ・サーバーは半分のコアが有効ですが、ディスクとフラッシュ・カードの半分が取り外されています。エイス・ラックExtreme Flashストレージ・サーバーはコアもフラッシュ・ドライブも半分が有効になっています。
エイス・ラック・データベース・サーバーは半分のコアが有効です。
大容量ディスクを搭載したOracle Exadata Database Machine X6-2エイス・ラック・システムでは、大容量ディスクおよびフラッシュ・カードを追加して、システムをクオータ・ラックに拡張できます。
6つの8TBディスクをHDDスロット6 - 11に挿入します。
2つのF320フラッシュ・カードをPCIeスロット1と4に挿入します。
Oracle Exadata Database Machine X7-2エイス・ラック・システムのアップグレードには、ハードウェアの変更が必要になります。エイス・ラックのデータベース・サーバーでは、CPUの1つがなくなり、CPU1のすべてのメモリーがCPU0に移動されています。ストレージ・サーバーは半分のコアが有効ですが、ディスクとフラッシュ・カードの半分が取り外されています。
Oracle Exadata Database Machine X7-2エイス・ラック・システムでは、CPU、大容量ディスクおよびフラッシュ・カードを追加して、システムをクオータ・ラックに拡張できます。
Exadata X7データベース・サーバーで、CPU1を取り付け、CPU0のメモリーの半分をCPU1に移動し、10/25GbE PCIカードをPCIeスロット1に移動します。
Exadata大容量ストレージ・サーバーで、6個の10TB大容量SASディスクをHDD6-11に、2個のF640フラッシュ・カードをPCIeスロット4および6に取り付けます。
Exadata Extreme Flashストレージ・サーバーで、4個のF640フラッシュ・カードをPCIeスロット2、3、8および9に取り付けます。
次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
次のコマンドを使用してストレージ・サーバー・グループのコアをアクティブ化します。このコマンドはdcliユーティリティを使用し、celladminユーザーとして実行します。
# dcli -g cell_group -l celladmin cellcli -e "alter cell eighthRack=false"
次のコマンドを使用して、セル・ディスクを作成します。
# dcli -g cell_group -l celladmin cellcli -e "create celldisk all"
次のコマンドを使用して、フラッシュ・ログを再作成します。
# dcli -g cell_group -l celladmin cellcli -e "drop flashlog all force" # dcli -g cell_group -l celladmin cellcli -e "create flashlog all"
次のコマンドを使用して、フラッシュ・キャッシュを拡張します。
# dcli -g cell_group -l celladmin cellcli -e "alter flashcache all"
適切なオフセットを確保するために、グリッド・ディスクの作成は特定の順序で行う必要があります。
グリッド・ディスク作成の順序は、グリッド・ディスクが最初に作成された順序と同じにしてください。Oracle Exadata Deployment Assistantを使用する標準デプロイメントの場合は、DATA、RECO、DBFS_DGの順です。すべてのDATAグリッド・ディスクをまず作成し、次にRECOグリッド・ディスク、さらにDBFS_DGグリッド・ディスクを作成します。
次の手順では、グリッド・ディスクを作成する方法について説明します。
注意:
この手順で示すコマンドでは、標準のデプロイメント・グリッド・ディスク接頭辞名DATA、RECOおよびDBFS_DGを使用しています。サイズのチェックはセル・ディスク02で行います。セル・ディスク02を使用するのは、セル・ディスク00および01のディスク・レイアウトがサーバーの他のセル・ディスクとは異なるためです。
次のコマンドを使用して、グリッド・ディスクのサイズをチェックします。同じグリッド・ディスク接頭辞で開始するグリッド・ディスクでは各セルが同じサイズを返します。
# dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'DATA.*_02_.*\'" # dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'RECO.*_02_.*\'" # dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'DBFS_DG.*_02_.*\'"
表示されるサイズは、グリッド・ディスク作成で使用します。
手順1で表示したサイズを使用してディスク・グループのグリッド・ディスクを作成します。表1-1に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。
表1-1 Oracle Exadata Database Machine X4-2以降のエイス・ラックを拡張する際にディスク・グループを作成するコマンド
| ラック | コマンド |
|---|---|
Extreme Flash Oracle Exadata Database Machine X5-2以降 |
dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_04_\'hostname -s\' celldisk=FD_04_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_05_\'hostname -s\' celldisk=FD_05_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_06_\'hostname -s\' celldisk=FD_06_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_FD_07_\'hostname -s\' celldisk=FD_07_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" |
High Capacity Oracle Exadata Database Machine X5-2またはOracle Exadata Database Machine X4-2以降 |
dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=recosize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_06_\'hostname -s\' celldisk=CD_06_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_07_\'hostname -s\' celldisk=CD_07_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_08_\'hostname -s\' celldisk=CD_08_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_09_\'hostname -s\' celldisk=CD_09_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_10_\'hostname -s\' celldisk=CD_10_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_11_\'hostname -s\' celldisk=CD_11_\'hostname -s\',size=dbfssize, \ cachingPolicy=none" |
次の手順では、グリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。
「エイス・ラックのOracle Exadata Database Machine X4-2以降のグリッド・ディスクの作成」で作成されたグリッド・ディスクは、対応する既存のOracle ASMディスク・グループにOracle ASMディスクとして追加する必要があります。
次を検証します。
リバランス操作が現在実行していないこと。
すべてのOracle ASMディスクがアクティブになっていること。
グリッド・インフラストラクチャ・ソフトウェアを実行している所有者として、最初のデータベース・サーバーにログインします。
サーバーの+ASMインスタンスにアクセスするように環境を設定します。
次のコマンドを使用して、ASMインスタンスにsysasmユーザーとしてログインします。
$ sqlplus / as sysasm
次のように現在の設定を検証します。
SQL> set lines 100 SQL> column attribute format a20 SQL> column value format a20 SQL> column diskgroup format a20 SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG WHERE DG.group_number=att.group_number AND att.name LIKE '%appliance.mode%' ORDER BY att.group_number;
出力は次のようになります。
ATTRIBUTE VALUE DISKGROUP -------------------- -------------------- -------------------- appliance.mode TRUE DATAC1 appliance.mode TRUE DBFS_DG appliance.mode TRUE RECOC1
次のコマンドを使用して、TRUEが表示されたすべてのディスク・グループのappliance.mode属性を無効化します。
SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='FALSE'; SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='FALSE'; SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='FALSE';
このコマンドで、data_diskgroup、reco_diskgroupおよびdbfs_dg_diskgroupは、それぞれDATA、RECOおよびDBFS_DGディスク・グループの名前です。
Oracle ASMディスク・グループにグリッド・ディスクを追加します。表1-2に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。新しいディスクを調整するとシステムのリバランスが必要になります。
表1-2 エイス・ラックのOracle Exadata Database Machine X4-2以降を拡張する際にディスク・グループを追加するコマンド
| ラック | コマンド |
|---|---|
Extreme Flash Oracle Exadata Database Machine X5-2以降 |
SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_FD_0[4-7]*' \ REBALANCE POWER 32; SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_FD_0[4-7]*' \ REBALANCE POWER 32; SQL> ALTER DISKGROUP dbfs_dg_diskgroup ADD DISK 'o/*/DBFS_DG_FD_0[4-7]*'\ REBALANCE POWER 32; |
High Capacity Oracle Exadata Database Machine X5-2またはOracle Exadata Database Machine X4-2以降 |
SQL> ALTER DISKGROUP data_diskgroup ADD DISK 'o/*/DATA_CD_0[6-9]*',' \
o/*/DATA_CD_1[0-1]*' REBALANCE POWER 32;
SQL> ALTER DISKGROUP reco_diskgroup ADD DISK 'o/*/RECO_CD_0[6-9]*',' \
o/*/RECO_CD_1[0-1]*' REBALANCE POWER 32;
SQL> ALTER DISKGROUP
|
成功すると、前述のコマンドによってDiskgroup alteredが返されます。
(オプション)次のコマンドを使用して、現在のリバランス操作を監視します。
SQL> SELECT * FROM gv$asm_operation;
次のコマンドを使用して、appliance.mode属性を有効化します(手順6で無効化した場合)。
SQL> ALTER DISKGROUP data_diskgroup set attribute 'appliance.mode'='TRUE'; SQL> ALTER DISKGROUP reco_diskgroup set attribute 'appliance.mode'='TRUE'; SQL> ALTER DISKGROUP dbfs_dg_diskgroup set attribute 'appliance.mode'='TRUE';
グリッド・ディスクをOracle ASMディスク・グループに追加したら構成を検証します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
次のコマンドを使用して、コア数をチェックします。
# dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
次のコマンドを使用して、ストレージ・サーバーの構成を確認します。
# dcli -g cell_group -l celladmin 'cellcli -e list cell attributes eighthrack'
出力はFALSEになる必要があります。
次のコマンドを使用して、各ディスク・グループのアプライアンス・モードを確認します。
SQL> set lines 100 SQL> column attribute format a20 SQL> column value format a20 SQL> column diskgroup format a20 SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup \ FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG \ WHERE DG.group_number = att.group_number AND \ att.name LIKE '%appliance.mode%' ORDER BY DG.group_number;
次のコマンドを使用して、Oracle ASMディスクの数を検証します。
SQL> SELECT g.name,d.failgroup,d.mode_status,count(*) \ FROM v$asm_diskgroup g, v$asm_disk d \ WHERE d.group_number=g.group_number \ GROUP BY g.name,d.failgroup,d.mode_status; NAME FAILGROUP MODE_ST COUNT(*) ------------------------- ----------------------------- ------- ---------- DATAC1 EXA01CELADM01 ONLINE 12 DATAC1 EXA01CELADM02 ONLINE 12 DATAC1 EXA01CELADM03 ONLINE 12 RECOC1 EXA01CELADM01 ONLINE 12 RECOC1 EXA01CELADM02 ONLINE 12 RECOC1 EXA01CELADM03 ONLINE 12 RECOC2 EXA01CELADM01 ONLINE 12 RECOC2 EXA01CELADM02 ONLINE 12 RECOC2 EXA01CELADM03 ONLINE 12 DBFS_DG EXA01CELADM01 ONLINE 10 DBFS_DG EXA01CELADM02 ONLINE 10 DBFS_DG EXA01CELADM03 ONLINE 10
すべての2ソケット・システム(エイス・ラック構成を除く)では、どのシステム・モデルでも、セルごとに12個のディスクが搭載されます。エイス・ラック構成では、セルごとに6個のディスクが搭載されます。
Oracle Exadata Database Machine X3-2以前のラックをエイス・ラックからクオータ・ラックに拡張するには、ソフトウェアを使用します。ラックの拡張にハードウェアを変更する必要はありません。この手順は、ローリング・データベース停止以外に停止時間または停止を発生することなく実行できます。この項の次の手順で、Oracle Exadata Database Machine X3-2のエイス・ラックをクオータ・ラックに拡張する方法について説明します。
次の手順では、現在の構成を確認および検証する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
次のコマンドを使用して、データベース・サーバーの現在の構成を確認します。
# dcli -g db_group -l root /opt/oracle.SupportTools/resourcecontrol -show
次に、コマンドの出力例を示します。
dm01db01: [INFO] Validated hardware and OS. Proceed. dm01db01: dm01db01: system_bios_version: 25010600 dm01db01: restore_status: Ok dm01db01: config_sync_status: Ok dm01db01: reset_to_defaults: Off dm01db01: [SHOW] Number of cores active per socket: 4 dm01db02: [INFO] Validated hardware and OS. Proceed. dm01db02: dm01db02: system_bios_version: 25010600 dm01db02: restore_status: Ok dm01db02: config_sync_status: Ok dm01db02: reset_to_defaults: Off dm01db02: [SHOW] Number of cores active per socket: 4
注意:
Oracle Exadata Database Machine X3-2エイス・ラック・データベース・サーバーのアクティブ・コア数は4です。
エイス・ラックに構成されているデータベース・サーバーのコア数が異なる場合は、Oracleサポート・サービスに問い合せてください。
この手順を続行する前に、restore_statusおよびconfig_sync_statusの出力が「OK」と表示されていることを確認してください。
次のコマンドを使用して、ストレージ・サーバーの現在の構成を確認します。予想される出力はTRUEです。
# dcli -g cell_group -l celladmin 'cellcli -e LIST CELL attributes eighthrack'
次のコマンドを使用して、フラッシュ・ディスクがOracle ASMディスク・グループで使用されないようにします。フラッシュ・キャッシュは、この手順で削除されて再作成されます。
# dcli -g cell_group -l celladmin cellcli -e "list griddisk attributes \ asmDiskgroupName,asmDiskName,diskType where diskType ='FlashDisk' \ and asmDiskgroupName !=null"
このコマンドでは、行は返されません。
次の手順では、データベース・サーバー・コアをアクティブ化する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
データベース・サーバー・グループで、次のdcliユーティリティ・コマンドを使用してすべてのデータベース・サーバー・コアをアクティブにします。
# dcli -g db_group -l root /opt/oracle.SupportTools/resourcecontrol \
-core number_of_cores
前述のコマンドで、number_of_coresは、アクティブ化するコアの合計数です。すべてのコアをアクティブ化するには、コア数としてAllを入力します。
関連項目:
コアのサブセットをアクティブにする方法の詳細は、『Oracle Exadata Database Machineメンテナンス・ガイド』を参照してください。
コアのサブセットにライセンスを付与する方法の詳細は、『Oracle Exadata Database Machineライセンス情報』を参照してください。
次のコマンドを使用して、ローリング方式でデータベース・サーバーを再起動します。
# reboot
注意:
ストレージ・サーバー・コアおよびディスクをアクティブ化する前に、restore_statusとconfig_sync_statusの出力がOkであることを確認します。再起動後、BIOSからステータスを取得するには、数分かかる場合があります。
次の手順では、ストレージ・サーバー・コアおよびディスクをアクティブ化する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
次のコマンドを使用してストレージ・サーバー・グループのコアをアクティブ化します。このコマンドはdcliユーティリティを使用し、celladminユーザーとして実行します。
# dcli -g cell_group -l celladmin cellcli -e "alter cell eighthRack=false"
次のコマンドを使用して、セル・ディスクを作成します。
# dcli -g cell_group -l celladmin cellcli -e "create celldisk all"
次のコマンドを使用して、フラッシュ・ログを再作成します。
# dcli -g cell_group -l celladmin cellcli -e "drop flashlog all force" # dcli -g cell_group -l celladmin cellcli -e "create flashlog all"
次のコマンドを使用して、フラッシュ・キャッシュを拡張します。
# dcli -g cell_group -l celladmin cellcli -e "alter flashcache all"
適切なオフセットを確保するために、グリッド・ディスクの作成は特定の順序で行う必要があります。グリッド・ディスク作成の順序は、グリッド・ディスクが最初に作成された順序と同じにしてください。Oracle Exadata Deployment Assistantを使用する標準デプロイメントの場合は、DATA、RECO、DBFS_DGの順です。すべてのDATAグリッド・ディスクをまず作成し、次にRECOグリッド・ディスク、さらにDBFS_DGグリッド・ディスクを作成します。
次の手順では、グリッド・ディスクを作成する方法について説明します。
注意:
この手順で示すコマンドでは、標準のデプロイメント・グリッド・ディスク接頭辞名DATA、RECOおよびDBFS_DGを使用しています。サイズのチェックはセル・ディスク02で行います。セル・ディスク02を使用するのは、セル・ディスク00および01のディスク・レイアウトがサーバーの他のセル・ディスクとは異なるためです。
次のコマンドを使用して、グリッド・ディスクのサイズをチェックします。同じグリッド・ディスク接頭辞で開始するグリッド・ディスクでは各セルが同じサイズを返します。
# dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'DATA.*02.*\'" # dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'RECO.*02.*\'" # dcli -g cell_group -l celladmin cellcli -e \ "list griddisk attributes name, size where name like \'DBFS_DG.*02.*\'"
表示されるサイズは、グリッド・ディスク作成で使用します。
手順1で表示したサイズを使用してディスク・グループのグリッド・ディスクを作成します。表1-3に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。
表1-3 Oracle Exadata Database Machine X3-2エイス・ラックを拡張する際にディスク・グループを作成するコマンド
| ラック | コマンド |
|---|---|
High PerformanceまたはHigh Capacity Oracle Exadata Database Machine X3-2 |
dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_06_\`hostname -s\` celldisk=CD_06_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_07_\`hostname -s\` celldisk=CD_07_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_08_\`hostname -s\` celldisk=CD_08_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_09_\`hostname -s\` celldisk=CD_09_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_10_\`hostname -s\` celldisk=CD_10_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DATA_CD_11_\`hostname -s\` celldisk=CD_11_\`hostname -s\`,size=datasize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_06_\`hostname -s\` celldisk=CD_06_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_07_\`hostname -s\` celldisk=CD_07_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_08_\`hostname -s\` celldisk=CD_08_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_09_\`hostname -s\` celldisk=CD_09_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_10_\`hostname -s\` celldisk=CD_10_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ RECO_CD_11_\`hostname -s\` celldisk=CD_11_\`hostname -s\`,size=recosize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_06_\`hostname -s\` celldisk=CD_06_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_07_\`hostname -s\` celldisk=CD_07_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_08_\`hostname -s\` celldisk=CD_08_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_09_\`hostname -s\` celldisk=CD_09_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_10_\`hostname -s\` celldisk=CD_10_\`hostname -s\`,size=dbfssize" dcli -g cell_group -l celladmin "cellcli -e create griddisk \ DBFS_DG_CD_11_\`hostname -s\` celldisk=CD_11_\`hostname -s\`,size=dbfssize" |
Oracle Exadata Database Machine X3-2エイス・ラックでのグリッド・ディスクの作成で作成されたグリッド・ディスクは、対応する既存のOracle ASMディスク・グループにOracle ASMディスクとして追加する必要があります。次の手順では、グリッド・ディスクをOracle ASMディスク・グループに追加する方法について説明します。
次を検証します。
リバランス操作が現在実行していないこと。
すべてのOracle ASMディスクがアクティブになっていること。
グリッド・インフラストラクチャ・ソフトウェアを実行している所有者として、最初のデータベース・サーバーにログインします。
サーバーの+ASMインスタンスにアクセスするように環境を設定します。
次のコマンドを使用して、ASMインスタンスにsysasmユーザーとしてログインします。
$ sqlplus / as sysasm
次のように現在の設定を検証します。
SQL> set lines 100 SQL> column attribute format a20 SQL> column value format a20 SQL> column diskgroup format a20 SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup \ FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG \ WHERE DG.group_number = att.group_number AND \ att.name LIKE '%appliance.mode%' ORDER BY att.group_number;
出力は次のようになります。
ATTRIBUTE VALUE DISKGROUP -------------------- -------------------- -------------------- appliance.mode TRUE DATAC1 appliance.mode TRUE DBFS_DG appliance.mode TRUE RECOC1
次のコマンドを使用して、TRUEが表示されたすべてのディスク・グループのappliance.mode属性を無効化します。
SQL> ALTER DISKGROUPdata_diskgroupset attribute 'appliance.mode'='FALSE'; SQL> ALTER DISKGROUPreco_diskgroupset attribute 'appliance.mode'='FALSE'; SQL> ALTER DISKGROUPdbfs_dg_diskgroupset attribute 'appliance.mode'='FALSE';
このコマンドで、data_diskgroup、reco_diskgroupおよびdbfs_dg_diskgroupは、それぞれDATA、RECOおよびDBFS_DGディスク・グループの名前です。
Oracle ASMディスク・グループにグリッド・ディスクを追加します。表1-4に、ラック・タイプとディスク・グループに応じてグリッド・ディスクを作成するコマンドを示します。新しいディスクを調整するとシステムのリバランスが必要になります。
表1-4 Oracle Exadata Database Machine X3-2エイス・ラックを拡張する際にディスク・グループを追加するコマンド
| ラック | コマンド |
|---|---|
High CapacityまたはHigh Performance Oracle Exadata Database Machine X3-2 |
SQL> ALTER DISKGROUP |
成功すると、前述のコマンドによってDiskgroup alteredが返されます。
(オプション)次のコマンドを使用して、現在のリバランス操作を監視します。
SQL> SELECT * FROM gv$asm_operation;
次のコマンドを使用して、appliance.mode属性を有効化します(手順6で無効化した場合)。
SQL> ALTER DISKGROUPdata_diskgroupset attribute 'appliance.mode'='TRUE'; SQL> ALTER DISKGROUPrecodiskgroupset attribute 'appliance.mode'='TRUE'; SQL> ALTER DISKGROUPdbfs_dg_diskgroupset attribute 'appliance.mode'='TRUE';
グリッド・ディスクをOracle ASMディスク・グループに追加したら構成を検証します。次の手順では、構成を検証する方法について説明します。
最初のデータベース・サーバーにrootユーザーとしてログインします。
次のコマンドを使用して、コア数をチェックします。
# dcli -g db_group -l root 'dbmcli -e list dbserver attributes coreCount'
次のコマンドを使用して、ストレージ・サーバーの構成を確認します。
# dcli -g cell_group -l celladmin 'cellcli -e list cell attributes eighthrack'
出力はFALSEになる必要があります。
次のコマンドを使用して、各ディスク・グループのアプライアンス・モードを確認します。
SQL> set lines 100 SQL> column attribute format a20 SQL> column value format a20 SQL> column diskgroup format a20 SQL> SELECT att.name attribute, upper(att.value) value, dg.name diskgroup \ FROM V$ASM_ATTRIBUTE att, V$ASM_DISKGROUP DG \ WHERE DG.group_number =att.group_number AND \ att.name LIKE '%appliance.mode%' ORDER BY DG.group_number;
次のコマンドを使用して、Oracle ASMディスクの数を検証します。
SQL> SELECT g.name,d.failgroup,d.mode_status,count(*) \ FROM v$asm_diskgroup g, v$asm_disk d \ WHERE d.group_number=g.group_number \ GROUP BY g.name,d.failgroup,d.mode_status;
クオータ・ラックからハーフ・ラックまたはハーフ・ラックからフル・ラックにOracle Exadata Database Machineを拡張するには、新しいハードウェアをラックに追加します。新しいサーバーでOracle Exadata Database Machineを拡張する方法は、次のとおりです。
注意:
マシンがオンラインのときに停止することなくハードウェアを拡張できます。ただし、十分に注意する必要があります。また、ハードウェアを拡張する前に既存のスイッチおよびサーバーのパッチを適用する必要があります。
次の手順は、Oracle Exadata Database Machineのドアを取り外す方法を示しています。
注意:
Exadata X7システムについては、Oracle Rack Cabinet 1242ユーザーズ・ガイドでドアの取外し(https://docs.oracle.com/cd/E85660_01/html/E87280/gshfw.html#scrolltoc)を参照してください次に示すように、Oracle Exadata Database Machineの前部ドアと後部ドアを取り外します。
前部ドアと後部ドアを開錠します。鍵は発送キットにあります。
ドアを開きます。
接地ストラップのすぐに取り外せるコネクタのタブを押して、ドアに接続されている接地ストラップを取り外し、フレームからストラップを抜きます。
ドアを持ち上げて、ヒンジを外します。
図1-2の吹出しの説明は、次のとおりです。
1: 接地ケーブルの取外し。
2: 背面の上部ヒンジ。
3: 背面の下部ヒンジ。
4: 前面の上部ヒンジ。
5: 前面の下部ヒンジ。
サーバーを設置するフィラー・パネルをNo.2ドライバで取り外して、M6ねじを外します。ねじ数は、フィラー・パネルのタイプによって異なります。今後の使用に備えて、ねじを保存します。
注意:
フィラー・パネルを交換する場合は、RETMA(Radio Electronics Television Manufacturers Association)レールの穴からDuosertケージ・ナットを外さないでください。
次の場合に、この手順が必要です。
Sun Fire X4170 Oracle Database Serverを使用するラックからOracle Exadata Database Machineハーフ・ラックまたはOracle Exadata Database Machineフル・ラックへのアップグレード。
Oracle Exadata Database Machineクオータ・ラックまたはOracle Exadata Database Machineエイス・ラックから別のラックへの拡張。
Oracle Exadata Database Machine X4-2ラックから別のラックへの拡張。
注意:
この手順のステップは、Oracle Exadata Database Machine専用です。Sun Datacenter InfiniBand Switch 36マニュアルの手順と異なっています。
梱包箱からSun Datacenter InfiniBand Switch 36スイッチ・コンポーネントを開封します。次の項目が梱包箱にあります。
Sun Datacenter InfiniBand Switch 36スイッチ
ケーブル金具およびラック取付けキット
ケーブル管理金具およびカバー
2つのラック・レール構成部品
各種ねじおよび係留ナット
Sun Datacenter InfiniBand Switch 36ドキュメント
スイッチの上のサービス・ラベル手順には、前の項目の説明が含まれます。
X5ラックのみ: IBスイッチを設置する間、RU1のラックからトラフを外して、ケーブルを出しておきます。トラフは破棄できます。
適切な穴に各ラック・レールのケージ・ナットを設置します。
カットアウト付きの金具をスイッチの電源側に取り付けます。
C金具をInfiniBandポート側のスイッチに取り付けます。
前面からラックの途中までスイッチをスライドします。右側のC金具を介した2つの電源コードを抜く間、できるだけスイッチをラックの左側に維持する必要があります。
ラックU2のサーバーをロックされたサービス位置にスライドアウトします。これで、この後の組立ての際にスイッチの背面の作業が行いやすくなります。
スライド・レールをラックの背面からスイッチのC金具に取り付け、ラックのレールに押し込みます。
組み立てたケーブル・アーム金具をスライド・レールに取り付け、No. 3プラス・ドライバを使用してラック・レールにねじで留めます。
ケーブル・アーム金具を90度下方向に回転して、下のねじを緩めに設置します。こうすると、ねじに指が届きやすくなります。
ケーブル・アーム金具を正しい位置まで回転します。
上のねじを設置します。
両方のねじを締めます。
できれば長い柄(16インチ/400mm)のドライバを使用すると、ラックの外側で柄の部分を持ってケーブルごしに作業できるため、取付けが簡単に行えるようになります。
前面からスイッチをラックにすべて押し込んで、レール金具のカットアウトに電源コードを配線します。
スイッチを前面ラック・レールにM6 16mmのねじで固定します。No.3プラス・ドライバを使用して、ねじを締めます。
スイッチの後部にケーブル管理アームの下部を設置します。
ケーブルを適切なポートに接続します。
ケーブル管理アームの上部を設置します。
ラックU2のサーバーをラックにスライドします。
電源コードを前面のInfiniBandスイッチ電源スロットに設置します。
通気フィラー・パネル金具を取り付けるために、前面のねじを緩めます。ねじを締めて、スイッチの前に通気フィラー・パネルをはめ込みます。
関連項目:
ラック・レイアウトを確認するには、『Oracle Exadata Database Machineシステム概要』を参照してください。
InfiniBandネットワーク・ケーブルの詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。
Oracle Exadata Database Machineクオータ・ラックは、Oracle Exadata Database Machineハーフ・ラックに、Oracle Exadata Database Machineハーフ・ラックは、Oracle Exadata Database Machineフル・ラックにアップグレードできます。アップグレード・プロセスには、新しいサーバー、ケーブルおよびOracle Exadata Database Machine X2-2フル・ラックにアップグレードする場合のSun Datacenter InfiniBand Switch 36スイッチの追加が含まれます。
Oracle Exadata Database Machineクオータ・ラックからOracle Exadata Database Machineハーフ・ラックにアップグレードするには、次の製品を設置します。
2台のOracle Database Server
4台のExadata Storage Server
1台のSun Datacenter InfiniBand Switch 36スイッチ(Sun Fire X4170 M2 Oracle Database Serverを使用するOracle Exadata Database Machine X2-2のみ)
関連するケーブルおよびハードウェア
Oracle Exadata Database Machineハーフ・ラックからOracle Exadata Database Machineフル・ラックにアップグレードするには、次の製品を設置します。
4台のOracle Database Server
7台のExadata Storage Server
関連するケーブルおよびハードウェア
注意:
Oracle Exadata Database Machine X5-2、Oracle Exadata Database Machine X4-2、Oracle Exadata Database Machine X3-8フル・ラックまたはOracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)ハーフ・ラックを拡張する場合は、Sun Datacenter InfiniBand Switch 36スイッチが付属した拡張キットを注文してください。
Oracle Exadata Database Machineクオータ・ラックからOracle Exadata Database Machineハーフ・ラック、Oracle Exadata Database Machineハーフ・ラックからOracle Exadata Database Machineフル・ラックに拡張する場合は、新しいサーバーを手動で構成する必要があります。詳細は、新しいサーバーの設定を参照してください。
ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。
関連項目:
ラック・レイアウトを確認するには、『Oracle Exadata Database Machineシステム概要』を参照してください。
『Sun Server X4-2L設置ガイド』のサーバーのラックへの設置に関する項
次のタスクは、サーバーおよびケーブルの追加方法を示しています。
次の手順では、インストール前の作業について説明します。
サーバーを設置するラック・ユニットを確認します。ラックの一番下の段から見て、空いている最初のユニットに設置します。
ユニットにサーバーが設置されるまではケーブル・ハーネスが取り付けられているトラフを外して破棄します。
詰め物を取り出して破棄します。
次の手順では、ラック・アセンブリを設置する方法について説明します。
スライド・レール・ロックがサーバーの前にあり、取付け金具の5つの鍵穴開口部が、シャーシ側面の5つの位置決めピンに合うように取付け金具をシャーシに対して配置します。
ボール・ベアリング・トラックが前方で、適切な位置で固定されるように、スライド・レール構成部品を正しい向きに置きます。
ラックの左側または右側のいずれかから、スライド・レール構成部品の背面をラック・レールの内側に合せ、カチッという音がしてロックされるまでアセンブリを押します。
スライド・レール構成部品の前面をラック・レールの前面の外側に合せ、カチッという音がしてロックされるまでアセンブリを押します。
警告:
サーバーは重いので、サーバーの設置には少なくとも2名の作業者またはリフトが必要です。この手順を1人で実行すると、機器が損傷したり、けがをしたりする可能性があります。
ラックの上側が重くなって倒れないように、常に下から上にラックに機器を搭載してください。機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。
次の手順では、サーバーを設置する方法について説明します。
ラックにサーバーを設置する前に、サーバーの上部カバーのサービス・ラベルを参照します。
スライド・レール構成部品にサーバーをはめ込みます。
スライド・レールをスライド・レール構成部品にできるだけ奥まで押し込みます。
取付け金具の後端が、機器ラックに取り付けられているスライド・レール構成部品と揃うようにサーバーの位置を決めます。
図内で引出し線で示しているのは次の部分です。
1: スライド・レールに挿入される取付け金具
2: スライド・レール開放レバー
取付け金具をスライド・レールに挿入し、取付け金具がスライド・レールのストップに接触するまでサーバーをラック内に押し込みます(約30cm(12インチ))。
両方の取付け金具のスライド・レール開放レバーを同時に押しながら、サーバーをラック内に押し込みます。
取付け金具の前面のスライド・レール・ロックがスライド・レール構成部品にかみ合って、カチッという音がするまで押し込みます。
Exadata Storage Serverの配線の説明に従って、新しいサーバーを配線します。
注意:
1人がラックへのサーバーの出入れを行い、もう1人がケーブルやCMAに目を配るというように、ラックへのサーバーの設置は2人で行うことをお薦めします。
新しいデータベース・サーバーを設置したら、既存の機器を配線する必要があります。次の手順は、ラックの新しい機器を配線する方法を示しています。手順内のイメージは、Sun Fire X4170 M2 Oracle Database Serverを示しています。
注意:
ラックの既存のケーブル接続は変更されません。
青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。
一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。
ラックの下から上に順次作業してください。上部にドングル、下部に電力ケーブルを装備したCMAを介してケーブルを配線します。
3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。
CAT5eケーブル、AC電源ケーブル、USBをサーバー背面のそれぞれのポートに接続します。ドングルの平らな面がCMA内部レールに接触していることを確認します。
ケーブル管理アーム(CMA)の緑色の金具を調整します。
CMAの図内引出し線の説明
コネクタA
前部スライド・バー
マジックテープ・ストラップ(6)
コネクタB
コネクタC
コネクタD
スライドレール・ラッチ金具(コネクタD用)
後部スライド・バー
ケーブル・カバー
ケーブル・カバー
CMAをサーバーに接続します。
CAT5eと電源ケーブルをワイヤ・クリップで配線します。
CAT5eと電源ケーブルを、曲げ半径を最小に保持しながら曲げて、CMAに通します。
CAT5eと電源ケーブルがケーブル留め具の下になるようにします。
CMAを経由してケーブルを配線し、フックとループ・ストラップの間隔が同じになるようにします。
InfiniBandまたはTwinAxケーブルの最初の曲がりがCMAに収まるように接続します。TwinAxケーブルはデータベース・サーバーへのクライアント・アクセス用です。
InfiniBandまたはTwinAxケーブルのフックとループ・スラップの間隔が同じになるようにします。
図1-12 等間隔のフック・アンド・ループ・ストラップで固定されたInfiniBandまたはTwinAxケーブル
ファイバ・コア・ケーブルを配線します。
InfiniBandケーブルをCMAの緑の留め具に通して収めます。
赤のILOMケーブルをデータベース・サーバーに接続します。
ネットワーク・ケーブルをOracle Database Serverに接続します。
InfiniBandケーブルをOracle Database ServerからSun Datacenter InfiniBand Switch 36スイッチに接続します。
オレンジ色のイーサネット・ケーブルをKVMスイッチに接続します。
赤と青のイーサネット・ケーブルをCiscoスイッチに接続します。
次に示すように、各サーバーのスライド・レールおよびCMAの動作を確認します。
注意:
この手順は、2人の作業者で実行することをお薦めします。1人がサーバーをラックの前後に動かし、もう1人がケーブルとCMAを監視します。
スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。
バインドまたはねじれがないか、接続されたケーブルを検査します。
CMAがスライド・レールから一杯まで伸びることを確認します。
次に示すように、サーバーをラック内に押し込みます。
2対のスライド・レール・ストップを解放します。
両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。最初の対のストップは各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーです。レバーにはPUSHというラベルが付いています。サーバーは、約46cm(18インチ)スライドして停止します。
ケーブルおよびCMAが引っかからずに格納されることを確認します。
両方のスライド・レール・リリース・ボタンを同時に押すか引いて、両方のスライド・レールがかみ合うまでサーバーを完全にラック内に押し込みます。2番目の対のストップは、各取付け金具の前面近くにあるスライド・レール・リリース・ボタンです。
ケーブルをまとめてストラップで固定します。まとめるInfiniBandケーブルの数は8個以下にすることをお薦めします。
ケーブルが動きにくかったり引っかかったりしていないか確認するため、サーバーをスライドアウトしてから完全に押し込んでケーブル配線を確認します。
残りのサーバーにこの手順を繰り返します。
電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。今回は施設のソケットに電力ケーブルを接続しないでください。
関連項目:
配線表の詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。
最小曲げ半径は、ケーブル管理アーム・ガイドラインの確認を参照してください。
新しいExadata Storage Serverを設置したら、既存の機器に接続する必要があります。
次の手順は、ラックの新しい機器を配線する方法を示しています。
注意:
ラックの既存のケーブル接続は変更されません。
青色のケーブルをOracle Database Serverに接続し、黒色のケーブルをExadata Storage Serverに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。
一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。一度に複数のサーバーをスライドしないでください。
ラックの下から上に順次作業してください。
3本のCAT5eケーブルまたは2本のTwinAxケーブルを配線する場合は、長めのフックとループ・ストラップが必要です。
CMAをサーバーに取り付けます。
フック・アンド・ループ・ストラップを通して、各ケーブルをそれぞれのポートに挿入し、次の順番でCMAにケーブルを配線します。
電源
イーサネット
InfiniBand
CMAを通してケーブルを配線し、CMAの内側と外側の両方のカーブで、フック・アンド・ループ・ストラップを使用して固定します。
クロスバー・カバーを閉じて、ケーブルを真っ直ぐに固定します。
各サーバーのスライド・レールおよびCMAの動作を確認します。
注意:
1人がラックへのサーバーの出入れを行い、もう1人がケーブルやCMAに目を配るというように、この手順は2人で行うことをお薦めします。
スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。
バインドまたはねじれがないか、接続されたケーブルを検査します。
CMAがスライド・レールから一杯まで伸びることを確認します。
サーバーをラック内に戻します。
2対のスライド・レール・ストップを解放します。
各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーを探します。「PUSH」というラベルが付いています。
おおよそ46cm (18インチ)で止まるまで、両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。
ケーブルおよびCMAが絡まらずに格納されることを確認します。
各取付け金具の前面近くにあるスライド・レール開放ボタンを探します。
両方のスライド・レール開放ボタンを同時に押して、両方のスライド・レールがかみ合うまでサーバーを完全にラック内にスライドさせます。
ケーブルをまとめてストラップで固定します。InfiniBandケーブルは8本以下の束にすることをお薦めします。
各サーバーを引き出し、完全に元に戻して、ケーブルが絡まったり引っかかったりしていないことを確認します。
すべてのサーバーにこの手順を繰り返します。
電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。まだ、施設のソケットに電力ケーブルを接続しないでください。
次の手順は、新しい機器の設置後にラックを閉じる方法を示しています。
次に示すように、ラックの前部ドアと後部ドアを元に戻します。
ドアを取り出して、ドア・ヒンジに慎重に置きます。
前部ドアと後部ドアの接地ストラップをフレームに接続します。
ドアを閉じます。
(オプション)ドアをロックします。鍵は発送キットにあります。
(オプション)次に示すように、アップグレード用に取り外されていた場合はサイド・パネルを元に戻します。
各サイド・パネルを持ち上げて、ラックの側面に配置します。ラックの上部で、サイド・パネルの重量を支えます。パネル留具とラック・フレームの溝が整列していることを確認します。
サイド・パネルの取外し工具を使用して、各サイド・パネル留具を時計回りに1/4回転します。パネル・ロック付近の留具を時計回りに回転します。サイド・パネルごとに10個の留具があります。
(オプション)各サイド・パネルをロックします。鍵は発送キットにあります。ロックはサイド・パネル中央の下部にあります。
接地ストラップをサイド・パネルに接続します。
ラックを閉じた後、新しいハードウェアの構成に進み、新しいハードウェアを構成します。
別のラック追加によるOracle Exadata Database Machineの拡張では、ラックの配線と構成を一緒に行います。ラックは停止時間なしで配線できます。配線中は、次の点に注意してください。
ラック配線中にパフォーマンスが低下します。このパフォーマンスの低下は、ネットワーク帯域幅が小さくなったことと、ケーブルを抜いた時のパケット損失によるデータ再送信によるものです。
リーフ・スイッチを1つオフにする必要があるため、高可用性環境にはなりません。トラフィックはすべて残りのリーフ・スイッチ経由で送信されます。
既存のラックのみが操作可能で、追加する新しいラックはすべて停止します。
システム上で実行中のソフトウェアにはInfiniBandの再起動関連の問題はありません。
Oracle Exadata Database Machineハーフ・ラックには、3つのInfiniBandスイッチが設置済であることを前提とします。
新しいラックには配線前に拡張システムに移行される適切なIPアドレスが構成されており、重複するIPアドレスはありません。
既存のスパイン・スイッチは、配線手順中は優先度10に設定されます。この設定により、スパイン・スイッチにはファブリック内の他のスイッチより高い優先度が付与され、配線中に新しいサブネット・マネージャ・マスターが設定されるときは常に最初にサブネット・マネージャ・マスター・ロールとなります。
次の各項では、別のラックでOracle Exadata Database Machineを拡張する方法について説明します。
次の手順は、2ラックの配線方法を示しています。この手順では、相互に隣接するラックを仮定します。この手順では、既存のラックはR1で、新しいラックはR2です。
次のように、スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
アクティブなシステムで任意のInfiniBandスイッチにログインします。
getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。実行中でない場合、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』の手順を実行します。
スパイン・スイッチにログインします。
disablesmコマンドを使用して、サブネット・マネージャを停止します。
setsmpriority 10コマンドを使用して優先度を10に設定します。
enablesmコマンドを使用して、サブネット・マネージャを再起動します。
手順1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
新しいラックが既存ラックの近くにあることを確認します。InfiniBandケーブルは各ラックのサーバーまで届く必要があります。
新しいラック(R2)を完全に停止します。
2ラック配線に従って、2台のリーフ・スイッチ R2 IB2とR2 IB3を新しいラック内で配線します。新しいラックR2内の(既存ラックR1ではありません)リーフ・スイッチとスパイン・スイッチ間の2つの接続および各リーフ・スイッチ間の7つの既存のスイッチの相互接続を解除する必要があります。
すべてのデータベース・ノードおよびストレージ・セルで両方のInfiniBandインタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。
リーフ・スイッチR1 IB2の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのInfiniBandトラフィックがR1 IB3にフェイルオーバーされます。
R1 IB2とR1 IB3間の7つすべてのスイッチ間リンクを解除し、R1 IB2とスパイン・スイッチR1 IB1の間の1つの接続も解除します。
2ラック配線に従って、リーフ・スイッチR1 IB2を配線します。
リーフ・スイッチR1 IB2の電源をオンにします。
R1 IB2が完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。
すべてのデータベース・ノードおよびストレージ・セルで両方のInfiniBandインタフェースが起動していることを確認します。各ノードでibstatコマンドを実行し、両方のインタフェースが起動しているかどうかを確認できます。
リーフ・スイッチR1 IB3の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのInfiniBandトラフィックがR1 IB2にフェイルオーバーされます。
R1 IB3とスパイン・スイッチR1 IB1間の1つの接続を解除します。
2ラック配線に従って、リーフ・スイッチR1 IB3を配線します。
リーフ・スイッチR1 IB3の電源をオンにします。
R1 IB3が完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。3つのスイッチ、R1 IB1、R1 IB2およびR1 IB3が出力表示されます。
R2のすべてのInfiniBandスイッチの電源をオンにします。
スイッチが完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。6つのスイッチ、R1 IB1、R1 IB2、R1 IB3、R2 IB1、R2 IB2およびR2 IB3が出力表示されます。
任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。
R2のすべてのサーバーの電源をオンにします。
スパイン・スイッチR1 IB1にログインし、次のように優先度を8に下げます。
disablesmコマンドを使用して、サブネット・マネージャを停止します。
setsmpriority 8コマンドを使用して優先度を8に設定します。
enablesmコマンドを使用して、サブネット・マネージャを再起動します。
スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
ラックを配線した後、新しいハードウェアの構成に進み、ラックを構成します。
次の手順は、複数のラックの配線方法を示しています。この手順では、相互に隣接するラックを仮定します。この手順では、既存のラックはR1、R2、...Rnで、新しいラックはRn+1で、サブネット・マネージャ・マスターはR1 IB1で実行中です。
次のように、スパイン・スイッチで現在アクティブなサブネット・マネージャ・マスターの優先度を10に設定します。
アクティブなシステムで任意のInfiniBandスイッチにログインします。
getmasterコマンドを使用して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であるかどうかを確認します。実行中でない場合、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』の手順を実行します。
スパイン・スイッチにログインします。
disablesmコマンドを使用して、サブネット・マネージャを停止します。
setsmpriority 10コマンドを使用して優先度を10に設定します。
enablesmコマンドを使用して、サブネット・マネージャを再起動します。
手順1.bを繰り返して、スパイン・スイッチでサブネット・マネージャ・マスターが実行中であることを確認します。
新しいラックが既存ラックの近くにあることを確認します。InfiniBandケーブルは各ラックのサーバーまで届く必要があります。
新しいラック(Rn+1)を完全に停止します。
マルチラック配線表の該当する表に従って、新しいラックでリーフ・スイッチを配線します。たとえば、ラックRn+1がR4の場合は、表2-7を使用します。
元の各ラックに対して次の手順を実行します。
リーフ・スイッチRx IB2の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのInfiniBandトラフィックがRx IB3にフェイルオーバーされます。
マルチラック配線表に従って、リーフ・スイッチRx IB2を配線します。
リーフ・スイッチRx IB2の電源をオンにします。
Rx IB2が完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。
リーフ・スイッチRx IB3の電源をオフにします。すべてのデータベース・サーバーおよびExadata Storage ServerのInfiniBandトラフィックがRx IB2にフェイルオーバーされます。
マルチラック配線表に従って、リーフ・スイッチRx IB3を配線します。
リーフ・スイッチRx IB3の電源をオンにします。
Rx IB3が完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...RnのIB1、IB2およびIB3に対してn*3スイッチが出力表示されます。
マルチラック配線表に従って、すべてのラックが再配線されました。
Rn+1のすべてのInfiniBandスイッチの電源をオンにします。
スイッチが完全に操作状態になるまで3分待ちます。
スイッチをチェックするには、スイッチにログインしてibswitchesコマンドを実行します。ラックR1、R2、...Rn+1のIB1、IB2およびIB3に対して(n+1)*3スイッチが出力表示されます。
任意のスイッチからgetmasterコマンドを実行し、R1 IB1でサブネット・マネージャ・マスターが実行中であることを確認します。
Rn+1のすべてのサーバーの電源をオンにします。
スパイン・スイッチR1 IB1にログインし、次のように優先度を8に下げます。
disablesmコマンドを使用して、サブネット・マネージャを停止します。
setsmpriority 8コマンドを使用して優先度を8に設定します。
enablesmコマンドを使用して、サブネット・マネージャを再起動します。
任意のスイッチからgetmasterコマンドを実行し、スパイン・スイッチのいずれかでサブネット・マネージャ・マスターが実行中であることを確認します。
任意のスイッチから次のコマンドを使用して、各スパイン・スイッチでサブネット・マネージャが実行中であることを確認します。
ibdiagnet -r
各スパイン・スイッチは、出力のファブリックSMの優先度状態の概要セクションで実行中と表示されます。スパイン・スイッチが実行中でない場合は、スイッチにログインし、enablesmコマンドを使用してサブネット・マネージャを有効化します。
現在、4つ以上のラックがある場合は、各ラックのリーフ・スイッチにログインし、disablesmコマンドを使用してサブネット・マネージャを無効化します。
この項では、新しいハードウェアの構成に必要な次の作業について説明します。
注意:
新しいラックおよび既存のラックは、オペレーティング・システムを含め、Oracle Exadata Database ServerおよびOracle Exadata Storage Serverで同じパッチ・レベルにする必要があります。詳細は、リリースおよびパッチ・レベルの確認を参照してください。Oracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)の以前のリリースでは、結合InfiniBandおよび結合イーサネット・クライアント・ネットワークの名前として、BOND0およびBOND1をそれぞれ使用していました。現在のリリースでは、BONDIB0およびBONDETH0が結合InfiniBandおよび結合イーサネット・クライアント・ネットワークに使用されます。
新しいサーバーを既存のOracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)に追加する場合、データベース・サーバーでは結合構成に同じ名前を使用する必要があります。既存のサーバー・インタフェース名に合せて、新しいデータベース・サーバーを変更したり、新しいサーバーに合せて、既存のサーバー・インタフェース名およびOracle Cluster Registry (OCR)構成を変更できます。
インタフェース名の変更後、次の手順を実行します。
InfiniBandネットワークのエントリが一致するように、データベース・サーバーの/etc/sysctl.confファイルのエントリを編集します。編集前のファイル・エントリの例は、次のとおりです。片方のセットのエントリは、もう一方のセットと一致するように変更する必要があります。
Found in X2 node net.ipv4.neigh.bondib0.locktime = 0 net.ipv4.conf.bondib0.arp_ignore = 1 net.ipv4.conf.bondib0.arp_accept = 1 net.ipv4.neigh.bondib0.base_reachable_time_ms = 10000 net.ipv4.neigh.bondib0.delay_first_probe_time = 1 Found in V2 node net.ipv4.conf.bond0.arp_accept=1 net.ipv4.neigh.bond0.base_reachable_time_ms=10000 net.ipv4.neigh.bond0.delay_first_probe_time=1
sysctl.confファイルに変更を保存します。
新しい名前がOCRの現在の名前と異なる場合、OCR構成を変更するには、oifcfgユーティリティを使用します。Oracle Exadata Storage Serverのインタフェース名は変更する必要はありません。
次のように、新しいハードウェアの構成を続行します。
ハードウェアが新しいサーバーの場合は、新しいサーバーの設定に進んでサーバーを構成します。
ハードウェアが新しいラックの場合は、新しいラックの設定に進んでラックを構成します。
関連項目:
InfiniBandネットワーク情報の変更に関する詳細は、Oracle Exadata Database Machineメンテナンス・ガイドを参照してください。Oracle Exadata Database Machineクオータ・ラックまたはOracle Exadata Database Machineハーフ・ラックを拡張する場合は、新しいサーバーを構成する必要があります。
新しいサーバーは構成情報を格納しないため、Oracle Enterprise Manager Cloud Controlを使用してサーバーを構成することはできません。Oracle Exadata Deployment Assistant (OEDA)を使用するか手動でサーバーを構成します。
OEDAを使用したサーバーの構成
注意:
OEDAを使用してサーバーを構成するには、新しいサーバー情報をOEDAに入力し、構成ファイルを生成する必要があります。My Oracle Supportノート888828.1に記載されている最新リリースのOEDAをダウンロードします。
OEDAに新しいサーバー情報を入力します。既存のラックの情報は含めないでください。
注意:
Oracle Exadata Database Machine X4-2より前の、データベース・サーバーが収容されている既存のラックを拡張する場合、新しいデータベース・サーバーがアクティブ-パッシブによる結合インタフェースで構成されるように、InfiniBandネットワークのアクティブ・ボンディング・オプションの選択を解除してください。
アクティブ-アクティブ・ボンディングで既存のOracle Exadata Database Machine X4-2以降を拡張する場合、アクティブ・ボンディング・オプションを選択して、アクティブ-アクティブ・ボンディングに新しいデータベース・サーバーを構成します。
構成ファイルを生成します。
次のようにサーバーを準備して、新しいサーバーの最初のデータベース・サーバーから開始します。
Oracle Exadata System Softwareユーザーズ・ガイドのサーバーの準備の説明に従って、サーバーを構成します。
注意:
OEDAでは、Oracle Exadata Storage Serverのパフォーマンス・レベルをチェックするため、CellCLI
CALIBRATEコマンドを同時に使用してチェックする必要はありません。Oracle Exadata System Softwareユーザーズ・ガイドのCellCLIを使用したセル、セル・ディスクおよびグリッド・ディスクの構成の説明に従って、セル・ディスクおよびグリッド・ディスクを作成します。
Oracle Exadata System Softwareユーザーズ・ガイドのフラッシュ・キャッシュおよびフラッシュ・グリッド・ディスクの作成の説明に従って、フラッシュ・キャッシュおよびフラッシュ・ログを作成します。
注意:
フラッシュ・キャッシュを作成する場合、ライトバック・フラッシュ・キャッシュを有効にします。InfiniBandおよび結合クライアント・イーサネット・インタフェース名が新しいデータベース・サーバーと既存のデータベース・サーバーで同じであることを確認します。
BOND0など、以前の形式と同じ結合名を新しいデータベース・サーバーに使用する場合は、/opt/oracle.cellos/cell.confファイルを更新して、正しい結合名を反映します。
注意:
既存のサーバーでBONDIB0をInfiniBand結合名として使用する場合、この手順は省略できます。OEDAを最初の新しいデータベース・サーバーにインストールします。
関連項目:
OEDAの詳細は、My Oracle Supportノート888828.1を参照してください。構成ファイルを、新しいサーバーの最初のデータベース・サーバーの/opt/oracle.SupportTools/onecommandディレクトリにコピーします。これは、手順2で完了した情報です。
OEDAをCreateGridDiskの手順まで実行し(ただし、CreateGridDiskの手順は含めない)、SetupCellEmailAlertsの手順とOracle Auto Service Request (ASR)の構成手順を実行します。
注意:
OEDAのValidateEnvの手順により、ファイルpXX.zipがないことを示すエラー・メッセージが表示される場合があります。ファイルはこの手順には使用されないため、これは予想される動作です。エラー・メッセージは無視してかまいません。
キャパシティ・オンデマンドを使用する場合、OEDAにSetUpCapacityOnDemandの手順があります。この手順でresourcecontrolコマンドを使用して、コアを正しく設定します。
Oracle Exadata System Softwareユーザーズ・ガイドのCellCLIを使用したセル、セル・ディスクおよびグリッド・ディスクの構成の説明に従って、ストレージ・サーバー、セル・ディスクおよびグリッド・ディスクを構成します。
注意:
現在の構成情報の取得の説明に従い、既存のシステムから収集したデータを使用して、グリッド・ディスクの名前およびサイズを確認します。各データベース・サーバーでreclaimdisks.shを実行します。
/opt/oracle.SupportTools/reclaimdisks.sh -free -reclaimコマンドでは、未選択のデプロイメント・タイプ用に予約されたディスク領域が再利用されます。このコマンドの所要時間は5分未満です。システムはRAID5で構成されたディスクでイメージ化されます。RAID再構築はreclaimdisks.shプロセスに含まれなくなりました。
この手順はスキップしないでください。この手順をスキップすると、未使用の領域をreclaimdisks.shで再利用できなくなります。
新しいサーバーと既存のサーバーで時刻が同じであることを確認します。このチェックはストレージ・サーバーおよびデータベース・サーバーで実行されます。
新しいサーバーと既存のサーバーでNTP設定が同じであることを確認します。このチェックはストレージ・サーバーおよびデータベース・サーバーで実行されます。
既存のサーバーにあわせて、新しいサーバーでHugePagesを構成します。
新しいデータベース・サーバーの/etc/security/limits.confファイルの値が既存のデータベース・サーバーに一致していることを確認します。
ユーザー等価の設定に進み、ハードウェアの構成を続行します。
サーバーの手動構成
Oracle Exadata System Softwareユーザーズ・ガイドのサーバーの準備に記載されている手順を使用して、サーバーを準備します。
InfiniBandおよび結合クライアント・イーサネット・インタフェース名が新しいデータベース・サーバーと既存のデータベース・サーバーで同じであることを確認します。
Oracle Exadata System Softwareユーザーズ・ガイドのCellCLIを使用したセル、セル・ディスクおよびグリッド・ディスクの構成の説明に従って、ストレージ・サーバー、セル・ディスクおよびグリッド・ディスクを構成します。
Oracle Exadata System Softwareユーザーズ・ガイドのデータベース・サーバー・ホストの構成ファイルの設定の説明に従って、データベース・サーバーを構成します。
各データベース・サーバーでreclaimdisks.shを実行します。
/opt/oracle.SupportTools/reclaimdisks.sh -free -reclaimコマンドでは、未選択のデプロイメント・タイプ用に予約されたディスク領域が再利用されます。このコマンドの所要時間は5分未満です。システムはRAID5で構成されたディスクでイメージ化されます。RAID再構築はreclaimdisks.shプロセスに含まれなくなりました。
この手順はスキップしないでください。この手順をスキップすると、未使用の領域をreclaimdisks.shで再利用できなくなります。
新しいサーバーと既存のサーバーで時刻が同じであることを確認します。このチェックはストレージ・サーバーおよびデータベース・サーバーで実行されます。
新しいサーバーと既存のサーバーでNTP設定が同じであることを確認します。このチェックはストレージ・サーバーおよびデータベース・サーバーで実行されます。
既存のサーバーにあわせて、新しいサーバーでHugePagesを構成します。
ユーザー等価の設定に進み、ハードウェアの構成を続行します。
新しいラックは工場で構成されます。ただし、既存のラックで使用するためにネットワークおよび構成ファイルを設定する必要があります。
Oracle Exadata Database Machineインストレーションおよび構成ガイドのExadata Storage Serverの確認の説明に従って、ストレージ・サーバーを確認します。
Oracle Exadata Database Machineインストレーションおよび構成ガイドのOracle Database Serverの確認の説明に従って、データベース・サーバーを確認します。
Oracle Exadata Database Machineインストレーションおよび構成ガイドの追加の確認および構成の実行の説明に従って、確認を実行します。
Oracle Exadata Database Machineインストレーションおよび構成ガイドのInfiniBandネットワークの確認の説明に従って、InfiniBandネットワークを確認します。
Oracle Exadata Database Machineインストレーションおよび構成ガイドのOracle Exadata Database Machineの初期エラスティック構成の実行の説明に従って、初期構成を実行します。
Oracle Exadata Database Machineインストレーションおよび構成ガイドのOracle Exadata Database MachineのOracle DatabaseおよびOracle ASMインスタンスの手動構成の説明に従って、ディスク領域を再利用します。
新しいサーバーと既存のサーバーで時刻が同じであることを確認します。このチェックはストレージ・サーバーおよびデータベース・サーバーで実行されます。
新しいサーバーと既存のサーバーでNTP設定が同じであることを確認します。このチェックはストレージ・サーバーおよびデータベース・サーバーで実行されます。
既存のサーバーにあわせて、新しいサーバーでHugePagesを構成します。
新しいデータベース・サーバーのInfiniBandおよび結合クライアント・イーサネット・インタフェース名が既存のデータベース・サーバーと一致していることを確認します。
Oracle Exadata Database Machineインストレーションおよび構成ガイドの構成情報のロードおよびソフトウェアのインストールの説明に従って、ラックを構成します。Oracle Exadata Deployment Assistant (OEDA)またはOracle Enterprise Manager Cloud Controlを使用して、ラックを構成します。
注意:
Oracle Exadata System Softwareユーザーズ・ガイドのCellCLIを使用したセル、セル・ディスクおよびグリッド・ディスクの構成の説明に従って、OEDAをCreateGridDisksの手順まで実行し、ストレージ・サーバーを構成します。
3 TBの大容量(HC)ディスクを搭載したサーバーを、2 TBのディスクを搭載した既存のサーバーに追加する場合、My Oracle Supportノート1476336.1の手順に従って、グリッド・ディスクおよびディスク・グループを適切に定義することをお薦めします。ラックの設定のこの時点では、グリッド・ディスクのみを定義する必要があります。ディスク・グループは、新しいノードでクラスタが拡張された後に作成されます。
既存のストレージ・サーバーに高パフォーマンス(HP)ディスクがあり、大容量(HC)ディスクを搭載するストレージ・サーバーを追加している場合や、既存のストレージ・サーバーにHCディスクがあり、HPディスクを搭載するストレージ・サーバーを追加している場合は、新しいディスク・グループに新しいディスクを配置する必要があります。同じディスク・グループ内にHPディスクとHCディスクを混在させることはできません。
ユーザー等価の設定に進み、ハードウェアの構成を続行します。
サーバーがオンラインになった後、ユーザー等価を構成してすべてのサーバーを含めることができます。
配線後ユーティリティを実行する前に、この手順を実行する必要があります。
SSHを使用して新しい各サーバーに手動でログインし、パスワードが正しく各サーバーにログインできることを確認します。
すべてのサーバーのdbs_groupおよびcell_groupファイルを変更して、すべてのサーバーを含めます。
最初の既存のデータベース・サーバーに新しいディレクトリを作成します。
# mkdir /root/new_group_files # mkdir /root/old_group_files # mkdir /root/group_files
新しいサーバーのグループ・ファイルを/root/new_group_filesディレクトリにコピーします。
既存のサーバーのグループ・ファイルを/root/old_group_filesディレクトリにコピーします。
既存のサーバーのグループ・ファイルを/root/group_filesディレクトリにコピーします。
グループ・ファイルを更新して既存のサーバーと新しいサーバーを含めます。
cat /root/new_group_files/dbs_group >> /root/group_files/dbs_group cat /root/new_group_files/cell_group >> /root/group_files/cell_group cat /root/new_group_files/all_group >> /root/group_files/all_group cat /root/new_group_files/dbs_ib_group >> /root/group_files/dbs_ib_group cat /root/new_group_files/cell_ib_group >> /root/group_files/cell_ib_group cat /root/new_group_files/all_ib_group >> /root/group_files/all_ib_group
更新したグループ・ファイルをデフォルトのグループ・ファイルにします。更新したグループ・ファイルには、既存のサーバーと新しいサーバーが含まれます。
cp /root/group_files/* /root cp /root/group_files/* /opt/oracle.SupportTools/onecommand
更新したグループ・ファイルのコピーをrootユーザー、oracleユーザーおよびOracle Grid Infrastructureユーザーのホーム・ディレクトリに置き、ファイルがそれぞれのユーザーに所有されていることを確認します。
既存および新しいデータベース・サーバーの/etc/hostsファイルを変更して、データベース・サーバーおよびストレージ・サーバーの既存のInfiniBand IPアドレスを含めます。既存および新しいpriv_ib_hostsファイルをこの手順に使用できます。
注意:
あるサーバーから別のサーバーに/etc/hostsファイルをコピーしないでください。各サーバーのファイルを編集します。 次のコマンドを使用して、既存のデータベース・サーバーのいずれかのrootユーザーとしてsetssh-Linux.shスクリプトを実行して、すべてのサーバーのユーザー等価を構成します。最初のデータベース・サーバーを使用することをお薦めします。
# /opt/oracle.SupportTools/onecommand/setssh-Linux.sh -s -c N -h \ /path_to_file/all_group -n N
前述のコマンドのpath_to_fileは、既存および新しいサーバーの名前が含まれるall_groupファイルのディレクトリ・パスです。
注意:
Oracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)システムの場合、setssh.shコマンドを使用して、ユーザー等価を構成します。
setssh.shコマンドのコマンドライン・オプションは、setssh-Linux.shコマンドと異なります。正しい構文を表示するには、パラメータを指定せずにsetssh.shを実行します。
InfiniBandを使用して、既知のホストを追加します。この手順を実行するには、すべてのデータベース・サーバーがInfiniBandインタフェース経由でアクセスできる必要があります。
# /opt/oracle.SupportTools/onecommand/setssh-Linux.sh -s -c N -h \ /path_to_file/all_ib_group -n N -p password
等価が構成されていることを確認します。
# dcli -g all_group -l root date # dcli -g all_ib_group -l root date
次のコマンドを使用して、既存のデータベース・サーバーのいずれかでoracleユーザーとしてsetssh-Linux.shスクリプトを実行し、すべてのサーバーのユーザー等価を構成します。最初のデータベース・サーバーを使用することをお薦めします。Oracle Grid Infrastructureソフトウェアの別の所有者が存在する場合、所有者ごとに同様のコマンドを実行します。
$ /opt/oracle.SupportTools/onecommand/setssh-Linux.sh -s -c N -h \
/path_to_file/dbs_group -n N
前述のコマンドのpath_to_fileは、dbs_groupファイルのディレクトリ・パスです。ファイルには、既存のサーバーと新しいサーバーの名前が含まれます。
注意:
Oracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)システムの場合、setssh.shコマンドを使用して、ユーザー等価を構成します。
この手順のために、setssh-Linux.shファイルの権限を一時的に755に変更することが必要になる場合があります。この手順が完了したら、権限を元の設定に戻します。
InfiniBandを使用して、既知のホストを追加します。この手順を実行するには、すべてのデータベース・サーバーがInfiniBandインタフェース経由でアクセスできる必要があります。
$ /opt/oracle.SupportTools/onecommand/setssh-Linux.sh -s -c N -h \ /root/group_files/dbs_ib_group -n N
等価が構成されていることを確認します。
$ dcli -g dbs_group -l oracle date $ dcli -g dbs_ib_group -l oracle date
別のOracle Grid Infrastructureユーザーが存在する場合は、そのユーザーにも前述のコマンドを実行し、oracleユーザーのかわりにgridユーザー名を使用します。
次の手順では、追加のラックの配線でクラスタが停止した場合に、クラスタを起動する方法について説明します。
注意:
1台のサーバーを起動し、完全に起動させてから残りのサーバーでOracle Clusterwareを起動することをお薦めします。
Oracle Exadata Database Machineハーフ・ラックからフル・ラックに拡張する場合、またはクオータ・ラックからハーフ・ラックまたはフル・ラックに拡張する場合は、クラスタを停止する必要はありません。
元のクラスタのrootユーザーとしてログインします。
クラスタのサーバーを1台起動します。
# Grid_home/grid/bin/crsctl start cluster
サーバーのステータスを確認します。
Grid_home/grid/bin/crsctl stat res -t
最初のサーバーが起動したと表示されるまで、前述のコマンドを実行します。
クラスタ内の他のサーバーを起動します。
# Grid_home/grid/bin/crsctl start cluster -all
サーバーのステータスを確認します。
Grid_home/grid/bin/crsctl stat res -t
すべてのサーバーを起動してクラスタに結合するには、数分かかる場合があります。
新しいサーバーをクラスタに追加する前または後に、グリッド・ディスクをOracle ASMディスク・グループに追加できます。新しいサーバーを追加する前にグリッド・ディスクを追加する利点は、リバランス操作を早めに開始できることです。新しいサーバーを追加した後にグリッド・ディスクを追加する利点は、リバランス操作を新しいサーバーで実行できることであり、これにより、既存のサーバーの負荷が減少します。
次の手順は、グリッド・ディスクを既存のOracle ASMディスク・グループに追加する方法を示しています。
注意:
次の例では、新しくインストールしたストレージ・サーバーのグリッド・ディスク構成は既存のストレージ・サーバーと同じで、追加グリッド・ディスクは既存のディスク・グループに追加されることを前提とします。
現在の構成に関して収集される情報は、グリッド・ディスクの設定時に使用するようにしてください。
既存のストレージ・サーバーに高パフォーマンス(HP)ディスクがあり、大容量(HC)ディスクを搭載するストレージ・サーバーを追加している場合や、既存のストレージ・サーバーにHCディスクがあり、HPディスクを搭載するストレージ・サーバーを追加している場合は、新しいディスク・グループに新しいディスクを配置する必要があります。同じディスク・グループ内にHPディスクとHCディスクを混在させることはできません。
新しいストレージ・サーバーで、すでに使用されているストレージ・サーバーと同じバージョンのソフトウェアが実行されていることを確認します。最初のデータベース・サーバーで次のコマンドを実行します。
dcli -g dbs_group -l root "imageinfo -ver"
注意:
ストレージ・サーバーのOracle Exadata System Softwareが一致しない場合、ソフトウェアのアップグレードまたはパッチの適用を実行して、同じレベルにします。これにより、既存のサーバーまたは新しいサーバーにパッチを適用できます。詳細は、リリースおよびパッチ・レベルの確認を参照してください。すべてのデータベース・サーバーの/etc/oracle/cell/network-config/cellip.oraファイルを変更して、すべてのストレージ・サーバーの完全なリストを使用します。これを実行するには、1つのデータベース・サーバーのファイルを変更し、そのファイルを他のデータベース・サーバーにコピーします。すべてのデータベース・サーバーでcellip.oraファイルを同じにする必要があります。
Oracle Exadata Storage Server X4-2Lサーバーを追加する場合、cellip.oraファイルには、各セルにリストされている2個のIPアドレスが含まれます。2個のIPアドレスを含めるために各行を完全にコピーし、既存のクラスタのcellip.oraファイルでそのアドレスを統合します。
次に、Oracle Exadata Storage Server X4-2Lサーバーを使用してOracle Exadata Database Machine X3-2ハーフ・ラックをフル・ラックに拡張した後のcellip.oraファイルの例を示します。
cell="192.168.10.9" cell="192.168.10.10" cell="192.168.10.11" cell="192.168.10.12" cell="192.168.10.13" cell="192.168.10.14" cell="192.168.10.15" cell="192.168.10.17;192.168.10.18" cell="192.168.10.19;192.168.10.20" cell="192.168.10.21;192.168.10.22" cell="192.168.10.23;192.168.10.24" cell="192.168.10.25;192.168.10.26" cell="192.168.10.27;192.168.10.28" cell="192.168.10.29;192.168.10.30"
この例では、1行目から7行目が元のサーバー用で、8行目から14行目が新しいサーバー用です。Oracle Exadata Storage Server X4-2Lサーバーには、それぞれ2個のIPアドレスがあります。
更新されたcellip.oraファイルがすべてのデータベース・サーバーに格納されていることを確認します。更新されたファイルには、すべてのストレージ・サーバーの完全なリストが含まれる必要があります。
元のデータベース・サーバーのいずれかで、すべてのグリッド・ディスクのアクセスを確認します。rootユーザーまたはoracleユーザーとして、コマンドを実行できます。
$ Grid_home/grid/bin/kfod disks=all dscvgroup=true
コマンドの出力結果には、元のストレージ・サーバーと新しいストレージ・サーバーからのグリッド・ディスクが表示されます。
次のようなコマンドを使用して、新しいストレージ・サーバーから既存のディスク・グループにグリッド・ディスクを追加します。高パフォーマンス・ディスクと大容量ディスクの両方を同じディスク・グループに指定することはできません。
$ .oraenv ORACLE_SID = [oracle] ? +ASM1 The Oracle base for ORACLE_HOME=/u01/app/11.2.0/grid is /u01/app/oracle $ sqlplus / as sysasm SQL> ALTER DISKGROUP data ADD DISK 2> 'o/*/DATA*dm02*' 3> rebalance power 11;
前述のコマンドでは、フル・ラックが既存のOracle Exadata Rackに追加されました。新しいラックの接頭辞はdm02、グリッド・ディスクの接頭辞はDATAです。
次の例では、Oracle Exadata Database Machineハーフ・ラックがフル・ラックにアップグレードされています。元のシステムのセル・ホスト名には、dm01cel01からdm01cel07の名前が付けられています。新しいセル・ホスト名には、dm01cel08からdm01cel14の名前が付けられています。
$ .oraenv ORACLE_SID = [oracle] ? +ASM1 The Oracle base for ORACLE_HOME=/u01/app/11.2.0/grid is /u01/app/oracle $ SQLPLUS / AS sysasm SQL> ALTER DISKGROUP data ADD DISK 2> 'o/*/DATA*dm01cel08*', 3> 'o/*/DATA*dm01cel09*', 4> 'o/*/DATA*dm01cel10*', 5> 'o/*/DATA*dm01cel11*', 6> 'o/*/DATA*dm01cel12*', 7> 'o/*/DATA*dm01cel13*', 8> 'o/*/DATA*dm01cel14*' 9> rebalance power 11;
注意:
システムでOracle Database 11gリリース2 (11.2.0.1)を実行している場合、できるだけ迅速にリバランスが完了するように指数制限値に11を使用することをお薦めします。システムでOracle Database 11gリリース2 (11.2.0.2)を実行している場合、指数制限値に32を使用することをお薦めします。指数制限は、リバランス中に実行されているアプリケーションに影響を与えます。
異なるOracle ASMインスタンスからALTER DISKGROUPコマンドが実行されていることを確認します。これにより、複数のディスク・グループのリバランス操作をパラレルに実行できます。
ディスクをSYSTEMDGまたはDBFS_DGを含むすべてのディスク・グループに追加します。
3 TBの大容量(HC)ディスクを搭載したサーバーを、2 TBのディスクを搭載した既存のサーバーに追加する場合、My Oracle Supportノート1476336.1の手順に従って、グリッド・ディスクおよびディスク・グループを適切に定義することをお薦めします。ラックの設定のこの時点では、新しいグリッド・ディスクは定義されますが、ディスク・グループに配置される必要があります。My Oracle Supportノート1476336.1の手順を参照してください。
既存のストレージ・サーバーに高パフォーマンス(HP)ディスクがあり、大容量(HC)ディスクを搭載するストレージ・サーバーを追加している場合や、既存のストレージ・サーバーにHCディスクがあり、HPディスクを搭載するストレージ・サーバーを追加している場合は、新しいディスク・グループに新しいディスクを配置する必要があります。同じディスク・グループ内にHPディスクとHCディスクを混在させることはできません。
Oracle ASMインスタンスで次のような問合せを使用して、リバランス操作のステータスを監視します。
SQL> SELECT * FROM GV$ASM_OPERATION WHERE STATE = 'RUN';
リバランスの進行中に、残りの作業を実行できます。
関連項目:
既存のグリッド・ディスクの詳細は、現在の構成情報の取得を参照してください。
グリッド・ディスクの構成の詳細は、新しいサーバーの設定を参照してください。
ASM_POWER_LIMITパラメータの詳細は、Oracle Automatic Storage Management管理者ガイドを参照してください。
次の手順では、サーバーをクラスタに追加する方法について説明します。
Oracle VMクラスタにノードを追加するには、Oracle Exadata Database Machineメンテナンス・ガイドのExadataでのOracle VM RACクラスタの拡張を参照してください。
注意:
Oracle Clusterwareで、Oracle GoldenGateなど、新しいノードにまだインストールされていない追加サービスを管理する場合は次の点に注意してください。
addNode.shスクリプトを実行する前に、既存のノードでそれらのサービスを停止する必要がある場合があります。
これらの追加サービスを実行する新しいデータベース・サーバーに任意のユーザーとグループを作成する必要があります。
Oracle Clusterwareが新しいノードでサービスを開始しないように、それらのサービスの自動起動を無効にする必要がある場合があります。
注意:
既存のノードと新しいノード間でファイルを転送する際に問題が発生するのを防ぐため、SSH等価を設定する必要があります。詳細は、「ExadataでのOracle VM Oracle RACクラスタの拡張」の手順4を参照してください。すべてのデータベース・サーバーの/etc/oracle/cell/network-config/*.oraファイルを、正しく一貫性があるものにします。cellip.oraファイルのすべてのデータベース・サーバーには、より古いデータベース・サーバーとストレージ・サーバー、より新しいデータベース・サーバーとストレージ・サーバーを含めます。
ORACLE_BASEおよびdiag宛先ディレクトリがOracle Grid Infrastructure宛先ホームに作成されていることを確認します。
次に、Oracle Grid Infrastructure 11gの例を示します。
# dcli -g /root/new_group_files/dbs_group -l root mkdir -p \ /u01/app/11.2.0/grid /u01/app/oraInventory /u01/app/grid/diag # dcli -g /root/new_group_files/dbs_group -l root chown -R grid:oinstall \ /u01/app/11.2.0 /u01/app/oraInventory /u01/app/grid # dcli -g /root/new_group_files/dbs_group -l root chmod -R 770 \ /u01/app/oraInventory # dcli -g /root/new_group_files/dbs_group -l root chmod -R 755 \ /u01/app/11.2.0 /u01/app/11.2.0/grid
次に、Oracle Grid Infrastructure 12cの例を示します。
# cd / # rm -rf /u01/app/* # mkdir -p /u01/app/12.1.0.2/grid # mkdir -p /u01/app/oracle/product/12.1.0.2/dbhome_1 # chown -R oracle:oinstall /u01
inventoryディレクトリおよびグリッド・インフラストラクチャ・ホーム・ディレクトリが作成され、適切な権限があることを確認します。ディレクトリの所有者はグリッド・ユーザーでOINSTALLグループである必要があります。inventoryディレクトリには770個の権限、Oracle Grid Infrastructureホーム・ディレクトリには755個の権限があります。
Oracle Grid Infrastructure 12c以降を実行している場合は、次のようにします。
oraInventoryが/u01/app内に存在していないことを確認します。
/etc/oraInst.locが存在していないことを確認します。
既存のノードと同じユーザー識別子およびグループ識別子を使用して、新しいノードにユーザーおよびグループを作成します。
注意:
以前にOracle Exadata Deployment Assistant (OEDA)を使用したときに、これらのユーザーおよびグループが作成されています。それらが存在し、UID値とGID値が適切なことを確認します。グリッド・ユーザーとして、既存のホストにログインします。
Oracle Cluster Registry (OCR)のバックアップが存在することを確認します。
ocrconfig -showbackup
次のようなコマンドを使用して、データベース・サーバーをクラスタに追加できることを確認します。
$ cluvfy stage -post hwos -n \
dm02db01,dm02db02,dm02db03,dm02db04,dm02db05,dm02db06,dm02db07,dm02db08 \
-verbose
$ cluvfy comp peer -refnode dm01db01 -n \
dm02db01,dm02db02,dm02db03,dm02db04,dm02db05,dm02db06,dm02db07,dm02db08 \
-orainv oinstall -osdba dba | grep -B 3 -A 2 mismatched
$ cluvfy stage -pre nodeadd -n \
dm02db01,dm02db02,dm02db03,dm02db04,dm02db05,dm02db06,dm02db07,dm02db08 \
-verbose -fixup -fixupdir /home/grid_owner_name/fixup.d
前述のコマンドで、gi_owner_nameはOracle Grid Infrastructureソフトウェアの所有者の名前、dm02db01からdb02db08は、新しいデータベース・サーバー、refnodeは既存のデータベース・サーバーです。
注意:
2番目と3番目のコマンドでは、コマンドが正常に完了した場合は出力が表示されません。
投票ディスクに関するエラーが次のように表示される場合があります。
ERROR:
PRVF-5449 : Check of Voting Disk location "o/192.168.73.102/ \
DATA_CD_00_dm01cel07(o/192.168.73.102/DATA_CD_00_dm01cel07)" \
failed on the following nodes:
Check failed on nodes:
dm01db01
dm01db01:No such file or directory
…
PRVF-5431 : Oracle Cluster Voting Disk configuration check
そのようなエラーが発生した場合:
- Oracle Grid Infrastructure 11gを実行している場合、環境変数を次のように設定します。
$ export IGNORE_PREADDNODE_CHECKS=Y
環境変数を設定しても、cluvfyコマンドの実行時のエラーを防止できませんが、addNode.shスクリプトは正常に完了できます。
- Oracle Grid Infrastructure 12c以降を実行している場合、addnodeパラメータの-ignoreSysPrereqs -ignorePrereqを使用します。
Oracle Grid Infrastructure 12c以降では、addnodeはIGNORE_PREADDNODE_CHECKS環境変数を使用しません。
データベース・サーバーが特定のイメージでインストールされ、後で以降のイメージにパッチが適用された場合、一部のオペレーティング・システム・ライブラリはcluvfyコマンドで期待されるバージョンよりも古い場合があります。この場合、cluvfyコマンドは失敗し、addNode.shスクリプトも失敗する可能性があります。
バージョンでの相違が小さな場合は、以前のバージョンを使用できます。たとえば、glibc-common-2.5-81.el5_8.2とglibc-common-2.5-49です。バージョンは異なりますが、両方ともバージョン2.5であるため相違は小さく、違いを許容できます。
この問題を回避するために、addNode.shスクリプトを実行する前に環境変数IGNORE_PREADDNODE_CHECKS=Yを設定するか、addnodeパラメータの-ignoreSysPrereqs -ignorePrereqをaddNode.shスクリプトで使用します。
既存のサーバーのOracle Grid Infrastructureホーム内のすべてのディレクトリに実行可能なビット・セットがあることを確認します。次のコマンドをrootユーザーとして実行します。
find /u01/app/11.2.0/grid -type d -user root ! -perm /u+x ! \
-perm /g+x ! -perm o+x
find /u01/app/11.2.0/grid -type d -user grid_owner_name ! -perm /u+x ! \
-perm /g+x ! -perm o+x
前述のコマンドのgrid_owner_nameはOracle Grid Infrastructureソフトウェアの所有者の名前で、/u01/app/11.2.0/gridはOracle Grid Infrastructureホーム・ディレクトリです。
ディレクトリが表示される場合、グループおよびその他の権限が+xであることを確認します。Grid_home/network/admin/samples, $GI_HOME/crf/admin/run/crfmondおよびGrid_home/crf/admin/run/crflogdディレクトリには、+x権限セットが必要な場合があります。
Oracle Grid Infrastructure 12c以降を実行している場合、次のようなコマンドを実行します。
# chmod -R u+x /u01/app/12.1.0.2/grid/gpnp/gpnp_bcp* # chmod -R o+rx /u01/app/12.1.0.2/grid/gpnp/gpnp_bcp* # chmod o+r /u01/app/12.1.0.2/grid/bin/oradaemonagent /u01/app/12.1.0.2/grid/srvm/admin/logging.properties # chmod a+r /u01/app/oracle/product/12.1.0.2/dbhome_1/bin/*O # chmod a+r /u01/app/oracle/product/12.1.0.2/dbhome_1/bin/*0 # chown -f gi_owner_name:dba /u01/app/12.1.0.2/grid/OPatch/ocm/bin/emocmrsp
Grid_home/network/admin/samplesディレクトリは、+x権限が必要です:
chmod -R a+x /u01/app/12.1.0.2/grid/network/admin/samples
次のコマンドを実行します。Oracle Grid Infrastructureホームはグリッド・ユーザーに所有されているとします。
$ dcli -g old_db_nodes -l root chown -f grid_owner_name:dba \
/u01/app/11.2.0/grid/OPatch/ocm/bin/emocmrsp
この手順は、Oracle Grid Infrastructure 11gを実行している場合にのみ必要です。Oracle Grid Infrastructure 12cでは、値はコマンドラインで指定されるため、レスポンス・ファイルは必要ありません。
レスポンス・ファイルadd-cluster-nodes.rspをグリッド・ユーザーとして作成し、次のような新しいサーバーを追加します。
RESPONSEFILE_VERSION=2.2.1.0.0
CLUSTER_NEW_NODES={dm02db01,dm02db02, \
dm02db03,dm02db04,dm02db05,dm02db06,dm02db07,dm02db08}
CLUSTER_NEW_VIRTUAL_HOSTNAMES={dm0201-vip,dm0202-vip,dm0203-vip,dm0204-vip, \
dm0205-vip,dm0206-vip,dm0207-vip,dm0208-vip}
前述のファイルでは、ホスト名dm02db01からdb02db08は、クラスタに追加されている新しいノードです。
注意:
サーバー名を示す複数の行は、連続した1つの行で表示されます。ページ制限により、ドキュメント内で折り返されています。クラスタを拡張する前に、Grid_home/rdbms/auditおよびGrid_home/log/diag/*ディレクトリのファイルの大部分が移動または削除されていることを確認します。
インストーラがメモリー不足になる場合は、My Oracle Supportノート744213.1を参照してください。このノートは、Grid_home/oui/ora-param.iniファイルを編集する方法、およびJRE_MEMORY_OPTIONSパラメータを-Xms512m-Xmx2048mに変更する方法について説明しています。
グリッド・ユーザーとして既存のサーバーからaddNode.shスクリプトを実行して、新しいサーバーを追加します。
Oracle Grid Infrastructure 11gを実行している場合は、次のようにします。
$ cd Grid_home/oui/bin
$ ./addNode.sh -silent -responseFile /path/to/add-cluster-nodes.rsp
Oracle Grid Infrastructure 12c以降を実行している場合は、addnode.shコマンドをCLUSTER_NEW_NODESおよびCLUSTER_NEW_VIRTUAL_HOSTNAMESパラメータを指定して実行します。構文は次のとおりです。
$ ./addnode.sh -silent "CLUSTER_NEW_NODES={comma_delimited_new_nodes}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={comma_delimited_new_node_vips}"
次に例を示します。
$ cd Grid_home/addnode/
$ ./addnode.sh -silent "CLUSTER_NEW_NODES={dm02db01,dm02db02,dm02db03,dm02db04,dm02db05,
dm02db06,dm02db07,dm02db08}" "CLUSTER_NEW_VIRTUAL_HOSTNAMES={dm02db01-vip,dm02db02-vip,
dm02db03-vip,dm02db04-vip,dm02db05-vip,dm02db06-vip,dm02db07-vip,dm02db08-vip}"
-ignoreSysPrereqs -ignorePrereq
グリッド・ディスクが新しいデータベース・サーバーのそれぞれから表示できることを確認します。
$ Grid_home/grid/bin/kfod disks=all dscvgroup=true
要求された場合、dcliユーティリティを使用して、rootユーザーとしてorainstRoot.shスクリプトを実行します。
$ dcli -g new_db_nodes -l root \ /u01/app/oraInventory/orainstRoot.sh
新しいサーバーでHAIPを無効にします。
root.shスクリプトを実行する前に、新しい各サーバーで環境変数HAIP_UNSUPPORTEDをTRUEに設定します。
$ export HAIP_UNSUPPORTED=true
Grid_home/root.shスクリプトを、順次、各サーバーで実行します。これによりプロセスが簡略化され、問題を明確に識別して対処できます。
注意:
ノード識別子は、root.shスクリプトが実行されるノードの順に設定されます。通常、スクリプトは番号の最も小さいノードから最も大きいノードに実行されます。root.shスクリプトからログ・ファイルをチェックし、次のサーバーに進む前にサーバーに問題がないことを確認します。問題がある場合、先に進む前に問題を解決します。
サーバーの追加後のクラスタのステータスを確認します。
$ cluvfy stage -post nodeadd -n \ dm02db01,dm02db02,dm02db03,dm02db04,dm02db05,dm02db06,dm02db07,dm02db08 \ -verbose
すべてのサーバーが追加され、基本サービスが実行されていることを確認します。
crsctl stat res -t
注意:
場合によっては、新しいサーバーのディスク・グループをマウントする必要があります。oracleユーザーとして次のコマンドを実行する必要があります。
$ srvctl start diskgroup -g data $ srvctl start diskgroup -g reco
Oracle Grid Infrastructureリリース11.2.0.2以降を実行している場合、次の手順を実行します。
CLUSTER_INTERCONNECTSパラメータを各Oracle ASMインスタンスのSPFILEに手動で追加します。
ALTER SYSTEM SET cluster_interconnects = '192.168.10.x' \ sid='+ASMx' scope=spfile
新しい各サーバーでクラスタを再起動します。
パラメータが正しく設定されていることを確認します。
新しいOracle Exadata Storage Serverにセル・アラートを構成する必要があります。
構成は設置のタイプによって異なります。
Oracle Exadata Database Machineクオータ・ラックからハーフ・ラックまたはハーフ・ラックからフル・ラックに拡張する場合:
新しいストレージ・サーバーに手動でセル・アラートを構成します。元のストレージ・サーバーの設定をガイドとして使用します。元のストレージ・サーバーの設定を表示するには、次のようなコマンドを使用します。
dcli -g new_cells_nodes -l celladmin cellcli -e list cell detail
新しいストレージ・サーバーのアラートを表示するには、次のようなコマンドを使用します。
dcli -g new_cell_nodes -l root "cellcli -e ALTER CELL \ smtpServer=\'mailserver.example.com\' \ smtpPort=25, \ smtpUseSSL=false,smtpFrom=\'DBM dm01\', \ smtpFromAddr=\'storecell@example.com\', \ smtpToAddr=\'dbm-admins@example.com\', \ notificationMethod=\'mail,snmp\', \ notificationPolicy=\'critical,warning,clear\', \ snmpSubscriber=\(\(host=\'snmpserver.example.com, port=162\')\)"
注意:
dcliユーティリティのエスケープ文字および前述のコマンドの行継続文字として、バックスラッシュ(\)が使用されます。ラックを配線する場合
rootユーザーとしてOracle Exadata Deployment Assistant (OEDA)を使用して、元のラックから新しいラックにストレージ・サーバーの電子メール・アラートを設定します。このユーティリティにはアラートを構成するSetupCellEmailAlerts手順が含まれます。
クラスタ変更が完了してすべてのサーバーがクラスタに配置された後、Oracle Databaseソフトウェア・ディレクトリORACLE_HOMEをデータベース・サーバーに追加する必要があります。
Oracle_home/binディレクトリで、rootユーザーが所有し、oinstall権限や全ユーザー読取り権限がない、nmb0のようにゼロ(0)で終わるファイルがないか確認します。次のコマンドを使用して、ファイルの権限を変更します。
# chmod a+r $ORACLE_HOME/bin/*0
Oracle Database release 12c以降を実行している場合、ゼロで終了するファイルに加え、大文字のOで終了するファイルの権限を変更する必要もあります。
# chmod a+r $ORACLE_HOME/bin/*O
この手順は、Oracle Database 11gのみで必要です。Oracle Database 12cを実行している場合、ディレクトリが作成済のため、この手順をスキップできます。
次のコマンドを使用してOracle Grid Infrastructureソフトウェアの所有者(グリッド・ユーザー)ではない場合、データベース所有者のORACLE_BASEディレクトリを作成します。
# dcli -g root/new_group_files/dbs_group -l root mkdir -p /u01/app/oracle # dcli -g root/new_group_files/dbs_group -l root chown oracle:oinstall \ /u01/app/oracle
次のコマンドを実行して、Oracle Database $ORACLE_HOMEディレクトリのemocmrspファイルの所有権を設定します。
# dcli -g old_db_nodes -l root chown -f oracle:dba \ /u01/app/11.2.0/grid/OPatch/ocm/bin/emocmrsp
この手順は、Oracle Database 11gのみで必要です。Oracle Database 12cを実行している場合、値はコマンドライン上で入力されるため、この手順をスキップできます。
oracle所有者としてレスポンス・ファイルadd-db-nodes.rspを作成し、次のような新しいサーバーを追加します。
RESPONSEFILE_VERSION=2.2.1.0.0
CLUSTER_NEW_NODES={dm02db01,dm02db02,dm02db03,dm02db04,dm02db05, \
dm02db06,dm02db07,dm02db08}
注意:
サーバー名を示す複数の行は、連続した1つの行で表示されます。ページ制限により、ドキュメント内で折り返されています。データベース所有者のユーザーとして既存のサーバーからaddNode.shスクリプトを実行して、Oracle Database ORACLE_HOMEディレクトリを新しいサーバーに追加します。
Oracle Grid Infrastructure 11gを実行している場合は、次のようにします。
$ cd $ORACLE_HOME/oui/bin $ ./addNode.sh -silent -responseFile /path/to/add-db-nodes.rsp
Oracle Grid Infrastructure 12cを実行している場合、コマンドラインでノードを指定します。構文は次のとおりです。
./addnode.sh -silent "CLUSTER_NEW_NODES={comma_delimited_new_nodes}"
次に例を示します。
$ cd $Grid_home/addnode
$ ./addnode.sh -silent "CLUSTER_NEW_NODES={dm02db01,dm02db02,dm02db03,dm02db04,dm02db05,
dm02db06,dm02db07,dm02db08}" -ignoreSysPrereqs -ignorePrereq
$ORACLE_HOME/oui/oraparam.iniファイルに、Oracle Grid Infrastructureホームで設定されたパラメータと一致するメモリー設定があることを確認します。
要求された場合、dcliユーティリティを使用して、rootユーザーとして各サーバーにroot.shスクリプトを実行します。
$ dcli -g new_db_nodes -l root $ORACLE_HOME/root.sh
前述のコマンドのnew_db_nodesは、新しいデータベース・サーバーのリストを含むファイルです。
ORACLE_HOMEディレクトリが新しいサーバーに追加されていることを確認します。
# dcli -g /root/all_group -l root du -sm \ /u01/app/oracle/product/11.2.0/dbhome_1
データベース・インスタンスを新しいサーバーに追加する前に、次をチェックします。
最大ファイル・サイズ: データファイルが最大ファイル・サイズに達すると、addInstanceコマンドがORA-00740エラーで停止する場合があります。DBA_DATA_FILESに示されているファイルがいずれも最大サイズに達していないことを確認することをお薦めします。最大サイズに達したファイルは修正するようにしてください。
オンラインREDOログ: DB_RECOVERY_FILE_DESTパラメータで指定されたディレクトリにオンラインREDOログが保持されている場合は、割り当てられている領域が、追加する新しいインスタンスのREDOログに対して十分にあることを確認します。必要に応じて、DB_RECOVERY_FILE_DEST_SIZEパラメータのサイズを増加します。
クラスタのインスタンスの合計数: 各データベースのSPFILEで初期化パラメータcluster_database_instancesの値を、新しいサーバーを追加した後のクラスタ内のインスタンスの合計数に設定します。
HugePages設定は、既存のサーバーに一致するように新しいサーバーで正しく構成されます。
既存のデータベース・サーバーから次のようなコマンドを使用して、新しいサーバーにインスタンスを追加します。このコマンドでは、インスタンスdbm9がサーバーdm02db01に追加されています。
dbca -silent -addInstance -gdbName dbm -nodeList dm02db01 -instanceName dbm9 \ -sysDBAUsername sys
必要に応じてサーバー名およびインスタンス名を置き換えて、コマンドをすべてのサーバーおよびインスタンスで実行する必要があります。
注意:
コマンドが失敗する場合は、REDOログ・ファイルなど、作成したファイルがクリーンアップされていることを確認します。deleteInstanceコマンドでは、addInstanceコマンドによって作成されたログ・ファイルまたはデータファイルはクリーンアップされません。 CLUSTER_INTERCONNECTSパラメータを新しい各インスタンスに追加します。
CLUSTER_INTERCONNECTSパラメータを新しい各データベース・インスタンスのSPFILEに手動で追加します。この追加は既存のエントリに類似していますが、各インスタンスが実行されるサーバーに対応するInfiniBandアドレスです。
新しい各サーバーでインスタンスを再起動します。
パラメータが正しく設定されていることを確認します。
次の手順を使用して、新しいハードウェアが正しく構成されて使用できることを確認します。
/opt/oracle.SupportTools/ibdiagtools/verify-topologyコマンドを実行して、すべてのInfiniBandケーブルが接続および固定されていることを確認します。
My Oracle Supportノート1070954.1の手順に従って、Oracle Exadata Database Machine HealthCheckユーティリティを実行します。
次のコマンドを使用して、インスタンスの追加を確認します。
srvctl config database -d dbm srvctl status database -d dbm
次のコマンドを使用して、クラスタ・リソースを確認します。
crsctl stat res -t
元のクラスタ・デプロイメントの元の構成サマリー・レポートが更新されてすべてのサーバーが含まれていることを確認します。このドキュメントには、新しいラックの測定およびネットワーク確認およびInfiniBandケーブル確認(verify-topologyおよびinfinicheck)が含まれます。
可能な場合は、電源切断テストを実行します。新しいExadata Storage Serverの電源を切断できない場合は、新しいインスタンスを使用する新しいデータベース・サーバーの電源を切断および投入でき、すべてのプロセスが自動的に開始されることを確認します。
注意:
次のコマンドを使用して、Oracle ASMディスク・リバランス・プロセスがすべてのディスク・グループに対して完了していることを確認します。
select * from gv$asm_operation
このコマンドでは、行は返されません。
次のような構成設定を確認します。
すべての並列処理設定
バックアップ構成
存在する場合、スタンバイ・サイト
サービス構成
Oracle Database File System(DBFS)構成および新しいサーバーのマウント・ポイント
新しいデータベース・サーバーのOracle Enterprise HugePage Managerエージェントのインストール
HugePagesの設定
新しいセルおよびデータベース・サーバーを自動サービス・リクエストに組み込みます。
Oracle Enterprise Manager Cloud Controlを更新して、新しいノードを含めます。
関連項目:
InfiniBandネットワーク構成の確認に関する詳細は、『Oracle Exadata Database Machineメンテナンス・ガイド』を参照してください。
『Oracle Auto Service Request Oracle Exadata Database Machineクイック・インストレーション・ガイド』
