7 ストレージ・サーバーの追加によるRecovery Applianceラックの拡張
Recovery Applianceラックは、最低3台のストレージ・サーバーから柔軟に構成できます。ラックは、Recovery Appliance X7、X6またはX5の場合で合計18台のストレージ・サーバー、Recovery Appliance X4の場合で合計14台のストレージ・サーバーまで拡張できます。ストレージ・サーバーの数に関係なく、すべてのRecovery Applianceラックには、計算サーバーが2台あります。
この章では、ストレージ・サーバーを追加することでRecovery Applianceラックを拡張する方法について説明します。内容は次のとおりです。
Recovery Appliance拡張の準備
ラックを拡張する前に、配線要件を確認し、現在のラックに関する情報を収集します。この項には次のトピックが含まれます:
InfiniBandケーブル経路の長さの見積り
設置に必要な本数と長さのInfiniBandケーブルがあることを確認します。ケーブル経路はできるだけ短くしてください。ケーブル経路の長さを計算したら、経路が長くなる可能性がある次の状況を考慮してください。その上で、必要な長さを満たす一番短いケーブルを選択します。
次の点を考慮してください。
-
ケーブル経路にカーブがある場合、ケーブルに必要な長さが増加します。ケーブルがコネクタ同士を直線で接続できることはめったにありません。ケーブル経路にカーブが必要ですが、カーブによって全体の長さが増加します。
-
結束すると、必要なケーブル長が長くなります。結束すれば、1本または複数のケーブルが同じ経路を使用することになります。ただし、ケーブルの結束内の位置によって、曲げ半径が異なります。結束が大きくてまとまっておらず、カーブがたくさんある場合、カーブの内側にのみ曲がるケーブルもあれば、外側にのみ曲がるケーブルもでてきます。この場合、必要なケーブル長の差はかなり大きくなります。
-
床下にInfiniBandケーブル経路を設定している場合、ケーブル経路の長さを計算する際は上げ床の高さを考慮してください。
現在の構成情報の取得
Recovery Applianceラックの現在の構成は、パッチ適用要件の計画、新しいIPアドレスの構成などに使用します。
ラックの1台目の計算サーバーにログインし、次の情報を収集します。
-
ラックの
exachk
レポート。exachk
ユーティリティの詳細は、My Oracle SupportのドキュメントID 1070954.1を参照してください。 -
# dcli -g ~/all_group -l root "imagehistory" > imagehistory.txt
-
すべてのストレージ・サーバーおよび計算サーバーの現在のIPアドレス。次のコマンドを使用します。
# dcli -g ~/all_group -l root "ifconfig" > ifconfig_all.txt
-
ストレージ・サーバーの構成、ディスク、フラッシュ・ログおよびIORM計画。次のコマンドを使用します。
# dcli -g ~/cell_group -l root "cellcli -e list cell detail" > cell_detail.txt # dcli -g ~/cell_group -l root "cellcli -e list physicaldisk detail" > \ physicaldisk_detail.txt # dcli -g ~/cell_group -l root "cellcli -e list griddisk attributes name,offset,size,status,asmmodestatus,asmdeactivationoutcome" > griddisk.txt # dcli -g ~/cell_group -l root "cellcli -e list flashcache detail" > fc_detail.txt # dcli -g ~/cell_group -l root "cellcli -e list flashlog detail" > fl_detail.txt # dcli -g ~/cell_group -l root "cellcli -e list iormplan detail" > iorm_detail.txt
-
計算サーバーのHugePagesメモリー構成。次のコマンドを使用します。
dcli -g ~/dbs_group -l root "cat /proc/meminfo | grep 'HugePages'" > hugepages.txt
-
InfiniBandスイッチの情報。次のコマンドを使用します。
# ibswitches > ibswitches.txt
-
Sun Datacenter InfiniBand Switch 36スイッチのファームウェア・バージョン。各スイッチで
nm2version
コマンドを実行します。 -
ラックの1台目の計算サーバーにある次のネットワーク・ファイル。
-
/etc/resolv.conf
-
/etc/ntp.conf
-
/etc/network
-
/etc/sysconfig/network-scripts/ifcfg-*
-
-
新しいサーバーで作成する必要があるクラスタ管理サービス用に作成された任意のユーザー、ユーザー識別子、グループおよびグループ識別子。
-
/etc/passwd
-
/etc/group
-
-
現在のクラスタのステータス。次のコマンドを使用します。
# crsctl stat res -t > crs_stat.txt
-
グリッド・インフラストラクチャおよびOracleホームからのパッチ情報。グリッド・インフラストラクチャ・ホームおよびOracleホームの所有者として、次のコマンドを実行します。
/u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory -oh \ GRID_HOME -detail -all_nodes > opatch_grid.txt /u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory -oh \ ORACLE_HOME -detail -all_nodes >> opatch_oracle.txt
このコマンドのGRID_HOMEは、グリッド・インフラストラクチャ・ホーム・ディレクトリのパスで、ORACLE_HOMEはOracleホーム・ディレクトリのパスです。
ネットワーク構成ファイルの生成
新しいサーバーのIPアドレスをリストするには、Oracle Exadata Deployment Assistantを使用します。新しいサーバーの数のみ指定します。Oracleホームの場所や所有者など、その他すべての項目を既存のラック構成と同じように定義します。特に、新しいサーバーのボンディング構成は、ラック内の既存のサーバーと一致する必要があります。ボンディングのタイプは、Oracle Exadata Deployment Assistantの「インフィニバンド・ネットワーク構成」ページで選択できます。
Recovery Applianceソフトウェアは、新しいストレージ・サーバーをラックに設置した後にインストールする必要があります。
監査ファイルおよび診断ファイルの移動
$GRID_HOME/rdbms/audit
ディレクトリおよび$GRID_HOME/log/diagnostics
ディレクトリのファイルは、クラスタを拡張する前に移動して削除する必要があります。十分に時間をかけられるよう、拡張予定の1日または2日前にこの作業を実行することをお薦めします。
リリースおよびパッチ・レベルの同期
追加先のラックよりも、サーバーのリリースまたはパッチ・レベルの方が新しいということが多々あります。ラックを今よりも新しいリリースに更新するか、新しいサーバーが現在のラックに一致するよう再イメージ化することが可能です。どちらの場合でも、すべてのサーバーおよびすべてのSun Datacenter InfiniBand Switch 36スイッチが同じパッチ・レベルになるようにしてください。
また、グリッド・インフラストラクチャとデータベース・ホームのリリース、およびバンドル・パッチ更新の対応方法も考慮してください。新しいパッチを適用する場合は、既存のサーバーを更新し、拡張手順の一環として新しいサーバーにそのリリースが継承されるようにすることをお薦めします。そうすることで、パッチを適用するサーバーが少なくなります。あらかじめ既存のサーバーにパッチを適用しておくと、拡張の最中に実行を必要とする作業の全体量を減らせます。
安全上の注意点およびガイドライン
この項では、機器を取り扱う際の安全上の注意点とガイドラインをリストします。ラックの拡張前に、この情報をよく理解してください。
全般的な安全上の注意点
Recovery Applianceラックで作業を開始する前に、次に示す安全上のガイドラインを読んでください。
-
ラックに同梱されている『Important Safety Information for Sun Hardware Systems』
-
Zero Data Loss Recovery Applianceセーフティおよびコンプライアンス・ガイド(安全上の注意点について)
InfiniBandケーブルの注意点
InfiniBandケーブルを使用する前に、次のInfiniBandケーブルの注意を確認してください。
-
レーザー・トランシーバを使用する光ファイバInfiniBandケーブルは、クラス1タイプにする必要があります。
-
InfiniBand銅芯ケーブルを127mm(5インチ)以下の半径に曲げないでください。曲げすぎると、ケーブルの内部が損傷する場合があります。
-
InfiniBand光ケーブルを85mm (3.4インチ)未満の半径に曲げないでください。曲げすぎると、ケーブルの内部が損傷する場合があります。
-
ジップ・タイを使用してInfiniBandケーブルを結束したり支えたりしないでください。タイの尖った部分により、ケーブルの内部が損傷する場合があります。フック・アンド・ループ・ストラップを使用してください。
-
InfiniBandケーブルに極端な張力を加えないでください。引っ張ったり、引きずったりしないでください。InfiniBandケーブルを引っ張ると、内部が損傷する場合があります。
-
巻かれているInfiniBandケーブルを全体にわたって伸ばしてください。
-
InfiniBandケーブル全体の長さの間で、ケーブルが何度もねじれないようにしてください。InfiniBandケーブルをねじると、内部が損傷する場合があります。
-
InfiniBandケーブルが踏みつけられる場所や転動する場所に敷設しないでください。押しつぶされてケーブルの内部が損傷する場合があります。
InfiniBandケーブル結束のガイドライン
InfiniBandケーブルをまとめて結束する場合、フック・アンド・ループ・ストラップを使用してケーブルを整理します。できれば、ケーブルおよび経路を識別できるように色分けされたストラップを使用してください。InfiniBandスプリッタおよび4X銅伝導体ケーブルは、長さに対して幅および重量があります。ケーブルを支える際のフック・アンド・ループ・ストラップの保持強度を考慮してください。できるだけ合理的な数のケーブルを結束してください。8個以下のケーブルを結束することをお薦めします。
InfiniBandケーブルがストラップから外れて落下した場合、床に落下した際の衝撃または突然の張力の変動でケーブル内部が損傷する場合があります。1フィート(0.3m)に1ストラップなど、できるだけフック・アンド・ループ・ストラップを近づけてください。ケーブルがストラップから外れても、別のストラップが支えるのでケーブルの落下が抑えられます。
ケーブル管理アームのガイドライン
ケーブルを配線する前に、次のケーブル管理アーム(CMA)ガイドラインを確認します。
-
梱包から必要なケーブルをすべて取り出し、可能な場合はケーブルが操作時の温度に慣れるようにするか、操作時の温度まで上げます。このようにすると、ケーブルが扱いやすくなります。
-
可能な場合は、ANSI/TIA/EIA 606-A規格に準拠したラベルを各ケーブルの両端に貼ります。
-
順番に設置を開始します。
-
一度にスライドするサーバーは1台のみにしてください。複数のサーバーをスライドして取り出すとケーブルが落下したり、サーバーをスライドして戻す時に問題が生じる場合があります。
-
曲げ半径要件が最も厳しくないケーブルを最初に束ねて、分割して設置します。次の曲げ半径要件はEIA/TIA 568-x規格に基づいており、製造業者の要件によって異なることがあります。
-
CAT5e UTP: ケーブルの直径の4倍または最低1インチ/25.4mmの曲げ半径
-
AC電源ケーブル: ケーブルの直径の4倍または最低1インチ/25.4mmの曲げ半径
-
TwinAx: ケーブルの直径の5倍または1.175インチ/33mm
-
Quad Small Form-factor Pluggable (QSFP) InfiniBandケーブル: ケーブルの直径の6倍または2インチ/55mm
-
ファイバ・コア・ケーブル: 0.125ケーブルの場合は、ケーブルの直径の10倍または1.22インチ/31.75mm
-
-
寿命が最長のケーブルから設置します。
ラックへのストレージ・サーバーの追加
次の項では、Recovery Applianceラックにストレージ・サーバーを追加する方法について説明します。
注意:
-
ハードウェアを拡張する前に、ラック内のスイッチおよびサーバーにパッチを適用してください。
-
ハードウェアは、Recovery Applianceがオンラインのまま、停止時間なしで拡張できます。ただし、十分に注意してください。
Recovery Applianceラックの確認
Recovery Applianceの物理システムに問題がないか検査します。
-
損傷がないか、ラックを確認します。
-
ねじの緩みまたは欠落がないか、ラックを確認します。
-
Recovery Applianceが注文したハードウェア構成になっているか確認します。
-
すべてのケーブル接続が固定され、確実に取り付けられていることを確認します。
-
電力ケーブルを確認します。
-
データ・センター施設の電源用に正しいコネクタが用意されていることを確認します。
-
ネットワーク・データ・ケーブルを確認します。
-
ケーブル・アクセスと通気のために設置場所のタイルの配置を確認します。
-
Recovery Applianceの前面に流入するデータ・センターの通気を確認します。
新しいストレージ・サーバーの開封およびラベル付け
最大数のストレージ・サーバーに対応するため、Recovery Applianceラックでは、InfiniBand接続とCat5eハーネス接続が可能です。
新しいサーバーの設置準備をするには、次のようにします。
図7-1に、サーバー拡張キットのコンポーネントを示します。
Recovery Appliance X7、X6およびX5の移入ルール
Recovery Appliance X7、X6またはX5ラックにサーバーを追加する場合、表7-1に示されている移入ルールに従います。
表7-1 Recovery Appliance X7、X6およびX5ラックの移入ルール
インストールの順序 | ラック・ユニット | ルール |
---|---|---|
1 |
U08からU15 |
ラックの上部に対して移入(4ユニット) |
2 |
U27からU40 |
ラックの上部に対して移入(7ユニット) |
3 |
U26からU23 |
ラックの下部に対して移入(2ユニット) |
4 |
U19からU18 |
(1ユニット) |
5 |
U41からU42 |
(1ユニット) |
ドアの取外し
Recovery Applianceラックのドアを取り外すには、次のようにします。
-
次の手順に従って、ラックの前部と後部のドアを取り外します。
-
前部ドアと後部ドアを開錠します。キーは発送キットにあります。
-
ドアを開きます。
-
接地ストラップのすぐに取り外せるコネクタのつまみを押して、ドアに接続されている接地ストラップを取り外し、フレームからストラップを抜きます。
-
ドアを持ち上げて、ヒンジを外します。
図7-2の吹出しの説明は、次のとおりです。
1: 接地ケーブルの取外し
2: 背面の上部ヒンジ
3: 背面の下部ヒンジ
4: 前面の上部ヒンジ
5: 前面の下部ヒンジ
-
-
サーバーを設置するフィラー・パネルを取り外すには、No.2ドライバを使用してM6ねじを外します。ねじ数は、フィラー・パネルのタイプによって異なります。今後の使用に備えて、ねじを保存します。
注意:
フィラー・パネルを交換する場合は、Radio Electronics Television Manufacturers Association (RETMA)レールの穴からDuosertケージ・ナットを外さないでください。
新しいサーバーの追加
Recovery Appliance X7、X6またはX5は最大18台のストレージ・サーバーまで、Recovery Appliance X4は最大14台のストレージ・サーバーまで拡張できます。1から15台(最小構成で始めた場合)まで、一度に何台のストレージ・サーバーでも追加できます。
設置準備をするには、次のようにします。
-
サーバーを設置するラック・ユニットを確認します。ラックの一番下の段から見て、空いている最初のユニットに設置します。
「Recovery Appliance X8、X7、X6およびX5ラックのレイアウト」または「Recovery Appliance X4ラックのレイアウト」を、それぞれ参照してください。
-
ユニットにサーバーが設置されるまではケーブル・ハーネスが取り付けられているトラフを外して破棄します。
-
詰め物を取り出して破棄します。
レール構成部品を設置するには、次のようにします。
-
スライド・レール・ロックがサーバーの前にあり、取付け金具の5つのキー穴開口部が、シャーシ側面の5つの位置決めピンに合うように取付け金具をシャーシに対して配置します。
-
ボール・ベアリング・トラックが前方で、適切な位置で固定されるように、スライド・レール構成部品を正しい向きに置きます。
-
ラックの左側または右側のいずれかから、スライド・レール構成部品の背面をラック・レールの内側に合せ、カチッという音がしてロックされるまでアセンブリを押します。
-
スライド・レール構成部品の前面をラック・レールの前面の外側に合せ、カチッという音がしてロックされるまでアセンブリを押します。
警告:
-
サーバーは重いので、サーバーの設置には少なくとも2名の作業者またはリフトが必要です。この手順を1人で実行すると、機器が損傷したり、けがをしたりする可能性があります。
-
機器の設置中にラックが倒れないように、転倒防止バーを伸ばしてください。
-
Recovery Appliance X4ラックの場合、サーバーを下から順に取り付け、ラックの重心が上になって倒れることがないようにしてください。各サーバーに指定された場所については、「Recovery Appliance X4ラックのレイアウト」を参照してください。
-
Recovery Appliance X6またはX5ラックの場合、移入ルールに従ってサーバーを取り付けてください。「Recovery Appliance X7、X6およびX5の移入ルール」を参照してください。
サーバーを設置するには、次のようにします。
-
ラックにサーバーを設置する前に、サーバーの上部カバーのサービス・ラベルを参照します。
-
スライド・レール構成部品にサーバーをはめ込みます。
-
スライド・レールをスライド・レール構成部品にできるだけ奥まで押し込みます。
-
取付け金具の後端が、機器ラックに取り付けられているスライド・レール構成部品と揃うようにサーバーの位置を決めます。
図7-6の吹出しで拡大しているのは、次の部分です。
1: スライド・レールに挿入される取付け金具
2: スライド・レール開放レバー
-
取付け金具をスライド・レールに挿入し、取付け金具がスライド・レールのストップに接触するまでサーバーをラック内に押し込みます(約30cm(12インチ))。
-
両方の取付け金具のスライド・レール開放レバーを同時に押しながら、サーバーをラック内に押し込みます。
-
取付け金具の前面のスライド・レール・ロックがスライド・レール構成部品にかみ合って、カチッという音がするまで押し込みます。
-
-
「ストレージ・サーバーの配線」に記載されているように、新しいサーバーを配線します。
注意:
1人がラックへのサーバーの出し入れを行い、もう1人がケーブルやCMAの移動に目を配るというように、ラックへのサーバーの設置は2人で行うことをお薦めします。
関連項目:
『Sun Server X4-2L設置ガイド』の「サーバーのラックへの設置」
http://docs.oracle.com/cd/E36974_01/html/E38145/z4000087165586.html#scrolltoc
ストレージ・サーバーの配線
新しいストレージ・サーバーを設置したら、既存の機器に配線します。
注意:
-
ラックの既存のケーブル接続は変更されません。
-
青色のケーブルを計算サーバーに接続し、黒色のケーブルをストレージ・サーバーに接続します。これらのネットワーク・ケーブルは、NET0イーサネット・インタフェース・ポートに使用されます。
-
一度に1つのサーバーのCMAおよび背面パネルに管理ケーブルを接続および配線します。複数のサーバーを引き出さないでください。
-
ラックの下から上に順次作業してください。
-
3本のCAT5eケーブルまたは2本のtwinaxialケーブルを配線する場合は、長めのフック・アンド・ループ・ストラップが必要です。
ラックに新しいサーバーを配線するには、次のようにします。
-
ケーブル管理アーム(CMA)を設置します。
-
左のスライド・レールに、CMAコネクタAをカチッという音がしてロックされるまでスライドします。
-
右のスライド・レールに、CMAコネクタBをカチッという音がしてロックされるまでスライドします。次に、CMAコネクタCで同じように行います。
-
-
フック・アンド・ループ・ストラップを通して、各ケーブルをそれぞれのポートに挿入し、次の順番でCMAにケーブルを配線します。
-
電力
-
イーサネット
-
InfiniBand
-
-
CMAを通してケーブルを配線し、CMAの内側と外側の両方のカーブで、フック・アンド・ループ・ストラップを使用して固定します。
-
クロスバー・カバーを閉じて、ケーブルを真っ直ぐに固定します。
-
各サーバーのスライド・レールおよびCMAの動作を確認します。
注意:
1人がラックへのサーバーの出し入れを行い、もう1人がケーブルやCMAの移動に目を配るというように、このステップは2人で行うことをお薦めします。
-
スライド・レールがストップに達するまで、ラックからサーバーをゆっくりと引き出します。
-
バインドまたはねじれがないか、接続されたケーブルを検査します。
-
CMAがスライド・レールから一杯まで伸びることを確認します。
-
-
サーバーをラック内に戻します。
-
2対のスライド・レール・ストップを解放します。
-
各スライド・レールの内側(サーバーの背面パネルのすぐ後ろ)にあるレバーを探します。「PUSH」というラベルが付いています。
-
おおよそ46cm (18インチ)で止まるまで、両方のレバーを同時に押し、サーバーをラックに向かってスライドさせます。
-
ケーブルおよびCMAが絡まらずに格納されることを確認します。
-
各取付け金具の前面近くにあるスライド・レール開放ボタンを探します。
-
両方のスライド・レール開放ボタンを同時に押して、両方のスライド・レールがかみ合うまでサーバーを完全にラック内にスライドさせます。
-
-
ケーブルをまとめてストラップで固定します。InfiniBandケーブルは8本以下の束にすることをお薦めします。
-
各サーバーを引き出し、完全に元に戻して、ケーブルが絡まったり引っかかったりしていないことを確認します。
-
すべてのサーバーにこの手順を繰り返します。
-
電力ケーブルを配電ユニット(PDU)に接続します。電力ケーブルを接続する前に、ブレーカ・スイッチがOFFになっていることを確認します。まだ、施設のソケットに電力ケーブルを接続しないでください。
関連項目:
-
『Sun Server X4-2L設置ガイド』の第2世代のケーブル管理アームの設置に関する項
http://docs.oracle.com/cd/E36974_01/html/E38145/z40000151427029.html#scrolltoc
ラックを閉じる
新しい機器の設置後にラックを閉じるには、次のようにします。
-
ラックの前部と後部のドアを元に戻します。
-
ドアを持ってきて、ドア・ヒンジに慎重に置きます。
-
前部ドアと後部ドアの接地ストラップをフレームに接続します。
-
ドアを閉じます。
-
(オプション)ドアをロックします。キーは発送キットにあります。
-
-
(オプション)アップグレード用に取り外していた場合はサイド・パネルを元に戻します。
-
各サイド・パネルを持ち上げて、ラックの側面に配置します。ラックの上部で、サイド・パネルの重量を支えられます。パネル留具とラック・フレームの溝が揃っていることを確認します。
-
サイド・パネルの取外し工具を使用して、各サイド・パネル留具を時計回りに1/4回転します。パネル・ロック付近の留具を時計回りに回転します。サイド・パネルごとに10個の留具があります。
-
(オプション)各サイド・パネルをロックします。キーは発送キットにあります。ロックはサイド・パネル中央の下部にあります。
-
接地ストラップをサイド・パネルに接続します。
-
ラックを閉じた後、次のようにします。
-
新しいシステムをインストールする場合、「Recovery Applianceでのソフトウェアのインストール」に進みます
-
既存のシステムにストレージを増やすためにサーバーを追加した場合、「新しいストレージを使用可能にする」に進みます
新しいストレージを使用可能にする
既存のシステムのストレージ容量を増やすためにラックにストレージ・サーバーを追加した後、racli
コマンドを実行して追加のストレージをバックアップに使用できるようにする必要があります。
注意:
Recovery Applianceにストレージ・セルを追加した後、これを取り外すことはできません。-
新しいストレージ・セルに既存のストレージ・セルと同じバージョンのExadataイメージがある。
-
新しいストレージ・セルに関連付けられたデータベースがない。(このケースは
cellcli -e list database
を実行して確認できます。)
新しいストレージを使用可能にするには、次の手順を実行します。
関連項目:
-
この手順で使用されるコマンドの詳細は、「RACLIの概要」を参照してください。
-
ストレージの場所を表示する方法は、『Zero Data Loss Recovery Appliance管理者ガイド』を参照してください。