4 Oracle Exadataラックの他のコンポーネントの保守
この章のトピックは、次のとおりです:
注意:
-
読みやすさを考慮して、Oracle Exadata Database MachineとOracle Exadata Storage拡張ラックの両方に言及する場合、「Oracle Exadataラック」という名前を使用します。
-
この章のすべての手順は、Oracle Exadata Database MachineおよびOracle Exadata Storage拡張ラックに適用されます。
4.1 配電ユニットの交換
配電ユニット(PDU)は、Oracle Exadataラックがオンライン中に交換できます。PDU-Aは、ラックを背面から見て左側、PDU-Bは右側にあります。
4.1.1 PDU交換のガイドラインの確認
手順を安全にし可用性を損なわないために、PDUを交換する前に、次のガイドラインを確認してください。
-
PDU-Aの取外しまたは挿入中に、InfiniBandケーブルのラッチを解除すると、ノードがクラスタから削除されるため、サービスが失われます。これにより、ラックが使用できなくなる場合があります。通常、InfiniBandケーブルはラッチでしっかりと固定されているため、取扱いには注意してください。InfiniBandケーブルを無理な力で引っ張らないでください。
-
間違った電源フィードのフックを外すと、ラックが停止します。交換するPDUから伸びている電源ケーブルを電源までたどり、それらのフィードのみを抜いてください。
-
PDU交換部品の開封と再梱包は慌てずに行ってください。故障したユニットを同じように再梱包できるように、電源コードが梱包品の中でどのように巻かれているかに注意してください。
-
サイド・パネルを取り外しておくと、PDUの交換に必要な時間を短縮できます。ただし、PDUを交換する際にサイド・パネルを取り外す必要はありません。
-
コードレス・ドリルまたは電動ドライバを使用すると、PDUの交換に必要な時間を短縮できます。交換ラックに付属のハンド・レンチ・ツールを使用する場合は、交換に少し時間がかかります。ドライバを使用する場合は、Torx T30およびT25ビットを用意してください。
-
電源ケーブルを移動するには、サーバーのケーブル・アームの取外しが必要になる場合があります。これが該当する場合、ケーブル・アームのクリップを外さなくても済むように、プラグ接続をねじり、ケーブル・アーム・コネクタを曲げます。ケーブル・アームのクリップを外す必要がある場合は、片方の手でケーブルを支えて電源コードを外し、ケーブル・アームをクリップで留めます。ケーブル・アームはつるしたままにしないでください。
-
T30ねじをL金具から外す場合は、PDUをラックから取り外すまで、PDUと金具を取り付けているT25ねじまたはナットを外さないでください。
4.2 無反応になったILOMのリセット
Integrated Lights Out Manager (ILOM)が無反応になる場合があります。その場合は、手動の操作によってILOMのサービス・プロセッサ(SP)をリセットする必要があります。次の手順では、ILOMをリセットする方法について説明します。
-
Oracle Exadata Database Machine X2-2 ServerおよびExadata Storage ServerでのSPリセット・ピンを使用したILOMのリセット
-
Sun Fire X4800 Oracle Database ServerおよびSun Server X2-8 Oracle Database ServerからのSPの取り外し
関連項目:
Oracle Integrated Lights Out Manager (ILOM)のドキュメント(http://www.oracle.com/goto/ilom/docs)
4.2.2 ILOMリモート・コンソールを使用したILOMのリセット
SSHを使用してILOMに接続できない場合は、ILOMリモート・コンソールにログインします。次の手順では、リモート・コンソールを使用してILOMをリセットする方法について説明します。
- ILOMリモート・コンソールにログインします。
- 「メンテナンス」タブからSPのリセットを選択します。
- SPのリセットをクリックします。
4.2.3 IPMItoolを使用したILOMのリセット
SSHまたはリモート・コンソールを使用してILOMに接続できない場合は、ローカル・ホストまたはILOMネットワーク上の別のホストにログインして、IPMItoolを使用します。次の手順では、IPMItoolを使用してILOMをリセットする方法について説明します。
4.2.4 Oracle Exadata Database Machine X2-2 ServerおよびExadata Storage ServerでのSPリセット・ピンを使用したILOMのリセット
SSH、リモート・コンソール、またはOracle Exadata Database Machine X2-2サーバーまたはExadata Storage ServerのIPMItoolを使用してILOMに接続できない場合は、SPリセット・ピンを押します。次の手順では、SPリセット・ピンを使用してILOMをリセットする方法について説明します。
- 非導電性の小さい棒を用意します。
- ラックの背面に移動します。
- SPリセット・ピンの開口部を特定します。SPリセット・ピンの開口部は、NET MGTポートの右側にある最初の開口部です。
- 開口部に棒を挿入し、ピンを押します。
4.2.5 Sun Fire X4800 Oracle Database ServerおよびSun Server X2-8 Oracle Database ServerからのSPの取り外し
SSH、リモート・コンソールまたはIPMItoolを使用して、Sun Fire X4800 Oracle Database ServerまたはSun Server X2-8 Oracle Database ServerでILOMをリセットできない場合は、サーバーからサービス・プロセッサ(SP)を取り外して、再度取り付けます。
オペレーティング・システム・レベルでメッセージが表示されます。これらのメッセージは無視できます。ファンの制御がないため、ファンの速度が上がります。
- Sun Fire X4800 Serverサービス・マニュアルのサービス・プロセッサ・モジュールの取外しおよび取付け(CRU)に関する項(
http://docs.oracle.com/cd/E19140-01/html/821-0282/gjfvy.html#scrolltoc)を参照してください
4.4 X7およびX8システム用クライアント・ネットワーク・ポートのリンク速度の検証および変更
Oracle Exadata Database Machine X7およびX8データベース・サーバーに、正しいリンク速度を使用していることを確認してください。
注意:
クライアント・ネットワーク・ポートは、X7およびX8システムのデプロイメント時に、Oracle Exadata Deployment Assistant (OEDA)を使用して構成する必要があります。OEDAの「顧客ネットワーク構成ページ」を参照してください。次の手順は、OEDAデプロイメントが実行されていない場合や正しく実行されていない場合、クライアント・アクセス・ポートを構成するために必要になります。
4.5 1GbE接続から10GbE接続への変更
1GbEネットワーク接続は、10GbE接続に変更できます。
この手順は、Oracle Exadata Database MachineのモデルX6以前に適用されます。
接続を変更するときは、次の点に注意してください。
-
Oracle Exadata Database Machine X2-8に接続された10GbEインタフェースの単一障害点を避けるために、NEM0 NET1およびNEM1 NET0などの2枚のカードのNetwork Express Module(NEM)で異なるポートを使用します。
-
10GbEインタフェースは、Sun Fire X4170 M2 Oracle Database Serverではeth4およびeth5として、Sun Fire X4800 Oracle Database Serverではeth8からeth15として識別されます。Oracle Exadata Database Machine X2-8では、次を使用することをお薦めします。
-
インタフェースeth9およびeth15を使用したBONDETH0
-
10GbE NEM0(左)/NET1
-
10GbE NEM1(右)/NET3
-
-
この手順の実行中に、Oracle Clusterwareがシャットダウンし、データベース・サーバーが再起動されます。
この項の内容は次のとおりです。
4.5.1 作業1: ping機能の検証
次のコマンドを使用して、変更する前にpingコマンドの機能を検証します。変更前にpingコマンドを検証すると、インタフェース変更後の結果がどのようになるかがわかります。同様のコマンドを使用して、Oracle Exadata Database Machineに接続する他のサーバーをチェックできます。
# grep "^nameserver" /etc/resolv.conf nameserver ip_address_1 nameserver ip_address_2 # ping -c 2 ip_address_1 PING ip_address_1 (ip_address_1) 56(84) bytes of data. 64 bytes from ip_address_1: icmp_seq=1 ttl=57 time=1.12 ms 64 bytes from ip_address_1: icmp_seq=2 ttl=57 time=1.05 ms --- ip_address_1 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1002ms rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms
テストに失敗すると100%パケット損失と表示され、これと同じ検証を「作業4: 10GbEインタフェースの検証」で実行したときにも、同じ結果になることが想定されます。テストが成功すると0%パケット損失と表示され、10GbE接続を変更後、同様の結果が表示されます。
4.6 InfiniBandネットワークの保守
InfiniBandネットワークは、データベース・サーバーおよびExadata Storage ServerをラックのInfiniBandスイッチにBONDIB0インタフェースを介して接続します。この項では、InfiniBandスイッチの保守を実行する方法について説明します。
この項では、次の項目について説明します。
4.6.1 スイッチ設定のバックアップおよびリストア
スイッチ設定をバックアップおよびリストアする手順は、スイッチのファームウェアによって異なります。1.1.3-2ファームウェアには、バックアップおよびリストア機能を提供するIntegrated Lights Out Manager (ILOM)があります。1.0.1ファームウェアにILOMは含まれません。1.1.3-2ファームウェアにアップグレードして「2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ」の手順を使用するか、各ファイルのバックアップおよびリストアを手動で実行します。
この項では、次の項目について説明します。
関連項目:
Oracle Integrated Lights Out Manager (ILOM)のドキュメント(http://www.oracle.com/goto/ilom/docs)
4.6.1.1 2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ
次の手順は、2.1.3-4ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。
4.6.1.2 1.1.3-2ファームウェアを使用したスイッチの設定のバックアップ
次の手順は、1.1.3-2ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。
4.6.2 2.2.2へのアップグレード・プロセスで発生する可能性があるアラート
2.2.2へのInfiniBandスイッチ・ファームウェアのアップグレード中に、管理サーバーで、停止状態で無効化されているInfiniBandポートに関するクリティカル・アラートが発生する場合があります。アラートは予想される動作で、迅速に(通常6分以内に)クリアされます。ユーザーによるアクションは必要ありません。
アラートの順序の例を次に示します。
27_1 2016-06-16T07:43:48-07:00 critical "InfiniBand Port HCA-1:1 may require attention. State:Down, Physical State:Disabled."
27_2 2016-06-16T07:48:40-07:00 clear "InfiniBand Port HCA-1:1 status is OK."
4.6.3 Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックのデータベース・サーバーのInfiniBandカード障害の修正
Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックのデータベース・サーバーのInfiniBandボンディング(BONDIB0からBONDIB3)は、4枚の各InfiniBandカードで1つのカードの両ポートを使用します。ポートで障害が発生したり、ケーブルが取り外された場合など、1枚のカードの2つのポートが無効になると、Oracle Clusterwareスタックが停止します。次の手順は、InfiniBandカードの問題を修正した後にカードを切り離してOracle Clusterwareを再起動する方法を示しています。
-
次に示すように、障害が発生したInfiniBandカードを切り離します。
-
次のコマンドを使用して、
rootユーザーとしてOracle Clusterwareを停止します。Oracle Clusterwareがすでに停止している場合、手順1.bに移動します。# crsctl stop crs
-
cellinit.oraファイルを編集して、影響するIPアドレスを削除します。 -
次のコマンドを使用して、
rootユーザーとしてOracle Clusterwareを起動します。# crsctl start crs
-
-
InfiniBandカードの問題を修正します。
-
次に示すように、カードを使用可能な状態に戻します。
-
次のコマンドを使用して、
rootユーザーとしてOracle Clusterwareを停止します。# crsctl stop crs
-
IPアドレスを
cellinit.oraファイルに追加します。 -
次のコマンドを使用して、
rootユーザーとしてOracle Clusterwareを起動します。# crsctl start crs
-
4.6.4 障害が発生したSun Datacenter InfiniBand Switch 36スイッチの交換
この手順では、障害が発生したSun Datacenter InfiniBand Switch 36スイッチの交換方法について説明します。
関連項目:
- 配線の詳細は、第II部 Oracle Exadata Database Machineの配線情報を参照してください
- Sun Datacenter InfiniBand Switch 36ファームウェア、バージョン2.1のドキュメント(
http://docs.oracle.com/cd/E36265_01/index.html) - Sun Datacenter InfiniBand Switch 36ユーザーズ・ガイド(
http://docs.oracle.com/cd/E19197-01/835-0784-05/gentextid-226.html)を参照してください - Sun Datacenter InfiniBand Switch 36スイッチの設置の詳細は、『Oracle Exadata Database Machine拡張およびマルチラック・ケーブリング・ガイド』を参照してください。
- サブネット・マネージャ・マスターの設定の詳細は、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』を参照してください
4.6.5 InfiniBandネットワーク構成の確認
この手順では、InfiniBandネットワーク構成の確認方法について説明します。
関連項目:
-
トポロジ検証ユーティリティの詳細は、「トポロジ検証ユーティリティの使用」を参照してください。
-
現在のリリースおよびインストールされているリリースの確認方法の手順は、Exadata Database MachineおよびExadata Storage Serverのサポートされているバージョン(My Oracle SupportのドキュメントID 888828.1)を参照してください
4.6.5.1 トポロジ検証ユーティリティの使用
-
欠落しているInfiniBandケーブル
-
欠落しているInfiniBand接続
-
誤った位置に取り付けられているケーブル
-
誤ったエンドポイントに接続されているケーブル
このユーティリティは、すべてのサーバーのibdiagtoolsディレクトリにあります。トポロジ検証ユーティリティのオプションを表示するには、次のコマンドを使用します。
./verify-topology -h
[ DB Machine Infiniband Cabling Topology Verification Tool ]
Usage: ./verify-topology
[-v|--verbose]
[-r|--reuse (cached maps)]
[-m|--mapfile]
[-ibn|--ibnetdiscover (specify location of ibnetdiscover output)]
[-ibh|--ibhosts (specify location of ibhosts output)]
[-ibs|--ibswitches (specify location of ibswitches output)]
[-t|--topology [torus | fattree | halfrack] default is fattree]
verify-topologyユーティリティを使用した場合の出力例を次に示します。このエラー例では、ケーブルの接続が正しくないことが示されています。サーバーからのケーブルは、どちらも同じInfiniBandスイッチに接続されています。スイッチに障害が発生すると、サーバーからInfiniBandネットワークへの接続が失われます。
[ DB Machine Infiniband Cabling Topology Verification Tool ]
Bad link:Switch 0x21283a8371a0a0 Port 11A - Sun Port 11B
Reason : 2.5 Gbps Speed found. Could be 10 Gbps
Possible cause : Cable isn't fully seated in
Bad link:Switch 0x21283a89eba0a0 Port 11B - Sun Port 11A
Reason : 2.5 Gbps Speed found. Could be 10 Gbps
Possible cause : Cable isn't fully seated in
Is every external switch connected to every internal switch..........[SUCCESS]
Are any external switches connected to each other....................[SUCCESS]
Are any hosts connected to spine switch..............................[SUCCESS]
Check if all hosts have 2 CAs to different switches..................[ERROR]
Node trnA-db01 has 1 endpoints. (Should be 2)
Port 2 of this node is not connected to any switch
--------fattree End Point Cabling verifation failed-----
Leaf switch check: cardinality and even distribution.................[ERROR]
Internal QDR Switch 0x21283a8371a0a0 has fewer than 4 compute nodes
It has only 3 links belonging to compute nodes
Check if each rack has an valid internal ring........................[SUCCESS]4.6.6 InfiniBandネットワーク動作の確認
サーバーのInfiniBand HCA、InfiniBandスイッチまたはInfiniBandケーブルの交換を含むInfiniBandネットワークのコンポーネントのハードウェア保守を行う場合またはInfiniBandネットワークの動作が標準以下の可能性がある場合、InfiniBandネットワークが正しく動作していることを確認します。次の手順は、ネットワーク動作の確認方法を示しています。
注意:
InfiniBandネットワークが予測を下回るパフォーマンスの場合は、常に次の手順を使用できます。
4.6.7 ネットワーク・サブネット・マネージャ・マスターの理解
サブネット・マネージャは、InfiniBandネットワークのすべての運用上の特性を管理します。
運用上の特性は次のとおりです。
-
ネットワーク・トポロジの検出
-
ネットワークに接続されるすべてのポートへのローカル識別子の割当て
-
スイッチ転送表の計算およびプログラム
-
ファブリックの変更の監視
InfiniBandネットワークに1つ以上のサブネット・マネージャを保有できますが、アクティブにできるのは一度に1つのサブネット・マネージャのみです。アクティブなサブネット・マネージャは、マスター・サブネット・マネージャです。他のサブネット・マネージャは、スタンバイ・サブネット・マネージャです。マスター・サブネット・マネージャが停止または失敗すると、スタンバイ・サブネット・マネージャが自動的にマスター・サブネット・マネージャになります。
各サブネット・マネージャには構成可能な優先度があります。InfiniBandネットワークに複数のサブネット・マネージャがある場合は、最高優先度のサブネット・マネージャがマスター・サブネット・マネージャになります。Oracle Exadata Database Machineでは、リーフ・スイッチのサブネット・マネージャは優先度5として、スパイン・スイッチのサブネット・マネージャは優先度8として構成する必要があります。
次のガイドラインにより、Oracle Exadata Database Machineで実行されるサブネット・マネージャの場所が決定されます。
-
Oracle Exadata Database Machine、Oracle Exalogic Elastic Cloud、Oracle Big Data ApplianceおよびOracle SuperClusterで使用するために指定されたInfiniBandスイッチのサブネット・マネージャのみを実行します。その他のデバイスでのサブネット・マネージャの実行はサポートされていません。
-
Exadataのみの構成で、1つ、2つまたは3つのラックを配線してInfiniBandネットワークを構成している場合、すべてのスイッチでサブネット・マネージャを実行する必要があります。スパイン・スイッチでマスター・サブネット・マネージャを実行する必要があります。Oracle Exadata Database Machineクオータ・ラックのように、ネットワークにリーフ・スイッチのみが存在する場合、サブネット・マネージャ・マスターがリーフ・スイッチで実行されます。4つ以上のラックを配線してInfiniBandネットワークを構成している場合、スパイン・スイッチでのみ、サブネット・マネージャを実行する必要があります。リーフ・スイッチのサブネット・マネージャは無効化してください。
-
ExadataとExalogicなどのように、異なる種類のラックを使用したマルチラック構成では、My Oracle Supportノート1682501.1を参照してください。
関連項目:
-
Sun Datacenter InfiniBand Switch 36ファームウェア、バージョン2.1のドキュメント(
http://docs.oracle.com/cd/E36265_01/index.html) -
サブネット・マネージャの優先度の設定の詳細は、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』を参照してください。
4.6.8 InfiniBandスイッチのファームウェアのアップグレード
InfiniBandスイッチのアップグレードとダウングレードには、patchmgrユーティリティを使用します。patchmgrユーティリティを使用できる最小スイッチ・ファームウェア・リリースは1.3.3-2です。スイッチのファームウェアはローリング形式でアップグレードします。ラックにスパイン・スイッチが存在する場合は、スパイン・スイッチを最初にアップグレードします。ラックにスパイン・スイッチが存在しない場合は、サブネット・マネージャが実行されているスイッチをアップグレードします。スイッチでサブネット・マネージャが実行されていない場合は、任意の順序でアップグレードを実行できます。
ファイルを作成し、更新対象のInfiniBandスイッチを1行に1スイッチずつリストします。このファイルの例を次に示します。
# cat ibswitches.lst myibswitch-01 myibswitch-02
InfiniBandスイッチをアップグレードするには、スイッチのファームウェアがリリース1.3.3-2以上である必要があります。スイッチのファームウェアがそれより前のリリースである場合は、My Oracle Supportノート888828.1の説明に従って、ファームウェアをリリース1.3.3-2にアップグレードする必要があります。
4.7 InfiniBandパーティションの構成
InfiniBandパーティションの構成は、Oracle Exadata Database MachineでのOracle VM Oracle RACクラスタ間のInfiniBandパーティションの実装を参照してください。Oracle VMを使用する場合も、使用しない場合も、InfiniBandパーティションを使用できます。
4.8 InfiniBand IPアドレスおよびホスト名の変更
既存のOracle ExadataラックのInfiniBandネットワーク情報の変更が必要になることがあります。複数のInfiniBandカードを使用してメディア・サーバーをサポートするか、同じラックの本番、テストおよびQA環境などの個別のInfiniBandネットワークのInfiniBandトラフィックを維持するため、変更が必要になる場合があります。
すべてのInfiniBandアドレスに同じサブネット内のアドレスを使用し、最小のサブネット・マスク255.255.240.0(または/20)を使用する必要があります。サブネット・マスクは、将来Oracle ExadataラックおよびInfiniBandネットワークが拡張されたときにも対応できる程度のものを選択する必要があります。
注意:
Exadata Database MachineでSDP over InfiniBandを使用することはお薦めしません。4.8.1 InfiniBandネットワーク情報の変更
この手順は、InfiniBandネットワーク情報の変更方法を示しています。
この項に示される手順は、次の前提条件に基づいています。
-
すべての変更は、
ilom-adminユーザーとしてIntegrated Lights Out Manager (ILOM)インタフェースを使用して実行する必要があります。 -
NET1およびNET2インタフェースを結合してBONDETH0を作成するため、クライアント・アクセス・ネットワークにチャネル・ボンディングが使用されます。チャネル・ボンディングを使用しない場合、手順のBONDETH0をNET1に置き換えてください。
-
Oracle Exadata Database Machine X4-2以降のハードウェアでは、Oracle Exadata System Softwareリリース11.2.3.3.0の時点で、InfiniBandボンディングに使用される名前がBONDIB0からIB0およびIB1に変更されました。これらのインタフェースは、
ifcfg-bondib0インタフェースと同じ方法で変更されます。 -
Oracle Exadata System Softwareリリース11.2.2.1.0の時点で、ボンディングに使用される名前が変更されました。InfiniBandボンディングにBONDIB0、イーサネット・ボンディングにBONDETH0という名前を使用します。以前のリリースでは、それぞれBOND0およびBOND1という名前でした。
-
手順には、
dcliユーティリティおよびrootユーザーを使用します。これにより、データベース・サーバーのコマンドをパラレルに実行して、手順を完了する全体の時間を大幅に短縮します。 -
dcliユーティリティには、SSHユーザー等価が必要になります。SSHユーザー等価が構成されない場合、一部のコマンドを各データベース・サーバーで明示的に実行する必要があります。 -
データベース・グループ・ファイル
dbs_groupを/rootディレクトリに格納する必要があります。 -
InfiniBandネットワーク情報を変更する前に、Oracle Cluster Registry (OCR)の最新のバックアップが存在することを確認してください。OCRバックアップは、
$Grid_home/cdata/cluster-nameディレクトリにあります。Grid_homeは、Oracle Grid Infrastructureソフトウェアをインストールした場所です。 -
Oracle Grid Infrastructure 11gリリース2 (11.2)以上では、プライベート・ネットワーク構成がグリッド・プラグ・アンド・プレイ(gpnp)プロファイルとOCRの両方に格納されます。gpnpの定義が正しくない場合は、Oracle Clusterware CRSが起動しません。InfiniBandネットワーク情報を変更する前に、次のコマンドを使用して、すべてのノードのgpnpプロファイルのバックアップを作成してください。
$ cd $Grid_home/gpnp/hostname/profiles/peer/ $ cp -p profile.xml profile.xml.bk
関連項目:
-
ipconfコマンドの詳細は、Oracle Exadata System Softwareユーザーズ・ガイドを参照してください -
Server Control Utility(SRVCTL)コマンドの詳細は、Oracle Real Application Clusters管理およびデプロイメント・ガイドを参照してください。
-
Oracle Exadata Database MachineのexachkまたはHealthCheck (My Oracle SupportのドキュメントID 1070954.1)
-
クラスタ検証ユーティリティ(CLUVFY)のFAQ (My Oracle SupportのドキュメントID 316817.1)
4.9 データベース・サーバーでのネットワーク・ルーティングの構成
データベース・サーバーには3つの論理ネットワーク・インタフェースが構成されています。これらのインタフェースは、管理ネットワーク(eth0)、クライアント・アクセス・ネットワーク(BOND1またはBONDETH0)およびプライベートInfiniBandネットワーク(BOND0、BONDIB0またはIB0およびIB1)です。
注意:
この項のタスクは、Oracle Exadata System Softwareリリース11.2.3.2.1より前に構成されたOracle Exadata Database Serverを対象としています。
Oracle Exadata System Softwareリリース11.2.2.3.0以上では、管理ネットワークへの接続の応答は管理ネットワーク・インタフェース上で送信され、クライアント・アクセス・ネットワークへの接続の応答はクライアント・アクセス・ネットワーク・インタフェース上で送信されます。プライベートInfiniBandネットワーク・トラフィックは2つのエンドポイント間での直接通信であり、ルーターは通信に関与しません。
Oracle Exadata System Softwareリリース11.2.2.3.0より前のリリースでは、管理ネットワーク上またはプライベートInfiniBandネットワーク上のIPアドレス以外を宛先としたアウトバウンド・トラフィックはデフォルト・ルートとしてクライアント・アクセス・ネットワークを使用して送信されます。この項の作業ではルーティングを変更するため、管理ネットワークに着信するトラフィックの応答は、管理ネットワークで送信されます。同様に、クライアント・ネットワークに着信するトラフィックの応答は、クライアント・ネットワークで送信されます。
ネットワーク・ルーティングの作業は、ブート時ルーティングかリアルタイム・ルーティングかによって異なります。次の点はどちらのタイプのルーティングにも当てはまります。
-
これらのタスクは、Oracle Exadata System Softwareリリース11.2.2.3.0より前のリリースを実行しているデータベース・サーバーを対象としています。
-
これらの作業では次のサンプルIPアドレス、ネットマスクおよびゲートウェイを使用します。
-
管理ネットワークのIPアドレスは10.149.49.12、ネットマスクは255.255.252.0 (ネットワーク10.149.48.0/22)、ゲートウェイは10.149.48.1です。
-
クライアント・アクセス・ネットワークのIPアドレスは10.204.78.15、ネットマスクは255.255.255.0 (ネットワーク10.204.78.0/24)、ゲートウェイは10.1.78.1です。
-
注意:
データベース・サーバーに他のネットワークが構成されている場合は、それらのネットワークにファイルを設定してください。
4.9.1 作業1: ブート時ルーティングのための構成
ネットワーク・ルーティングとしてブート時ルーティングを行うように構成するには、各データベース・サーバーにルールおよびルーティング・ファイルを作成する必要があります。ルールおよびルーティング・ファイルは、各データベース・サーバーの/etc/sysconfig/network-scriptsディレクトリに配置する必要があります。構成済のIPアドレスを持つ管理ネットワーク上のイーサネット・インタフェースごとに、データベース・サーバーにroute-ethnおよびrule-ethnファイルが必要です。結合イーサネット・インタフェースごとに、データベース・サーバーにroute-bondethnおよびrule-bondethnファイルが必要です。次に、ファイルの内容の例を示します。
| ファイル | 内容 |
|---|---|
|
|
from 10.149.49.12 table 220 to 10.149.49.12 table 220 |
|
|
10.149.48.0/22 dev eth0 table 220 default via 10.149.48.1 dev eth0 table 220 |
|
|
from 10.204.78.0/24 table 210 to 10.204.78.0/24 table 210 |
|
|
10.204.78.0/24 dev bondeth0 table 210 default via 10.204.78.1 dev bondeth0 table 210 |
4.9.2 作業2: リアルタイム・ルーティングのための構成
実行中のシステムでルールを構成するには、/sbin/ipコマンドを使用して、起動時に実行されるものと同じ構成を作成します。次のコマンドを使用すると、ブート時ファイルと同じ構成が得られます。
/sbin/ip rule add from 10.149.49.12 table 220 /sbin/ip rule add to 10.149.49.12 table 220 /sbin/ip route add 10.149.48.0/22 dev eth0 table 220 /sbin/ip route add default via 10.149.48.1 dev eth0 table 220 /sbin/ip rule add from 10.204.78.0/24 table 210 /sbin/ip rule add to 10.204.78.0/24 table 210 /sbin/ip route add 10.204.78.0/24 dev bondeth0 table 210 /sbin/ip route add default via 10.204.78.1 dev bondeth0 table 210
コマンドの実行後にデータベース・サーバーを再起動して、ブート時構成が正しいことを検証することをお薦めします。
4.9.3 作業3: ネットワーク・ルーティング・ルールおよびルートの検証
次のコマンドを使用して、ネットワーク・ルーティング・ルールを検証します。コマンドの出力には、システム上のすべてのルールが表示されます。
# /sbin/ip rule list 0: from all lookup 255 32762: from all to 10.204.78.0/24 lookup 210 32763: from 10.204.78.0/24 lookup 210 32764: from all to 10.149.49.12 lookup 220 32765: from 10.149.49.12 lookup 220 32766: from all lookup main 32767: from all lookup default
前述の作業を行うときに2つの新しいルーティング表が作成されるため、デフォルトのルーティング表は変更されません。新しいルーティング表が使用されるのは、ルールで指定した場合のみです。次のコマンドは、デフォルトのルーティング表と新しいルーティング表をチェックする方法を示しています。
-
デフォルトのルーティング表をチェックする場合。次に、コマンドと出力の例を示します。
# /sbin/ip route list 10.204.78.0/24 dev bondeth0 proto kernel scope link src 10.204.78.15 192.168.10.0/24 dev bondib0 proto kernel scope link src 192.168.10.8 10.149.48.0/22 dev eth0 proto kernel scope link src 10.149.49.12 default via 10.149.52.1 dev bondeth0
-
追加された表にコマンドで指定する表名が含まれているかどうかをチェックする場合。次に、コマンドと出力の例を示します。
# /sbin/ip route list table 220 10.149.48.0/22 dev eth0 scope link default via 10.149.48.1 dev eth0 root@dbhost# ip route list table 210 10.204.78.0/24 dev bondeth0 scope link default via 10.204.78.1 dev bondeth0
4.9.4 トラブルシューティングのためのネットワーク・ルーティング構成の削除
ネットワーク・ルーティング構成は、Oracle Exadata Database Machineを構成またはトライブシューティングするときに削除できます。ルールおよびルートを削除するには、次のコマンドを使用します。
/sbin/ip route del default via 10.149.48.1 dev eth0 table 220 /sbin/ip route del 10.149.48.0/22 dev eth0 table 220 /sbin/ip rule del to 10.149.49.12 table 220 /sbin/ip rule del from 10.149.49.12 table 220 /sbin/ip route del default via 10.204.78.1 dev bondeth0 table 210 /sbin/ip route del 10.204.78.0/24 dev bondeth0 table 210 /sbin/ip rule del to 10.204.78.0/24 table 210 /sbin/ip rule del from 10.204.78.0/24 table 210
4.9.5 デフォルトのルーティングへの再設定
デフォルトのネットワーク・ルーティングに戻すには、追加ファイルを/etc/sysconfig/network-scriptsディレクトリから削除し、サーバーを再起動します。次に、ファイルを削除してサーバーを再起動するコマンドの例を示します。
/bin/rm -f /etc/sysconfig/network-scripts/rule-eth0 /bin/rm -f /etc/sysconfig/network-scripts/route-eth0 /bin/rm -f /etc/sysconfig/network-scripts/rule-bondeth0 /bin/rm -f /etc/sysconfig/network-scripts/route-bondeth0 reboot
4.10 「DNSサーバーの変更」
ドメイン・ネーム・システム(DNS)サーバーの構成設定は、初期設定後に変更できます。
Oracle Exadata Database Machineのすべてのサーバーおよびスイッチは、同じDNSサーバーを参照する必要があります。Oracle Exadata Database Machineが参照するすべてのドメインは、個々のDNSサーバーを介して解決される必要があります。次の各トピックでは、Oracle Exadata Database Machineサーバーおよびスイッチを同じDNSサーバーに設定する作業および手順について説明します。サーバーは1回に1つずつ変更することをお薦めします。
4.10.1 Sun Datacenter InfiniBand Switch 36スイッチでのDNSサーバー・アドレスの変更
すべての構成手順は、Integrated Lights Out Manager (ILOM)インタフェースを使用してilom-adminユーザーとして実行する必要があります。ファームウェア・リリースに応じて、次のいずれかの手順を実行してDNSサーバーを変更します。
- スイッチで2.0.4以降のファームウェアを使用している場合:
- スイッチで2.0.4より前のファームウェアを使用している場合:
4.10.4 Oracle Exadata Storage ServerでのDNSサーバーの変更
この手順では、Oracle Exadata Storage ServerでDNSサーバーを変更する方法について説明します。
注意:
この手順では、NTPも設定できます。4.11 「NTPサーバーの変更」
ネットワーク・タイム・プロトコル(NTP)サーバーの構成設定は、初期設定後に変更できます。
サーバーが同じ時刻に同期されるように、Oracle Exadata Database Machineのすべてのサーバーおよびスイッチは、同じNTPサーバーを参照する必要があります。次の各トピックでは、Oracle Exadata Database Machineサーバーおよびスイッチを同じNTPサーバーに設定する作業および手順について説明します。サーバーは1回に1つずつ変更することをお薦めします。
注意:
-
これらの手順では、2つのNTPサーバー間の時間差が大きくないと仮定しています。NTPサーバーの更新を実行する前に、コマンド
ntpq -pを使用し、システムが正常かどうかを先に確認します。 -
Oracle Exadata Database Machineで使用するために構成可能なNTPサーバーは最大2台です。
4.11.1 データベース・サーバーでのNTPサーバー・アドレスの設定
Oracle Exadata Database Machineのデータベース・サーバーでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。
- データベース・サーバーのオペレーティング・システムがOracle Linux 5または6の場合:
- データベース・サーバーのオペレーティング・システムがOracle Linux 7の場合:
4.11.2 Sun Datacenter InfiniBand Switch 36スイッチでのNTPサーバー・アドレスの設定
Sun Datacenter InfiniBand Switch 36スイッチでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。
注意:
InfiniBandスイッチのファイルは手動で編集しないでください。4.11.3 Ciscoイーサネット・スイッチでのNTPサーバー・アドレスの設定
Ciscoイーサネット・スイッチでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。
4.12 「タイムゾーン設定の変更」
初期構成およびデプロイメントの終了後にOracle Exadata Database Machineでタイムゾーンを変更できます。
タイムゾーン設定を変更する場合は、次のコンポーネントを変更する必要があります。
-
Exadata Storage Server
-
データベース・サーバー
-
InfiniBandスイッチ
-
Ciscoイーサネット・スイッチ
注意:
タイムゾーン設定を変更する前に、セル・サービスとOracle Clusterwareサービスを停止する必要があります。
次の作業では、コンポーネントでタイムゾーン設定を変更する方法について説明します。
4.12.1 作業1: Exadata Storage Serverでのタイムゾーン設定の変更
次の手順では、Exadata Storage Serverでタイムゾーン設定を変更する方法について説明します。すべてのストレージ・サーバーに対する設定変更を完了してから、データベース・サーバーの設定を変更してください。
4.12.2 作業2: データベース・サーバーでのタイムゾーン設定の変更
ストレージ・セルでタイムゾーンの設定を変更したら、データベース・サーバーでタイムゾーンの設定を変更できます。
この手順を開始する前に、「タスク1: Exadata Storage Serverでのタイムゾーン設定の変更」の説明に従って、Oracle Clusterwareスタックを停止して、ストレージ・セルでタイムゾーンを変更しておく必要があります。
4.12.4 作業4: Ciscoスイッチでのタイムゾーン設定の変更
Ciscoスイッチでタイムゾーン設定を変更できます。
- Telnetを使用してCiscoスイッチに接続します。
enableコマンドを使用して、特権モードを開始します。configure terminalコマンドを使用して、構成を開始します。- 次のコマンドを使用して、クロックを設定します。
例4-1 Ciscoスイッチでのタイムゾーンの設定
次に、タイムゾーンをアメリカ東部に設定し、サマータイムを有効にする場合の例を示します。
$ telnet dmcisco-ip
Connected to switch name
Escape character is '^]'.
User Access Verification
Password:
dmcisco-ip>enable
Password:
dmcisco-ip#configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
dmcisco-ip(config)#clock timezone EST -5
dmcisco-ip(config)#clock summer-time EDT recurring
dmcisco-ip(config)#end
dmcisco-ip#write memory
Building configuration...
Compressed configuration from 6421 bytes to 2041 bytes[OK]
dmcisco-ip#show clock
12:03:43.516 EDT Wed May 12 2012
dmcisco-ip#
4.13 KVMスイッチの構成
この手順では、KVM(キーボード、ビデオ、マウス)スイッチの構成方法について説明します。
接続されているすべてのコンポーネントの電源を切断して、スイッチを構成します。
注意:
KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。
-
ラックの前面からKVMトレイを引き出して、ハンドルを使用して開きます。
-
タッチ・パッドに触れます。
-
マウスのダブルクリックと同じように左側の
[Ctrl]キーを2回押して、ホストとKVMインタフェースを切り替えます。 -
ユーザー・インタフェースのユニット・ビューから「ターゲット・デバイス」を選択します。Oracle Exadata Database Machineフル・ラックに22、Oracle Exadata Database Machineハーフ・ラックに11、Oracle Exadata Database Machineクオータ・ラックに5のセッション数が表示されます。セッション数は、Oracle Exadata Storage Expansionフル・ラックは18、Oracle Exadata Storage拡張ハーフ・ラックは9、Oracle Exadata Storage拡張クオータ・ラックは4にする必要があります。
注意:
すべてのセッションが表示されない場合、ポート・ヘッダーからIQアダプタを選択します。表ヘッダー、「ポート」の順にクリックして、ポート番号でセッションをソートします。欠落している項目をメモします。ラックの下部から上部にセッションの番号が順番に付けられます。
-
ターゲット・デバイス画面に戻ります。
-
ユーザー・アカウントから「ローカル」を選択します。
-
ユーザーの下の「管理」をクリックします。
-
管理アカウントのパスワードを設定します。他のパラメータを変更しないでください。
-
「保存」をクリックします。
-
アプライアンス設定から「ネットワーク」を選択します。「ネットワーク情報」画面が表示されます。
-
IPv4またはIPv6を選択します。
-
DNSサーバーのアドレス、サブネット、ゲートウェイおよびIPアドレスの値を入力します。
-
「保存」をクリックします。
-
KVM LAN1イーサネット・ポートを管理ネットワークに接続します。
-
ネットワーク情報画面のMACアドレスを確認して、ポートが正しく構成されていることを確認します。アドレスは、KVMスイッチの背面のLAN1/LAN2ポートの横のラベルと一致する必要があります。
-
アプライアンスから「概要」を選択します。
-
KVMスイッチの名前を入力します。
-
「保存」をクリックします。
-
「概要」の下の「再起動」を選択して、KVMスイッチを再起動します。
-
アプライアンス設定の「バージョン」を選択して、ファームウェア・バージョンのスイッチを確認します。次のようにアプリケーションとブートに2つのバージョン番号が表示されます。
Required version is: Application 1.2.10.15038 Boot 1.6.15020注意:
推奨されているファームウェア・バージョンは、1.2.8以上です。
ファームウェアが1.2.3以下の場合、ネットワーク・ブラウザからアップグレードできます。バージョン1.2.3以上の場合、KVM USBポートに接続されたフラッシュ・ドライブを使用してローカルのキーボードからアップグレードできます。ファームウェアをアップグレードするには、次の手順を実行します。
-
アプライアンスから「概要」を選択します。
-
「ツール」リストからファームウェアのアップグレードを選択します。
-
アップグレード方法を選択します。
-
「アップグレード」をクリックします。
-
ファームウェア・バージョンを確認します。
-
関連項目:
KVMスイッチの管理情報ベース(MIB)の詳細は、AvocentのWebサイト(https://www.vertivco.com/en-us/support/software-download/it-management/avocent-mergepoint-unity-switches-software-downloads/)を参照してください
4.13.1 サーバーにアクセスするKVMスイッチの構成
次の手順は、サーバーにアクセスするKVMスイッチの構成方法を示しています。
注意:
KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。
- ユニット・ビューから「ターゲット・デバイス」を選択します。
- サーバーの電源を投入します。前面パネルに電源ボタンがあります。ボタンが固定されている場合は、小さな工具を使用して緩めます。
- マウスの左ボタンを使用して、「名前」列のシステム名をクリックします。
- 「概要」をクリックし、顧客の接頭辞、ノード・タイプおよび番号のOracle標準命名形式で名前を上書きします。たとえば、
trnacel03は接頭辞がtrnaで、次にラック下部のストレージ・セル3を表す名前が続き、trnadb02は接頭辞がtrnaで、ラック下部のデータベース・サーバー2を表す名前が続きます。 - 「保存」を押します。
- ラックの各サーバーに手順2から5を繰り返します。各サーバーをBIOSで起動して、デフォルトの工場出荷時のIP構成でオペレーティング・システムを起動します。
4.13.2 KVMスイッチを使用したサーバーのアクセス
次の手順は、KVMスイッチを使用してサーバーへアクセスする方法を示しています。
注意:
KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。
- ユニット・ビューから「ターゲット・デバイス」を選択します。
- マウスの左ボタンを使用して、「名前」列のシステム名をクリックします。
- KVMセッションをクリックします。