この章のトピックは、次のとおりです:
注意:
読みやすさを考慮して、Oracle Exadata Database MachineとOracle Exadata Storage拡張ラックの両方に言及する場合、「Oracle Exadataラック」という名前を使用します。
この章のすべての手順は、Oracle Exadata Database MachineおよびOracle Exadata Storage拡張ラックに適用されます。
配電ユニット(PDU)は、Oracle Exadataラックがオンライン中に交換できます。PDU-Aは、ラックを背面から見て左側、PDU-Bは右側にあります。
手順を安全にし可用性を損なわないために、PDUを交換する前に、次のガイドラインを確認してください。
PDU-Aの取外しまたは挿入中に、InfiniBandケーブルのラッチを解除すると、ノードがクラスタから削除されるため、サービスが失われます。これにより、ラックが使用できなくなる場合があります。通常、InfiniBandケーブルはラッチでしっかりと固定されているため、取扱いには注意してください。InfiniBandケーブルを無理な力で引っ張らないでください。
間違った電源フィードのフックを外すと、ラックが停止します。交換するPDUから伸びている電源ケーブルを電源までたどり、それらのフィードのみを抜いてください。
PDU交換部品の開封と再梱包は慌てずに行ってください。故障したユニットを同じように再梱包できるように、電源コードが梱包品の中でどのように巻かれているかに注意してください。
サイド・パネルを取り外しておくと、PDUの交換に必要な時間を短縮できます。ただし、PDUを交換する際にサイド・パネルを取り外す必要はありません。
コードレス・ドリルまたは電動ドライバを使用すると、PDUの交換に必要な時間を短縮できます。交換ラックに付属のハンド・レンチ・ツールを使用する場合は、交換に少し時間がかかります。ドライバを使用する場合は、Torx T30およびT25ビットを用意してください。
電源ケーブルを移動するには、サーバーのケーブル・アームの取外しが必要になる場合があります。これが該当する場合、ケーブル・アームのクリップを外さなくても済むように、プラグ接続をねじり、ケーブル・アーム・コネクタを曲げます。ケーブル・アームのクリップを外す必要がある場合は、片方の手でケーブルを支えて電源コードを外し、ケーブル・アームをクリップで留めます。ケーブル・アームはつるしたままにしないでください。
T30ねじをL金具から外す場合は、PDUをラックから取り外すまで、PDUと金具を取り付けているT25ねじまたはナットを外さないでください。
この手順では、配電ユニット(PDU)の交換方法について説明します。
PDUの交換の理由にならない場合は、PDUモニターを使用して、次のようにネットワーク設定を識別します。
カウント(5から0)が開始されるまで、リセット・ボタンを押します。カウントダウン中にボタンを放し、再度押します。
注意:
カウントダウンを開始するには、リセット・ボタンを20秒押す必要があります。
モニターが再起動したら、LCDに表示される設定やファームウェア・バージョンなどを記録します。
注意:
PDUモニターが機能していない場合は、ネットワーク経由でPDUに接続してネットワーク設定を取得するか、ネットワーク管理者から取得します。
すべてのPDUブレーカをオフにします。
PDUの電源プラグをACコンセントから抜きます。
注意:
電源コードが頭上の配線を使用している場合は、人に落ちたり当たったりしない場所に電源プラグを置きます。
高くした床にラックがある場合は、床の切抜き部分から電源コードを出します。電源コードを出すには、ラックを切抜き部分の上に移動する必要が生じる場合があります。
サイド・パネルにアクセスできず、ラックにInfiniBandケーブル・ハーネスがない場合は、PDU-Bの交換で次の手順を実行します。
注意:
ケーブル・アームに取り付けられているケーブルのストラップを外さないでください。
四角のケーブル・アームをラックに留めているT25ねじを外します。
InfiniBandケーブルを邪魔にならないように中央に動かします。
サーバーおよびスイッチからPDUに接続されているすべての電源ケーブルを外します。電源ケーブルをグループの束にしてまとめておきます。
L金具の上部と下部からT30ねじを外し、ねじの位置をメモしておきます。
ラック・フレーム内のPDUの設置位置をメモしておきます。ブレーカ・スイッチを使用できるようにするために、通常はラック・フレームから後ろに1インチの位置にします。
PDUを斜めにしてラックから取り出します。
PDUを持ったまま(十分な空間がある場合は下ろし)、AC電源コードをラックに通します。ACコード・フラッシュをPDUの下部に固定するケーブル・タイを切断する必要が生じる場合があります。
ラックの下部または上部(サーバー間の空間のある場所)にできるだけ近くなるようにコードを引き、コンセントのプラグを配線用の穴に通します。
小さい方のTorx T25ねじを外し、上部および下部のナットを緩めてPDUをL金具から取り外します。ナットは外す必要はありません。
L金具を新しいPDUに取り付けます。
新しいPDUをラックの横に置きます。
ACコードをラックに通してコンセントまで配線します。
注意:
この時点では、ACコードを新しいPDUにケーブル・タイしないでください。
L金具が上部および下部のレールの上に来るまで、確度と位置を調整して、新しいPDUをラック内に置きます。
穴とスロットの位置を整列し、PDUがラック・フレームの後ろ約1インチの位置になるようにします。
コードのラベルに従って、電源コードを取り付けます。たとえば、G5-0は、PDUのPDUグループ5のコンセント0を示しています。
手順4でInfiniBandケーブル・ホルダを取り外した場合は、取り付けます。ねじがすり減らないようにするには、ホルダのねじを手で締めることをお薦めします。
AC電源コードをコンセントに接続します。
ブレーカをオンにします。
PDUモニターのケーブルを配線し、必要に応じてネットワークをプログラムします。
関連項目:
PDUモニターのプログラミングの詳細は、Sun Rack II電力配分装置ユーザーズ・ガイド(https://docs.oracle.com/cd/E19657-01/html/E23956/index.html
)を参照してください
Integrated Lights Out Manager (ILOM)が無反応になる場合があります。その場合は、手動の操作によってILOMのサービス・プロセッサ(SP)をリセットする必要があります。次の手順では、ILOMをリセットする方法について説明します。
Oracle Exadata Database Machine X2-2 ServerおよびExadata Storage ServerでのSPリセット・ピンを使用したILOMのリセット
Sun Fire X4800 Oracle Database ServerおよびSun Server X2-8 Oracle Database ServerからのSPの取り外し
関連項目:
Oracle Integrated Lights Out Manager (ILOM)のドキュメント(http://www.oracle.com/goto/ilom/docs
)
SSHを使用してILOMに接続できない場合は、ILOMリモート・コンソールにログインします。次の手順では、リモート・コンソールを使用してILOMをリセットする方法について説明します。
SSHまたはリモート・コンソールを使用してILOMに接続できない場合は、ローカル・ホストまたはILOMネットワーク上の別のホストにログインして、IPMItoolを使用します。次の手順では、IPMItoolを使用してILOMをリセットする方法について説明します。
SSH、リモート・コンソール、またはOracle Exadata Database Machine X2-2サーバーまたはExadata Storage ServerのIPMItoolを使用してILOMに接続できない場合は、SPリセット・ピンを押します。次の手順では、SPリセット・ピンを使用してILOMをリセットする方法について説明します。
SSH、リモート・コンソールまたはIPMItoolを使用して、Sun Fire X4800 Oracle Database ServerまたはSun Server X2-8 Oracle Database ServerでILOMをリセットできない場合は、サーバーからサービス・プロセッサ(SP)を取り外して、再度取り付けます。
オペレーティング・システム・レベルでメッセージが表示されます。これらのメッセージは無視できます。ファンの制御がないため、ファンの速度が上がります。
http://docs.oracle.com/cd/E19140-01/html/821-0282/gjfvy.html#scrolltoc
)を参照してくださいSun Server X4-2 Oracle Database Server、Sun Server X3-2 Oracle Database Server、Sun Fire X4170 M2 Oracle Database Server、Oracle Server X6-8 Database Server、Oracle Server X5-8 Database Server、Sun Server X4-8 Oracle Database Server、Sun Server X3-8 Oracle Database Server、Sun Fire X4800 Oracle Database Serverには、10ギガビット・イーサネット(GbE)ネットワーク・カードが搭載されています。
1GbE接続は10GbE接続に変更できます。接続を変更するときは、次の点に注意してください。
Oracle Exadata Database Machine X2-8フル・ラックに接続された10GbEインタフェースの単一障害点を避けるために、NEM0 NET1およびNEM1 NET0などの2枚のカードのNetwork Express Module(NEM)で異なるポートを使用します。
10GbEインタフェースは、Sun Fire X4170 M2 Oracle Database Serverではeth4およびeth5として、Sun Fire X4800 Oracle Database Serverではeth8からeth15として識別されます。Oracle Exadata Database Machine X2-8フル・ラックでは、次を使用することをお薦めします。
インタフェースeth9およびeth15を使用したBONDETH0
10GbE NEM0(左)/NET1
10GbE NEM1(右)/NET3
この手順の実行中に、Oracle Clusterwareがシャットダウンし、データベース・サーバーが再起動されます。
この項の内容は次のとおりです。
次のコマンドを使用して、変更する前にping
コマンドの機能を検証します。変更前にping
コマンドを検証すると、インタフェース変更後の結果がどのようになるかがわかります。同様のコマンドを使用して、Oracle Exadata Database Machineに接続する他のサーバーをチェックできます。
# grep "^nameserver" /etc/resolv.conf nameserver ip_address_1 nameserver ip_address_2 # ping -c 2 ip_address_1 PING ip_address_1 (ip_address_1) 56(84) bytes of data. 64 bytes from ip_address_1: icmp_seq=1 ttl=57 time=1.12 ms 64 bytes from ip_address_1: icmp_seq=2 ttl=57 time=1.05 ms --- ip_address_1 ping statistics --- 2 packets transmitted, 2 received, 0% packet loss, time 1002ms rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms
テストに失敗すると100%パケット損失と表示され、これと同じ検証を「作業4: 10GbEインタフェースの検証」で実行したときにも、同じ結果になることが想定されます。テストが成功すると0%パケット損失と表示され、10GbE接続を変更後、同様の結果が表示されます。
InfiniBandネットワークは、データベース・サーバーおよびExadata Storage ServerをラックのInfiniBandスイッチにBONDIB0インタフェースを介して接続します。この項では、InfiniBandスイッチの保守を実行する方法について説明します。
この項では、次の項目について説明します。
スイッチ設定をバックアップおよびリストアする手順は、スイッチのファームウェアによって異なります。1.1.3-2ファームウェアには、バックアップおよびリストア機能を提供するIntegrated Lights Out Manager (ILOM)があります。1.0.1ファームウェアにILOMは含まれません。1.1.3-2ファームウェアにアップグレードして「2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ」の手順を使用するか、各ファイルのバックアップおよびリストアを手動で実行します。
この項では、次の項目について説明します。
関連項目:
Oracle Integrated Lights Out Manager (ILOM)のドキュメント(http://www.oracle.com/goto/ilom/docs
)
次の手順は、2.1.3-4ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。
次の手順は、1.1.3-2ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。
2.2.2へのInfiniBandスイッチ・ファームウェアのアップグレード中に、管理サーバーで、停止状態で無効化されているInfiniBandポートに関するクリティカル・アラートが発生する場合があります。アラートは予想される動作で、迅速に(通常6分以内に)クリアされます。ユーザーによるアクションは必要ありません。
アラートの順序の例を次に示します。
27_1 2016-06-16T07:43:48-07:00 critical "InfiniBand Port HCA-1:1 may require attention. State:Down, Physical State:Disabled."
27_2 2016-06-16T07:48:40-07:00 clear "InfiniBand Port HCA-1:1 status is OK."
Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックのデータベース・サーバーのInfiniBandボンディング(BONDIB0からBONDIB3)は、4枚の各InfiniBandカードで1つのカードの両ポートを使用します。ポートで障害が発生したり、ケーブルが取り外された場合など、1枚のカードの2つのポートが無効になると、Oracle Clusterwareスタックが停止します。次の手順は、InfiniBandカードの問題を修正した後にカードを切り離してOracle Clusterwareを再起動する方法を示しています。
次に示すように、障害が発生したInfiniBandカードを切り離します。
次のコマンドを使用して、root
ユーザーとしてOracle Clusterwareを停止します。Oracle Clusterwareがすでに停止している場合、手順1.bに移動します。
# crsctl stop crs
cellinit.ora
ファイルを編集して、影響するIPアドレスを削除します。
次のコマンドを使用して、root
ユーザーとしてOracle Clusterwareを起動します。
# crsctl start crs
InfiniBandカードの問題を修正します。
次に示すように、カードを使用可能な状態に戻します。
次のコマンドを使用して、root
ユーザーとしてOracle Clusterwareを停止します。
# crsctl stop crs
IPアドレスをcellinit.ora
ファイルに追加します。
次のコマンドを使用して、root
ユーザーとしてOracle Clusterwareを起動します。
# crsctl start crs
この手順では、障害が発生したSun Datacenter InfiniBand Switch 36スイッチの交換方法について説明します。
関連項目:
ケーブリングの詳細は、『Oracle Exadata Database Machineシステム概要』を参照してください。
Sun Datacenter InfiniBand Switch 36ファームウェア、バージョン2.1のドキュメント(http://docs.oracle.com/cd/E36265_01/index.html
)
Sun Datacenter InfiniBand Switch 36ユーザーズ・ガイド(http://docs.oracle.com/cd/E19197-01/835-0784-05/gentextid-226.html
)を参照してください
Sun Datacenter InfiniBand Switch 36スイッチの設置の詳細は、『Oracle Exadata Database Machine拡張およびマルチラック・ケーブリング・ガイド』を参照してください。
サブネット・マネージャ・マスターの設定の詳細は、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』を参照してください
この手順では、InfiniBandネットワーク構成の確認方法について説明します。
関連項目:
トポロジ検証ユーティリティの詳細は、「トポロジ検証ユーティリティの使用」を参照してください。
現在のリリースおよびインストールされているリリースの確認方法の手順は、Exadata Database MachineおよびExadata Storage Serverのサポートされているバージョン(My Oracle SupportのドキュメントID 888828.1)を参照してください
欠落しているInfiniBandケーブル
欠落しているInfiniBand接続
誤った位置に取り付けられているケーブル
誤ったエンドポイントに接続されているケーブル
このユーティリティは、すべてのサーバーのibdiagtools
ディレクトリにあります。トポロジ検証ユーティリティのオプションを表示するには、次のコマンドを使用します。
./verify-topology -h [ DB Machine Infiniband Cabling Topology Verification Tool ] Usage: ./verify-topology [-v|--verbose] [-r|--reuse (cached maps)] [-m|--mapfile] [-ibn|--ibnetdiscover (specify location of ibnetdiscover output)] [-ibh|--ibhosts (specify location of ibhosts output)] [-ibs|--ibswitches (specify location of ibswitches output)] [-t|--topology [torus | fattree | halfrack] default is fattree]
verify-topologyユーティリティを使用した場合の出力例を次に示します。このエラー例では、ケーブルの接続が正しくないことが示されています。サーバーからのケーブルは、どちらも同じInfiniBandスイッチに接続されています。スイッチに障害が発生すると、サーバーからInfiniBandネットワークへの接続が失われます。
[ DB Machine Infiniband Cabling Topology Verification Tool ] Bad link:Switch 0x21283a8371a0a0 Port 11A - Sun Port 11B Reason : 2.5 Gbps Speed found. Could be 10 Gbps Possible cause : Cable isn't fully seated in Bad link:Switch 0x21283a89eba0a0 Port 11B - Sun Port 11A Reason : 2.5 Gbps Speed found. Could be 10 Gbps Possible cause : Cable isn't fully seated in Is every external switch connected to every internal switch..........[SUCCESS] Are any external switches connected to each other....................[SUCCESS] Are any hosts connected to spine switch..............................[SUCCESS] Check if all hosts have 2 CAs to different switches..................[ERROR] Node trnA-db01 has 1 endpoints. (Should be 2) Port 2 of this node is not connected to any switch --------fattree End Point Cabling verifation failed----- Leaf switch check: cardinality and even distribution.................[ERROR] Internal QDR Switch 0x21283a8371a0a0 has fewer than 4 compute nodes It has only 3 links belonging to compute nodes Check if each rack has an valid internal ring........................[SUCCESS]
サーバーのInfiniBand HCA、InfiniBandスイッチまたはInfiniBandケーブルの交換を含むInfiniBandネットワークのコンポーネントのハードウェア保守を行う場合またはInfiniBandネットワークの動作が標準以下の可能性がある場合、InfiniBandネットワークが正しく動作していることを確認します。次の手順は、ネットワーク動作の確認方法を示しています。
注意:
InfiniBandネットワークが予測を下回るパフォーマンスの場合は、常に次の手順を使用できます。
サブネット・マネージャは、InfiniBandネットワークのすべての運用上の特性を管理します。
運用上の特性は次のとおりです。
ネットワーク・トポロジの検出
ネットワークに接続されるすべてのポートへのローカル識別子の割当て
スイッチ転送表の計算およびプログラム
ファブリックの変更の監視
InfiniBandネットワークに1つ以上のサブネット・マネージャを保有できますが、アクティブにできるのは一度に1つのサブネット・マネージャのみです。アクティブなサブネット・マネージャは、マスター・サブネット・マネージャです。他のサブネット・マネージャは、スタンバイ・サブネット・マネージャです。マスター・サブネット・マネージャが停止または失敗すると、スタンバイ・サブネット・マネージャが自動的にマスター・サブネット・マネージャになります。
各サブネット・マネージャには構成可能な優先度があります。InfiniBandネットワークに複数のサブネット・マネージャがある場合は、最高優先度のサブネット・マネージャがマスター・サブネット・マネージャになります。Oracle Exadata Database Machineでは、リーフ・スイッチのサブネット・マネージャは優先度5として、スパイン・スイッチのサブネット・マネージャは優先度8として構成する必要があります。
次のガイドラインにより、Oracle Exadata Database Machineで実行されるサブネット・マネージャの場所が決定されます。
Oracle Exadata Database Machine、Oracle Exalogic Elastic Cloud、Oracle Big Data ApplianceおよびOracle SuperClusterで使用するために指定されたInfiniBandスイッチのサブネット・マネージャのみを実行します。その他のデバイスでのサブネット・マネージャの実行はサポートされていません。
Exadataのみの構成で、1つ、2つまたは3つのラックを配線してInfiniBandネットワークを構成している場合、すべてのスイッチでサブネット・マネージャを実行する必要があります。スパイン・スイッチでマスター・サブネット・マネージャを実行する必要があります。Oracle Exadata Database Machineクオータ・ラックのように、ネットワークにリーフ・スイッチのみが存在する場合、サブネット・マネージャ・マスターがリーフ・スイッチで実行されます。4つ以上のラックを配線してInfiniBandネットワークを構成している場合、スパイン・スイッチでのみ、サブネット・マネージャを実行する必要があります。リーフ・スイッチのサブネット・マネージャは無効化してください。
ExadataとExalogicなどのように、異なる種類のラックを使用したマルチラック構成では、My Oracle Supportノート1682501.1を参照してください。
関連項目:
Sun Datacenter InfiniBand Switch 36ファームウェア、バージョン2.1のドキュメント(http://docs.oracle.com/cd/E36265_01/index.html
)
サブネット・マネージャの優先度の設定の詳細は、『Oracle Exadata Database Machineインストレーションおよび構成ガイド』を参照してください。
InfiniBandスイッチのアップグレードとダウングレードには、patchmgrユーティリティを使用します。patchmgrユーティリティを使用できる最小スイッチ・ファームウェア・リリースは1.3.3-2です。スイッチのファームウェアはローリング形式でアップグレードします。ラックにスパイン・スイッチが存在する場合は、スパイン・スイッチを最初にアップグレードします。ラックにスパイン・スイッチが存在しない場合は、サブネット・マネージャが実行されているスイッチをアップグレードします。スイッチでサブネット・マネージャが実行されていない場合は、任意の順序でアップグレードを実行できます。
ファイルを作成し、更新対象のInfiniBandスイッチを1行に1スイッチずつリストします。このファイルの例を次に示します。
# cat ibswitches.lst myibswitch-01 myibswitch-02
InfiniBandスイッチをアップグレードするには、スイッチのファームウェアがリリース1.3.3-2以上である必要があります。スイッチのファームウェアがそれより前のリリースである場合は、My Oracle Supportノート888828.1の説明に従って、ファームウェアをリリース1.3.3-2にアップグレードする必要があります。
InfiniBandパーティションの構成は、「Oracle ExadataでのOracle VM Oracle RACクラスタ間のInfiniBandパーティションの実装」で説明されています。Oracle VMを使用する場合も、使用しない場合も、InfiniBandパーティションを使用できます。
既存のOracle ExadataラックのInfiniBandネットワーク情報の変更が必要になることがあります。複数のInfiniBandカードを使用してメディア・サーバーをサポートするか、同じラックの本番、テストおよびQA環境などの個別のInfiniBandネットワークのInfiniBandトラフィックを維持するため、変更が必要になる場合があります。
すべてのInfiniBandアドレスに同じサブネット内のアドレスを使用し、最小のサブネット・マスク255.255.240.0(または/20)を使用する必要があります。サブネット・マスクは、将来Oracle ExadataラックおよびInfiniBandネットワークが拡張されたときにも対応できる程度のものを選択する必要があります。
関連項目:
Oracle Exalogicシステムに接続するようにSDPリスナーを構成する方法の詳細は、Oracle Fusion Middleware Exalogic Enterprise開発ガイドを参照してください。
この手順は、InfiniBandネットワーク情報の変更方法を示しています。
この項に示される手順は、次の前提条件に基づいています。
すべての変更は、ILOMインタフェースを使用してilom-admin
ユーザーとして実行する必要があります。
NET1およびNET2インタフェースを結合してBONDETH0を作成するため、クライアント・アクセス・ネットワークにチャネル・ボンディングが使用されます。チャネル・ボンディングを使用しない場合、手順のBONDETH0をNET1に置き換えてください。
X4-2以降のハードウェアでは、リリース11.2.3.3.0より、InfiniBandボンディングに使用される名前は、BONDIB0からIB0およびIB1に変更されました。これらのインタフェースは、ifcfg-bondib0
インタフェースと同じ方法で変更されます。
リリース11.2.2.1.0の時点で、ボンディングに使用される名前が変更されました。InfiniBandボンディングにBONDIB0、イーサネット・ボンディングにBONDETH0という名前を使用します。以前のリリースでは、それぞれBOND0およびBOND1という名前でした。
手順には、dcli
ユーティリティおよびroot
ユーザーを使用します。これにより、データベース・サーバーのコマンドをパラレルに実行して、手順を完了する全体の時間を大幅に短縮します。
dcli
ユーティリティには、SSHユーザー等価が必要になります。SSHユーザー等価が構成されない場合、一部のコマンドを各データベース・サーバーで明示的に実行する必要があります。
データベース・グループ・ファイルdbs_group
を/root
ディレクトリに格納する必要があります。
InfiniBandネットワーク情報を変更する前に、Oracle Cluster Registry (OCR)の最新のバックアップが存在することを確認してください。OCRバックアップは、$Grid_home/cdata/cluster-name
ディレクトリにあります。Grid_homeは、Oracle Grid Infrastructureソフトウェアをインストールした場所です。
Oracle Grid Infrastructure 11gリリース2 (11.2)以上では、プライベート・ネットワーク構成がグリッド・プラグ・アンド・プレイ(gpnp)プロファイルとOCRの両方に格納されます。gpnpの定義が正しくない場合は、Oracle Clusterware CRSが起動しません。InfiniBandネットワーク情報を変更する前に、次のコマンドを使用して、すべてのノードのgpnpプロファイルのバックアップを作成してください。
$ cd $Grid_home/gpnp/hostname/profiles/peer/ $ cp -p profile.xml profile.xml.bk
関連項目:
ipconf
コマンドの詳細は、『Oracle Exadata Storage Server Softwareユーザーズ・ガイド』を参照してください
Server Control Utility(SRVCTL)コマンドの詳細は、Oracle Real Application Clusters管理およびデプロイメント・ガイドを参照してください。
Oracle Exadata Database MachineのexachkまたはHealthCheck (My Oracle SupportのドキュメントID 1070954.1)
クラスタ検証ユーティリティ(CLUVFY)のFAQ (My Oracle SupportのドキュメントID 316817.1)
データベース・サーバーには3つの論理ネットワーク・インタフェースが構成されています。これらのインタフェースは、管理ネットワーク(eth0)、クライアント・アクセス・ネットワーク(BOND1またはBONDETH0)およびプライベートInfiniBandネットワーク(BOND0、BONDIB0またはIB0およびIB1)です。
注意:
この項の作業は、リリース11.2.3.2.1以前に構成されたデータベース・サーバーを対象にしています。
リリース11.2.2.3.0以上では、管理ネットワークへの接続の応答は管理ネットワーク・インタフェース上で送信され、クライアント・アクセス・ネットワークへの接続の応答はクライアント・アクセス・ネットワーク・インタフェース上で送信されます。プライベートInfiniBandネットワーク・トラフィックは2つのエンドポイント間での直接通信であり、ルーターは通信に関与しません。
Oracle Exadata Storage Server Softwareリリース11.2.2.3.0より前のリリースでは、管理ネットワーク上またはプライベートInfiniBandネットワーク上のIPアドレス以外を宛先としたアウトバウンド・トラフィックはデフォルト・ルートとしてクライアント・アクセス・ネットワークを使用して送信されます。この項の作業ではルーティングを変更するため、管理ネットワークに着信するトラフィックの応答は、管理ネットワークで送信されます。同様に、クライアント・ネットワークに着信するトラフィックの応答は、クライアント・ネットワークで送信されます。
ネットワーク・ルーティングの作業は、ブート時ルーティングかリアルタイム・ルーティングかによって異なります。次の点はどちらのタイプのルーティングにも当てはまります。
これらの作業は、Oracle Exadata Storage Server Softwareリリース11.2.2.3.0より前のリリースを実行しているデータベース・サーバーを対象としています。
これらの作業では次のサンプルIPアドレス、ネットマスクおよびゲートウェイを使用します。
管理ネットワークのIPアドレスは10.149.49.12、ネットマスクは255.255.252.0 (ネットワーク10.149.48.0/22)、ゲートウェイは10.149.48.1です。
クライアント・アクセス・ネットワークのIPアドレスは10.204.78.15、ネットマスクは255.255.255.0 (ネットワーク10.204.78.0/24)、ゲートウェイは10.1.78.1です。
注意:
データベース・サーバーに他のネットワークが構成されている場合は、それらのネットワークにファイルを設定してください。
ネットワーク・ルーティングとしてブート時ルーティングを行うように構成するには、各データベース・サーバーにルールおよびルーティング・ファイルを作成する必要があります。ルールおよびルーティング・ファイルは、各データベース・サーバーの/etc/sysconfig/network-scripts
ディレクトリに配置する必要があります。構成済のIPアドレスを持つ管理ネットワーク上のイーサネット・インタフェースごとに、データベース・サーバーにroute-eth
n
およびrule-eth
n
ファイルが必要です。結合イーサネット・インタフェースごとに、データベース・サーバーにroute-bondeth
n
およびrule-bondeth
n
ファイルが必要です。次に、ファイルの内容の例を示します。
ファイル | 内容 |
---|---|
|
from 10.149.49.12 table 220 to 10.149.49.12 table 220 |
|
10.149.48.0/22 dev eth0 table 220 default via 10.149.48.1 dev eth0 table 220 |
|
from 10.204.78.0/24 table 210 to 10.204.78.0/24 table 210 |
|
10.204.78.0/24 dev bondeth0 table 210 default via 10.204.78.1 dev bondeth0 table 210 |
実行中のシステムでルールを構成するには、/sbin/ip
コマンドを使用して、起動時に実行されるものと同じ構成を作成します。次のコマンドを使用すると、ブート時ファイルと同じ構成が得られます。
/sbin/ip rule add from 10.149.49.12 table 220 /sbin/ip rule add to 10.149.49.12 table 220 /sbin/ip route add 10.149.48.0/22 dev eth0 table 220 /sbin/ip route add default via 10.149.48.1 dev eth0 table 220 /sbin/ip rule add from 10.204.78.0/24 table 210 /sbin/ip rule add to 10.204.78.0/24 table 210 /sbin/ip route add 10.204.78.0/24 dev bondeth0 table 210 /sbin/ip route add default via 10.204.78.1 dev bondeth0 table 210
コマンドの実行後にデータベース・サーバーを再起動して、ブート時構成が正しいことを検証することをお薦めします。
次のコマンドを使用して、ネットワーク・ルーティング・ルールを検証します。コマンドの出力には、システム上のすべてのルールが表示されます。
# /sbin/ip rule list 0: from all lookup 255 32762: from all to 10.204.78.0/24 lookup 210 32763: from 10.204.78.0/24 lookup 210 32764: from all to 10.149.49.12 lookup 220 32765: from 10.149.49.12 lookup 220 32766: from all lookup main 32767: from all lookup default
前述の作業を行うときに2つの新しいルーティング表が作成されるため、デフォルトのルーティング表は変更されません。新しいルーティング表が使用されるのは、ルールで指定した場合のみです。次のコマンドは、デフォルトのルーティング表と新しいルーティング表をチェックする方法を示しています。
デフォルトのルーティング表をチェックする場合。次に、コマンドと出力の例を示します。
# /sbin/ip route list 10.204.78.0/24 dev bondeth0 proto kernel scope link src 10.204.78.15 192.168.10.0/24 dev bondib0 proto kernel scope link src 192.168.10.8 10.149.48.0/22 dev eth0 proto kernel scope link src 10.149.49.12 default via 10.149.52.1 dev bondeth0
追加された表にコマンドで指定する表名が含まれているかどうかをチェックする場合。次に、コマンドと出力の例を示します。
# /sbin/ip route list table 220 10.149.48.0/22 dev eth0 scope link default via 10.149.48.1 dev eth0 root@dbhost# ip route list table 210 10.204.78.0/24 dev bondeth0 scope link default via 10.204.78.1 dev bondeth0
ネットワーク・ルーティング構成は、Oracle Exadata Database Machineを構成またはトライブシューティングするときに削除できます。ルールおよびルートを削除するには、次のコマンドを使用します。
/sbin/ip route del default via 10.149.48.1 dev eth0 table 220 /sbin/ip route del 10.149.48.0/22 dev eth0 table 220 /sbin/ip rule del to 10.149.49.12 table 220 /sbin/ip rule del from 10.149.49.12 table 220 /sbin/ip route del default via 10.204.78.1 dev bondeth0 table 210 /sbin/ip route del 10.204.78.0/24 dev bondeth0 table 210 /sbin/ip rule del to 10.204.78.0/24 table 210 /sbin/ip rule del from 10.204.78.0/24 table 210
デフォルトのネットワーク・ルーティングに戻すには、追加ファイルを/etc/sysconfig/network-scripts
ディレクトリから削除し、サーバーを再起動します。次に、ファイルを削除してサーバーを再起動するコマンドの例を示します。
/bin/rm -f /etc/sysconfig/network-scripts/rule-eth0 /bin/rm -f /etc/sysconfig/network-scripts/route-eth0 /bin/rm -f /etc/sysconfig/network-scripts/rule-bondeth0 /bin/rm -f /etc/sysconfig/network-scripts/route-bondeth0 reboot
ドメイン・ネーム・システム(DNS)サーバーの構成設定は、初期設定後に変更できます。Oracle Exadata Database Machineのすべてのサーバーおよびスイッチは、同じDNSサーバーを参照する必要があります。Oracle Exadata Database Machineが参照するすべてのドメインは、個々のDNSサーバーを介して解決される必要があります。この項では、Oracle Exadata Database Machineサーバーおよびスイッチを同じDNSサーバーに設定する作業および手順について説明します。各サーバーは1つずつ変更することをお薦めします。
すべての構成手順は、ILOMインタフェースを使用してilom-admin
ユーザーとして実行する必要があります。ファームウェア・リリースに応じて、次のいずれかの手順を実行してDNSサーバーを変更します。
2.0.4より前のファームウェア:
root
ユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。
viなどのエディタを使用して/etc/resolv.conf
ファイルを編集し、DNSサーバーおよびドメイン名を設定します。各DNSサーバーに行があります。
ファイルを保存します。
2.0.4以降のファームウェア:
ilom-admin
ユーザーとしてログインします。
次のいずれかのオプションを使用して、DNSアドレスを設定します。
ILOM Webインタフェースを使用する場合:
「構成」タブをクリックして、DNSサーバー・アドレスを設定します。
コマンドライン・インタフェースを使用する場合は、次のコマンドを使用してDNSサーバーを設定します。
set /SP/clients/dns nameserver=dns_ip
前述のコマンドで、dns_ipはDNSサーバーのIPアドレスです。DNSサーバーが複数ある場合は、set /SP/clients/dns nameserver=dns_ip1,dns_ip2,dns_ip3
などのカンマ区切りのリストを入力します。
この手順では、Exadata Storage ServerでDNSサーバーを変更する方法について説明します。
注意:
この手順では、NTPも設定できます。
ネットワーク・タイム・プロトコル(NTP)サーバーの構成設定は、初期設定後に変更できます。
サーバーが同じ時刻に同期されるように、Oracle Exadata Database Machineのすべてのサーバーおよびスイッチは、同じNTPサーバーを参照する必要があります。この項では、Oracle Exadata Database Machineサーバーおよびスイッチを同じNTPサーバーに設定する作業および手順について説明します。各サーバーは1つずつ変更することをお薦めします。
注意:
これらの手順では、2つのNTPサーバー間の時間差が大きくないと仮定しています。使用
Oracle Exadata Database Machineで使用するために構成可能なNTPサーバーは最大2台です。
Oracle Exadata Database Machineのデータベース・サーバーでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。
Sun Datacenter InfiniBand Switch 36スイッチでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。
注意:
InfiniBandスイッチのファイルは手動で編集しないでください。
Ciscoイーサネット・スイッチでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。
初期構成およびデプロイメントの終了後にOracle Exadata Database Machineでタイムゾーンを変更できます。
タイムゾーン設定を変更する場合は、次のコンポーネントを変更する必要があります。
Exadata Storage Server
データベース・サーバー
InfiniBandスイッチ
Ciscoイーサネット・スイッチ
注意:
タイムゾーン設定を変更する前に、セル・サービスとOracle Clusterwareサービスを停止する必要があります。
次の作業では、コンポーネントでタイムゾーン設定を変更する方法について説明します。
次の手順では、Exadata Storage Serverでタイムゾーン設定を変更する方法について説明します。すべてのストレージ・サーバーに対する設定変更を完了してから、データベース・サーバーの設定を変更してください。
ストレージ・セルでタイムゾーンの設定を変更したら、データベース・サーバーでタイムゾーンの設定を変更できます。
この手順を開始する前に、「タスク1: Exadata Storage Serverでのタイムゾーン設定の変更」の説明に従って、Oracle Clusterwareスタックを停止して、ストレージ・セルでタイムゾーンを変更しておく必要があります。
Ciscoスイッチでタイムゾーン設定を変更できます。
enable
コマンドを使用して、特権モードを開始します。configure terminal
コマンドを使用して、構成を開始します。例4-1 Ciscoスイッチでのタイムゾーンの設定
次に、タイムゾーンをアメリカ東部に設定し、サマータイムを有効にする場合の例を示します。
$ telnet dmcisco-ip
Connected to switch name
Escape character is '^]'.
User Access Verification
Password:
dmcisco-ip>enable
Password:
dmcisco-ip#configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
dmcisco-ip(config)#clock timezone EST -5
dmcisco-ip(config)#clock summer-time EDT recurring
dmcisco-ip(config)#end
dmcisco-ip#write memory
Building configuration...
Compressed configuration from 6421 bytes to 2041 bytes[OK]
dmcisco-ip#show clock
12:03:43.516 EDT Wed May 12 2012
dmcisco-ip#
この手順では、KVM(キーボード、ビデオ、マウス)スイッチの構成方法について説明します。
接続されているすべてのコンポーネントの電源を切断して、スイッチを構成します。
注意:
KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。
ラックの前面からKVMトレイを引き出して、ハンドルを使用して開きます。
タッチ・パッドに触れます。
マウスのダブルクリックと同じように左側の[Ctrl]
キーを2回押して、ホストとKVMインタフェースを切り替えます。
ユーザー・インタフェースのユニット・ビューから「ターゲット・デバイス」を選択します。Oracle Exadata Database Machineフル・ラックに22、Oracle Exadata Database Machineハーフ・ラックに11、Oracle Exadata Database Machineクオータ・ラックに5のセッション数が表示されます。セッション数は、Oracle Exadata Storage Expansionフル・ラックは18、Oracle Exadata Storage拡張ハーフ・ラックは9、Oracle Exadata Storage拡張クオータ・ラックは4にする必要があります。
注意:
すべてのセッションが表示されない場合、ポート・ヘッダーからIQアダプタを選択します。表ヘッダー、「ポート」の順にクリックして、ポート番号でセッションをソートします。欠落している項目をメモします。ラックの下部から上部にセッションの番号が順番に付けられます。
ターゲット・デバイス画面に戻ります。
ユーザー・アカウントから「ローカル」を選択します。
ユーザーの下の「管理」をクリックします。
管理アカウントのパスワードを設定します。他のパラメータを変更しないでください。
「保存」をクリックします。
アプライアンス設定から「ネットワーク」を選択します。「ネットワーク情報」画面が表示されます。
IPv4またはIPv6を選択します。
DNSサーバーのアドレス、サブネット、ゲートウェイおよびIPアドレスの値を入力します。
「保存」をクリックします。
KVM LAN1イーサネット・ポートを管理ネットワークに接続します。
ネットワーク情報画面のMACアドレスを確認して、ポートが正しく構成されていることを確認します。アドレスは、KVMスイッチの背面のLAN1/LAN2ポートの横のラベルと一致する必要があります。
アプライアンスから「概要」を選択します。
KVMスイッチの名前を入力します。
「保存」をクリックします。
「概要」の下の「再起動」を選択して、KVMスイッチを再起動します。
アプライアンス設定の「バージョン」を選択して、ファームウェア・バージョンのスイッチを確認します。次のようにアプリケーションとブートに2つのバージョン番号が表示されます。
Required version is: Application 1.2.10.15038 Boot 1.6.15020
注意:
推奨されているファームウェア・バージョンは、1.2.8以上です。
ファームウェアが1.2.3以下の場合、ネットワーク・ブラウザからアップグレードできます。バージョン1.2.3以上の場合、KVM USBポートに接続されたフラッシュ・ドライブを使用してローカルのキーボードからアップグレードできます。ファームウェアをアップグレードするには、次の手順を実行します。
アプライアンスから「概要」を選択します。
「ツール」リストからファームウェアのアップグレードを選択します。
アップグレード方法を選択します。
「アップグレード」をクリックします。
ファームウェア・バージョンを確認します。
関連項目:
KVMスイッチの管理情報ベース(MIB)の詳細は、AvocentのWebサイト(https://www.vertivco.com/en-us/support/software-download/it-management/avocent-mergepoint-unity-switches-software-downloads/
)を参照してください
次の手順は、サーバーにアクセスするKVMスイッチの構成方法を示しています。
注意:
KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。
trnacel03
は接頭辞がtrna
で、次にラック下部のストレージ・セル3を表す名前が続き、trnadb02
は接頭辞がtrna
で、ラック下部のデータベース・サーバー2を表す名前が続きます。 次の手順は、KVMスイッチを使用してサーバーへアクセスする方法を示しています。
注意:
KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。