8 リカバリ・アプライアンス・ラックの構成
この章では、リカバリ・アプライアンス・ラックのハードウェア・コンポーネントの構成方法について説明します。内容は次のとおりです。
ノート:
この章の手順では、Oracle Exadata Deployment Assistantにより生成されるファイルを使用します。このユーティリティは、この章の手順を開始する前に実行する必要があります。
自動サービス・リクエストのサポート
自動サービス・リクエストはリカバリ・アプライアンスのオプション・コンポーネントです。自動サービス・リクエストのためにリカバリ・アプライアンスを構成するには、最初にASRマネージャをインストールする必要があります。
自動サービス・リクエストを使用するための前提条件
Oracle Exadata Deployment Assistantで使用することを目的として自動サービス・リクエストが選択されていることを確認します。リカバリ・アプライアンスはOracle Advanced Support GatewayまたはOracle Platinum Gatewayとともに使用することはできません。
ASRマネージャ・ホストのIPアドレスおよびルート・パスワードを知っている必要があります。
既存のASRマネージャのインストールの確認
ASRマネージャがすでにサイトで動作している場合、バージョンが4.5以上であることを確認します。それ以外の場合、アップグレードする必要があります。
ASRマネージャのバージョン番号を取得するには:
-
Linuxシステムの場合:
# rpm -qa | grep SUNWswasr SUNWswasr-2.7-1 -
Solarisシステムの場合:
# pkginfo -l SUNWswasr PKGINST: SUNWswasr NAME: SASM ASR Plugin CATEGORY: application ARCH: all VERSION: 2.6 BASEDIR: / VENDOR: Sun Microsystems, Inc. . . .
これらの例の出力は、ASRマネージャを4.5以上に更新する必要があることを示しています。
ASRマネージャのインストール
ASRマネージャがまだインストールされていない場合、「自動サービス・リクエストの設定」の手順に従います。ASRマネージャをOracle ASRバックエンドに登録した後、リカバリ・アプライアンスを構成するためにこれらの手順に戻ります。
テープ・ハードウェアの設置
Oracle Secure Backupのテープ・バックアップは、リカバリ・アプライアンスのオプションです。QLogic ZLE8362ファイバ・カードおよびトランシーバをサイトにインストールする必要があります。これらは出荷前に工場ではインストールされません。
QLogicファイバ・カードはラックに同梱してOracleから出荷されます。トランシーバはサプライヤから直接出荷されます。
テープ・ネットワーキング・ハードウェアをインストールするには:
関連項目:
PCIeカードの交換の完全な手順については、Oracle SupportのドキュメントID 1592317.1を参照してください。
ラックの構成前のネットワーク構成の確認
checkip.shスクリプトを使用して、既存のネットワークと新しいZDLRAラックの間でIPアドレスの競合がないことを確認します。
checkip.shスクリプトは、インストール前チェックを実行して、Oracle Exadata Deployment Assistant (OEDA)で指定したIPアドレスおよびホスト名がDNSで定義されていること、NTPサーバーおよびゲートウェイが使用可能であること、およびプライベート・アドレスがping可能でないことを確認します。ハードウェアが到着する前にこのスクリプトを実行すると、ドメイン・ネーム・システム(DNS)やNTPなどの誤って構成されたネットワーク・サービスによって生じる追加の遅延を回避できます。
checkip.shスクリプトは、OEDAを実行したクライアントのオペレーティング・システムと一致する形式で作成されます。このスクリプトはエンジニアド・システム・ラックが到着する前に実行されるため、通常、このスクリプトはエンジニアド・システム・サーバーではなく、クライアント上で実行します。クライアントは、エンジニアド・システムがデプロイされる同じネットワークにアクセスできる必要があります。このスクリプトは、OEDAによって生成されたZIPファイルでも使用できます。
解決できない競合がある場合は、割り当てられたOracle担当者と連携して問題を修正してください。
RDMAネットワーク・ファブリック・スイッチの構成
RDMAネットワーク・ファブリック・スイッチの初期構成を実行する必要があります。
InfiniBandスイッチの構成
リカバリ・アプライアンスでは、Sun Datacenter InfiniBand Switch 36の2つのリーフ・スイッチは、ibaおよびibbと識別されます。両方のスイッチに、次の構成手順を実行します。
InfiniBandスイッチの構成
U20のリーフ・スイッチ1のデフォルトの識別子はiba、U22のリーフ・スイッチ2のデフォルトの識別子はibbです。
Sun Datacenter InfiniBand Switch 36スイッチを構成するには、次のようにします。
スパイン・スイッチでのシリアル番号の設定
マルチラック構成で、スパイン・スイッチのILOMでラック・マスター・シリアル番号を設定します。リーフ・スイッチを構成する場合は、この手順をスキップします。
スパイン・スイッチでシリアル番号を設定するには:
InfiniBandスイッチの状態の確認
InfiniBandスイッチの状態を確認するには、次のようにします。
-
ファブリック管理シェルを開きます。
-> show /SYS/Fabric_Mgmt NOTE: show on Fabric_Mgmt will launch a restricted Linux shell. User can execute switch diagnosis, SM Configuration and IB monitoring commands in the shell. To view the list of commands, use "help" at rsh prompt. Use exit command at rsh prompt to revert back to ILOM shell. FabMan@hostname->
プロンプトが->からFabMan@hostname->に変わります
-
スイッチの全般的な状態を確認します。
FabMan@ra1sw-iba-> showunhealthy OK - No unhealthy sensors -
環境全般を確認します。
FabMan@ra1sw-iba-> env_test NM2 Environment test started: Starting Voltage test: Voltage ECB OK Measured 3.3V Main = 3.28 V Measured 3.3V Standby = 3.42 V Measured 12V = 12.06 V . . .レポートには、ファン1、2、3があり、ファン0と4がないことが表示されます。「All OK and Passed」という結果は、環境が正常であることを示します。
-
スイッチのInfiniBandサブネット・マネージャの現在の優先度を確認します。リーフ・スイッチのsmpriorityの値は5、スパイン・スイッチのsmpriorityの値は8である必要があります。次に示すサンプル出力は、リーフ・スイッチの優先度が正しいことを示しています。
FabMan@ra1sw-iba-> setsmpriority list Current SM settings: smpriority 5 controlled_handover TRUE subnet_prefix 0xfe80000000000000 -
優先度の設定が正しくない場合は、リセットします。
-
サブネット・マネージャを無効にします。
FabMan@ra1sw-iba->disablesm Stopping partitiond daemon. [ OK ] Stopping IB Subnet Manager.. [ OK ] -
優先度をリセットします。この例では、リーフ・スイッチに優先度を設定しています。
FabMan@ra1sw-iba->setsmpriority 5 Current SM settings: smpriority 5 controlled_handover TRUE subnet_prefix 0xfe80000000000000 -
サブネット・マネージャを再起動します。
FabMan@ra1sw-iba->enablesm Starting IB Subnet Manager. [ OK ] Starting partitiond daemon. [ OK ]
-
-
ファブリック管理シェルとOracle ILOMシェルからログアウトします。
FabMan@ra1sw-iba-> exit -> exit
-
Linuxにrootとしてログインし、スイッチを再起動します。
localhost: root password: welcome1 [root@localhost ~]# reboot
-
ラップトップをInfiniBandスイッチから取り外します。
-
2つ目のInfiniBandリーフ・スイッチで、この手順を繰り返します。
サブネット・マネージャ・マスターとしてのスパイン・スイッチの設定
ラック・ユニット1 (U1)にあるInfiniBandスイッチは、スパイン・スイッチと呼ばれます。リカバリ・アプライアンスでスパイン・スイッチを使用できるのは、別のリカバリ・アプライアンスに接続している場合のみです。ラックの基本コンポーネントには含まれていません。
ラックを配線した後、次のステップを実行します。
スパイン・スイッチはInfiniBandサブネットのサブネット・マネージャ・マスターです。サブネット・マネージャ・マスターの優先度は8です。
スパイン・スイッチの優先度の設定を確認するには、次のようにします。
-
rootユーザーとしてスパイン・スイッチにログインします。 -
setsmpriority listコマンドを実行します。このコマンドにより、
smpriorityの値は8であることが示されます。smpriorityの値が異なる場合は、次のようにしてください。-
disablesmコマンドを使用して、サブネット・マネージャを停止します。 -
setsmpriority 8コマンドを使用して優先度を8に設定します。 -
enablesmコマンドを使用して、サブネット・マネージャを再起動します。
-
他の2つのInfiniBandスイッチはリーフ・スイッチです。リーフ・スイッチは、ラック・ユニット20および22 (U20とU22)にあります。これらは、優先度が5のスタンバイ・サブネット・マネージャです。ステータスは、前述のステップ22.bのコマンドに値5を代入して確認できます。
サブネット・マネージャ・マスターを確認するには、次のようにします。
-
任意のInfiniBandスイッチに
rootユーザーとしてログインします。 -
サブネット・マネージャ・マスターの場所が表示されます。
# getmaster 20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36 QDR switch ra01sw-ib1.example.com enhanced port 0 lid 1 lmc 0前述の出力は、適切な構成を示しています。サブネット・マスター・マネージャは、スパイン・スイッチra01sw-ib1.example.comで実行されます。
スパイン・スイッチがサブネット・マネージャ・マスターではない場合、サブネット・マネージャ・マスターをリセットします。
-
getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。 -
サブネット・マネージャ・マスターのリーフ・スイッチに
rootユーザーとしてログインします。 -
スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。
関連項目:
次のWebサイトの『Sun Datacenter InfiniBand Switch 36 User's Guide』のサブネット・マネージャの無効化に関する項を参照してください。
http://docs.oracle.com/cd/E19197-01/835-0784-05/z4001de61813698.html#z40003f12047367 -
getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまでステップ2と3を繰り返します。 -
この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。
関連項目:
次のWebサイトの『Sun Datacenter InfiniBand Switch 36 User's Guide』のサブネット・マネージャの有効化に関する項を参照してください。
http://docs.oracle.com/cd/E19197-01/835-0784-05/z4001de61707660.html#z40003f12047359
ノート:
4つ以上のラックを配線してInfiniBandネットワークを構成している場合、スパイン・スイッチでのみ、サブネット・マネージャを実行します。リーフ・スイッチのサブネット・マネージャは無効化します。
Ciscoイーサネット・スイッチの構成
リカバリ・アプライアンスに付属するCisco Catalyst 4948イーサネット・スイッチには、IPBASEK9-MZファームウェアが内蔵されています。インストール中にスイッチの最低限の構成が行われます。次の手順では、Ciscoイーサネット・スイッチを構成して1つの大規模な仮想LANにします。
Cisco Catalyst 4948イーサネット・スイッチの構成
ZDLRAラックに同梱されているCisco Catalyst 4948イーサネット・スイッチは、インストール時に最小限で構成されます。
最小構成では、IPルーティングが無効になり、次の設定が行われます。
- ホスト名
- IPアドレス設定
- サブネット・マスク
- デフォルトのゲートウェイ
- ドメイン名
- ネーム・サーバー
- NTPサーバー
- 時刻
- タイムゾーン
スイッチを構成する前に、次の点に注意してください。
-
実行中の構成が確認され、ネットワーク管理者によって必要な変更が実行されるまで、Ciscoイーサネット・スイッチを接続しないでください。
-
ZDLRAラックですべてのコンポーネントのIPアドレスを構成するまで、Ciscoイーサネット・スイッチを顧客のネットワークに接続しないでください。これは、発送時にコンポーネントに設定されるデフォルトのアドレスによる重複するIPアドレスの競合を防ぐためです。
Cisco 4948E-Fスイッチは、ポート49 - 52を使用して、顧客ネットワークへの複数のuplinkをサポートしています。これは、冗長な接続性のためにスイッチ設定が複雑で、顧客のネットワーク管理者によって実行する必要があります。
次の手順は、Ciscoイーサネット・スイッチの構成方法を示しています。構成はネットワーク管理者と一緒に行う必要があります。
-
Ciscoスイッチ・コンソールからラップトップまたは類似する装置にシリアル・ケーブルを接続します。Oracle提供のロールオーバー・ケーブルは、Ciscoシリアル・コンソール・ポートにあらかじめ取り付けられています。適切なアダプタを入手し、それをロールオーバー・ケーブルの末端に接続します。ILOMポートで使用されるOracle P/N 530-3100 RJ45-DB9アダプタも機能し、ネットワーク・ケーブルの末端に接続されます。
-
ログ出力によって、端末セッションがラップトップ上に記録されていることを確認します。出力結果を使用して、スイッチが正しく構成されていることを確認できます。デフォルトのシリアル・ポート速度は、9600ボー、8ビット、パリティなし、1ストップ・ビット、ハンドシェイクなしです。
Switch con0 is now available Press RETURN to get started. -
enableモードに変更します。
Switch> enable Password: ****** Switch#ノート:
パスワードがない場合は、Oracleサポート・サービスに連絡してください。 -
スイッチの現在のバージョンを確認します。
Switch# show version Cisco IOS Software, Catalyst 4500 L3 Switch Software (cat4500e- IPBASEK9-M), Version 15.2(3)E2, RELEASE SOFTWARE (fc1) Technical Support: http://www.cisco.com/techsupport Copyright (c) 1986-2014 by Cisco Systems, Inc. Compiled Tue 11-Mar-14 18:28 by prod_rel_team ROM: 12.2(44r)SG12 zdlra1sw-ip uptime is 1 minute System returned to ROM by reload System image file is "bootflash:cat4500e-ipbasek9-mz.152-3.E2.bin" Hobgoblin Revision 22, Fortooine Revision 1.40 ... Configuration register is 0x2102 Switch#リカバリ・アプライアンス X6とともに購入および出荷されたCisco 4948E-Fスイッチ・ファームウェアのバージョンは、IPBASEK9-MZであり、
telnetおよびsshのサポートが含まれています。現在は、完全なリリース・バージョン文字列はcat4500e-ipbasek9-mz.152-3.E2.binです。 -
単一のVLANのネットワークを構成します。次の例では、IPv4アドレス指定を使用していることを前提とします。
Switch# configure terminal Enter configuration commands,one per line.End with CNTL/Z. Switch(config)# interface vlan 1 Switch(config-if)# ip address 10.7.7.34 255.255.255.0 Switch(config-if)# end Switch# *Sep 15 14:12:06.309:%SYS-5-CONFIG_I:Configured from console by console Switch# write memory Building configuration... Compressed configuration from 2474 bytes to 1066 bytes [OK ] -
スイッチでIPルーティングが必要な場合、デフォルトのIPルーティング設定を使用し、デフォルトのゲートウェイを構成します。 10.7.7.1を、インストールのゲートウェイのIPアドレスと置き換えます。
Switch#configure terminal Enter configuration commands,one per line.End with CNTL/Z. Switch(config)#ip route 0.0.0.0 0.0.0.0 10.7.7.1 Switch(config)#end *Sep 15 14:13:26.013:%SYS-5-CONFIG_I:Configured from console by console Switch#write memory Building configuration... Compressed configuration from 2502 bytes to 1085 bytes [OK ] -
スイッチのホスト名を設定します。
この例では、名前がra1sw-ipに設定されています。
プロンプト名としてシステム・ホスト名が使用されます。
-
最大3つのDNSサーバーを構成します。この例で使用されているドメイン名とIPアドレスを、インストールの値に置き換えます。
ra1sw-ip#configure terminal Enter configuration commands,one per line.End with CNTL/Z. ra1sw-ip(config)#ip domain-name example.com ra1sw-ip(config)#ip name-server 10.7.7.3 ra1sw-ip(config)#ip name-server 198.51.100.5 ra1sw-ip(config)#ip name-server 10.8.160.1 ra1sw-ip(config)#end *Sep 15 14:26:37.045:%SYS-5-CONFIG_I:Configured from console by console ra1sw-ip#write memory Building configuration... Compressed configuration from 2603 bytes to 1158 bytes [OK ]使用できるDNSサービスがない場合でも、SSHキーを構成できるようにドメイン名を設定する必要があります。
-
(オプション)パスワードを設定します。
ra1sw-ip# configure terminal Enter configuration commands,one per line. End with CNTL/Z. ra1sw-ip(config)# enable password password ra1sw-ip(config)# enable secret password ra1sw-ip(config)# end ra1sw-ip# write memory *Sep 15 14:25:05.893:%SYS-5-CONFIG_I:Configured from console by console Building configuration... Compressed configuration from 2502 bytes to 1085 bytes [OK ] -
Telnetアクセスが無効であることを確認します。Telnetは安全ではないため、やむを得ない理由がないかぎり、有効にしないでください。Telnetを有効にするには、パスワードを設定します。無効にするには、パスワードを削除します。
ra1sw-ip#configure terminal Enter configuration commands,one per line. End with CNTL/Z. ra1sw-ip(config)#line vty 0 15 ra1sw-ip(config)#login % Login disabled on line 1, until 'password' is set % Login disabled on line 2, until 'password' is set ... % Login disabled on line 16, until 'password' is set ra1sw-ip(config)#endログイン・コマンドで次のような出力が返された場合は、telnetアクセスは無効になっています。かわりにプロンプトが表示された場合は、telnetアクセスがまだ無効にされていないため、ここで無効にする必要があります。
ra1sw-ip(config-line)#no password ra1sw-ip(config-line)#end ra1sw-ip#write memory Building configuration... Compressed configuration from 3786 bytes to 1468 bytes [OK ] -
イーサネット・スイッチでセキュア・シェル(SSH)を構成するには:
ra1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. ra1sw-ip(config)# crypto key generate rsa % You already have RSA keys defined named ra1sw-ip.example.com. % Do you really want to replace them? [yes/no]: yes Choose the size of the key modulus in the range of 360 to 2048 for your General Purpose Keys. Choosing a key modulus greater than 512 may take a few minutes. How many bits in the modulus [512]: 768 % Generating 768 bit RSA keys, keys will be non-exportable...[OK] ra1sw-ip(config)# username admin password 0 welcome1 ra1sw-ip(config)# line vty 0 15 ra1sw-ip(config-line)# transport input ssh ra1sw-ip(config-line)# exit ra1sw-ip(config)# aaa new-model ra1sw-ip(config)# ip ssh time-out 60 ra1sw-ip(config)# ip ssh authentication-retries 3 ra1sw-ip(config)# ip ssh version 2 ra1sw-ip(config)# end *Sep 15 14:26:37.045: %SYS-5-CONFIG_I: Configured from console by console ra1sw-ip# write memory Building configuration... Compressed configuration from 2603 bytes to 1158 bytes[OK] -
クロックとタイムゾーンを設定します。スイッチは、協定世界時(UTC)形式の内部時間を維持します。
-
UTCを使用するには、次のコマンドを使用します。
no clock timezone global configuration -
タイムゾーンを使用するには、次のコマンドを使用します。
clock timezone zone hours-offset [minutes-offset]前述のコマンドのzoneは有効な標準時を表示するタイムゾーン、hours-offsetはUTCからの時間オフセット、minutes-offsetはUTCからの分オフセットです。
-
夏時間(またはサマータイム)はデフォルトでは無効になっています。サマータイムの時間を設定するには、次のコマンドを使用します。
clock summer-time zone recurring [week day monthhh:mm week day month \ hh:mm[offset]]前述のコマンドでは、zoneはサマータイムが有効になっている場合に表示されるタイムゾーン(たとえば、EDT)、weekは月単位の週(1から5の数値またはlast)、dayは週単位の日(Sunday、Monday、...)、monthは月(January、February、...)、hh:mmは24時間形式の時間と分、offsetはサマータイム中に追加される分数です。デフォルトのオフセットは、60分です。
-
クロックの時間を手動で設定するには、次のコマンドを使用します。ここでは、指定された時間は、構成済のタイムゾーンに関連します。
clock set hh:mm:ss month day year前述のコマンドでは、hh:mm:ssは24時間形式の時間、dayは月単位の日、monthは月の名前、yearは4桁の年です。
ローカル時間とタイムゾーンを設定する場合は、コマンドの順序が重要です。たとえば、ローカル時間をアメリカ東部時間に設定するには、次のようにします。
ra1sw-ip# configure terminal Enter configuration commands,one per line. End with CNTL/Z. ra1sw-ip(config)# clock timezone EST -5 ra1sw-ip(config)# clock summer-time EDT recurring ra1sw-ip(config)# end ra1sw-ip# clock set 21:00:00 August 09 2018 ra1sw-ip# write memory Building configuration... Compressed configuration from 3784 bytes to 1465 bytes [OK ] ra1sw-ip# show clock 21:00:06.643 EST Mon Aug 9 2018 -
-
ローカル・タイムゾーンを設定した後、NTPサーバーを2つまで構成できます。この例で使用されているIPアドレスを、インストールの値に置き換えます。
ra1sw-ip# configure terminal Enter configuration commands,one per line. End with CNTL/Z. ra1sw-ip(config)# ntp server 10.7.7.32 prefer ra1sw-ip(config)# ntp server 198.51.100.19 ra1sw-ip(config)# end *Sep 15 14:51:08.665:%SYS-5-CONFIG_I:Configured from console by console ra1sw-ip# write memory Building configuration... Compressed configuration from 2654 bytes to 1163 bytes [OK ] ra1sw-ip# show ntp status <output will vary per network> . ra1sw-ip# show clock 21:00:23.175 EST Mon Aug 9 2018Ciscoスイッチがネットワークに接続してNTPにアクセスできる場合、NTPサーバーがローカル時間と同期化します。
show clockの前に表示される記号は、その時間が次のものであることを意味します。*正式ではありません.正式ですが、NTPが同期されていません。
-
次のコマンドを使用してイーサネット構成を検証します。
ra1sw-ip# show running-config Building configuration... Current configuration : 3923 bytes ! version 15.2 no service pad service timestamps debug datetime msec service timestamps log datetime msec no service password-encryption service compress-config . . .ノート:
設定が正しくない場合は、適切なステップを繰り返します。設定を消去するには、同じコマンドの前に
noと入力します。たとえば、デフォルトのゲートウェイを消去するには、次のコマンドを使用します。ra1sw-ip#configure terminal Enter configuration commands, one per line. End with CNTL/Z. ra1sw-ip(config)# no ip default-gateway 10.7.7.1 ra1sw-ip(config)# end ra1sw-ip# *Sep 15 14:13:26.013: %SYS-5-CONFIG_I: Configured from console by console ra1sw-ip(config)# write memory Building configuration... Compressed configuration from 2502 bytes to 1085 bytes[OK] -
現在の構成を保存します。
ra1sw-ip#copy running-config startup-config Destination filename [startup-config]? Building configuration... Compressed configuration from 2654 bytes to 1189 bytes[OK] -
次のコマンドを使用して、セッションを終了します。
ra1sw-ip# exit ra1sw-ip con0 is now available Press RETURN to get started. -
Ciscoコンソールからケーブルを取り外します。
この段階では、Ciscoスイッチを管理ネットワークに接続しないでください。このスイッチを接続するのは、必要なIPアドレスを使用してOracleによってシステムが構成され、現場サービス・エンジニアとの協力によりネットワークへの接続に必要なその他の変更を加えた後になります。
-
Ciscoスイッチを確認するには、ラップトップ・コンピュータをポート48に接続し、内部管理ネットワークのIPアドレスにpingを実行して構成を確認します。
スイッチを管理ネットワークに接続しないでください。
Cisco Nexus 93108-1Gまたは9348イーサネット・スイッチの構成
ZDLRAラックに同梱されているCisco Nexus 93108-1Gまたは9348イーサネット・スイッチは、インストール時に最小限で構成されます。
Cisco Nexus 93108-1Gまたは9348スイッチは、QSFP+ポートを使用して、顧客ネットワークへの複数のuplinkをサポートしています。これは、冗長な接続性のためにスイッチ設定が複雑で、顧客のネットワーク管理者によって実行する必要があります。
初めてこのスイッチを構成する場合でも、交換スイッチを構成する場合でも、次の手順を使用します。
Cisco Nexus 93108-1Gまたは9348イーサネット・スイッチの初期スイッチ構成の実行
初期構成の間に、スイッチをリセットし、基本システム構成ダイアログを使用してスイッチを構成します。
スイッチを構成する前に、次の点に注意してください。
-
実行中の構成が確認され、ネットワーク管理者によって必要な変更が実行されるまで、Ciscoイーサネット・スイッチを接続しないでください。
-
ZDLRAラックですべてのコンポーネントのIPアドレスを構成するまで、Ciscoイーサネット・スイッチを顧客のネットワークに接続しないでください。これは、発送時にコンポーネントに設定されるデフォルトのアドレスによる重複するIPアドレスの競合を防ぐためです。
構成はネットワーク管理者と一緒に行う必要があります。
イーサネット・スイッチでのスパニング・ツリーの無効化
デフォルトでは、Ciscoスイッチでスパニング・ツリーは有効になっています。スパニング・ツリーが有効なスイッチをネットワークに追加すると、ネットワーク問題が発生する可能性があります。防止策として、スイッチをネットワークに接続する前に、アップリンク・ポートのVLANからスパニング・ツリーを無効にすることができます。または、ネットワークへの接続の前後に、特定のプロトコル設定を使用してスパニング・ツリー・プロトコルをオンにすることもできます。
アップリンク・ポートのVLANでスパニング・ツリーを無効にするには:
デフォルトのプロトコル設定を使用してスパニング・ツリー・プロトコルを再度有効にするには:
-
次の例に示すコマンドを使用します。
ra1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. ra1sw-ip(config)# spanning-tree vlan 1 ra1sw-ip(config)# end ra1sw-ip# write memory
関連項目:
データ・センターのイーサネット・ネットに必要な特定のプロトコル設定を使用したスパニング・ツリー・プロトコルの有効化方法の詳細は、『Cisco Switch Configuration Guide』を参照してください。
計算サーバーの状態の確認
U16およびU17の2台の計算サーバーを確認するには、次のようにします。
-
両方の計算サーバーがまだ起動していない場合はこれらの電源をオンにし、BIOSが初期化され、Linuxオペレーティング・システムがロードされるのを待機します。
-
シリアル・ケーブルを使用して、ラップトップを1台目の計算サーバーのシリアルMGTポートに接続します。
-
次の設定を使用するようラップトップの端末エミュレータを構成します。
-
9600ボー
-
8ビット
-
1ストップ・ビット
-
パリティ・ビットなし
-
ハンドシェークなし
-
フロー制御なし
-
-
パスワードに
welcome1を使用して、rootユーザーとしてログインします。-
1台目の計算サーバー(ラップトップに接続されているもの)で、Oracle ILOMコンソールを開き、ログインします。
-> start /SP/console
-
2台目の計算サーバーで、SSHを使用してログインします。デフォルトの工場出荷時のIPアドレスは192.168.1.109です。
-
-
ラック・マスターとホストのシリアル番号が正しく設定されていることを確認します。最初の番号はラックのシリアル番号と一致する必要があり、2番目の番号はサーバーの前面のSysSNラベルと一致する必要があります。
# ipmitool sunoem cli "show /System" | grep serial serial_number = AK12345678 component_serial_number = 1234NM567H -
モデルとラックのシリアル番号が正しく設定されていることを確認します。
# ipmitool sunoem cli "show /System" | grep model model = ZDLRA X5 # ipmitool sunoem cli "show /System" | grep ident system_identifier = Oracle Zero Data Loss Recovery Appliance X5 AK12345678
-
管理ネットワークが動作していることを検証します。
# ethtool eth0 | grep det Link detected: yes -
ILOM管理ネットワークが動作していることを検証します。
# ipmitool sunoem cli 'show /SP/network' | grep ipadd ipaddress = 192.168.1.108 pendingipaddress = 192.168.1.108 -
Oracle ILOMがオプションのQLogic PCIeカード(設置されている場合)を検出できることを確認します。
# ipmitool sunoem cli "show /System/PCI_Devices/Add-on/Device_1" Connected. Use ^D to exit. -> show /System/PCI_Devices/Add-on/Device_1 /System/PCI_Devices/Add-on/Device_1 Targets: Properties: part_number = 7101674 description = Sun Storage 16 Gb Fibre Channel PCIe Universal FC HBA, Qlogic location = PCIE1 (PCIe Slot 1) pci_vendor_id = 0x1077 pci_device_id = 0x2031 pci_subvendor_id = 0x1077 pci_subdevice_id = 0x024d Commands: cd show -> Session closed DisconnectedQLogic PCIeカードの詳細は、「テープ・ハードウェアの設置」を参照してください。
-
すべてのメモリー(256GB)が存在することを確認します。
# grep MemTotal /proc/meminfo MemTotal: 264232892 kB [値は、BIOSのバージョンに応じて若干異なる可能性があります。ただし、値がこれより小さい場合は、Oracle ILOMイベント・ログを使用して、問題のあるメモリーを特定します。
-
4台のディスクが表示されていて、オンラインであり、スロット0からスロット3の番号が付いていることを確認します。
# cd /opt/MegaRAID/MegaCli/ # ./MegaCli64 -Pdlist -a0 | grep "Slot\|Firmware state" Slot Number: 0 Firmware state: Online, Spun Up Slot Number: 1 Firmware state: Online, Spun Up Slot Number: 2 Firmware state: Online, Spun Up Slot Number: 3 Firmware state: Online, Spun Up
-
ハードウェアの論理ボリュームが正しく設定されていることを確認します。4台のディスクがありホット・スペアのないRAID5として仮想ディスク0を探します。
[root@db01 ~]# cd /opt/MegaRAID/MegaCli [root@db01 MegaCli]# ./MegaCli64 -LdInfo -lAll -a0 Adapter 0 -- Virtual Drive Information: Virtual Drive: 0 (Target Id: 0) Name :DBSYS RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3 Size : 1.633 TB Physical Sector Size: 512 Logical Sector Size : 512 VD has Emulated PD : No Parity Size : 557.861 GB State : Optimal Strip Size : 1.0 MB Number Of Drives : 4 Span Depth : 1 . . .
-
ハードウェア・プロファイルが正しく動作していることを確認します。
# /opt/oracle.SupportTools/CheckHWnFWProfile [SUCCESS] The hardware and firmware matches supported profile for server=ORACLE_SERVER_X5-2この出力は、動作が正しいことを示します。ただし、次のように表示された場合は、続行する前に修正する必要がある問題があることを示します。
[WARNING] The hardware and firmware are not supported. See details below [InfinibandHCAPCIeSlotWidth] Requires: x8 Found: x4 [WARNING] The hardware and firmware are not supported. See details above
より詳細な出力を取得するなど、使用可能なオプションをレビューするには、
--help引数を使用します。 -
1台目の計算サーバーに接続している場合のみ:
-
1台目の計算サーバーのIPアドレスを確認します。
# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:10:E0:3C:EA:B0 inet addr:172.16.2.44 Bcast:172.16.2.255 Mask:255.255.255.0 inet6 addr: fe80::210:e0ff:fe3c:eab0/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:7470193 errors:0 dropped:0 overruns:0 frame:0 TX packets:4318201 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:872195171 (831.7 MiB) TX bytes:2444529519 (2.2 GiB)
-
2台目の計算サーバーのIPアドレスを確認します。
# ibhosts Ca : 0x0010e0000159c61c ports 2 "node4 elasticNode 172.16.2.40,172.16.2.40 ETH0" Ca : 0x0010e000015a46f0 ports 2 "node10 elasticNode 172.16.2.46,172.16.2.46 ETH0" Ca : 0x0010e0000159d96c ports 2 "node1 elasticNode 172.16.2.37,172.16.2.37 ETH0" Ca : 0x0010e0000159c51c ports 2 "node2 elasticNode 172.16.2.38,172.16.2.38 ETH0" Ca : 0x0010e000015a5710 ports 2 "node8 elasticNode 172.16.2.44,172.16.2.44 ETH0"
-
-
サーバーから切断します。
-
1台目の計算サーバー:
exit -
2台目の計算サーバー:
logout
-
-
2台目の計算サーバーで、これらのステップを繰り返します。
ストレージ・サーバーの状態の確認
Recovery Appliance X5以上のバージョンには3台から18台までのストレージ・サーバー、Recovery Appliance X4のラックには3台から14台までのストレージ・サーバーを設置できます。ラックの一番下の段から開始して、各サーバーを確認します。
ストレージ・サーバーを確認するには、次のようにします。
InfiniBand Network Fabricネットワークの確認
この手順では、InfiniBand Network Fabricネットワークの確認方法について説明します。
-
ラック内のすべてのRDMAネットワーク・ファブリック・ケーブル接続を視覚的に確認します。ポート・ライトが点灯し、LEDの電源が投入されていることを確認します。各コネクタを押して接続を確認しないでください。
-
ラックのコンポーネントに
rootユーザーとしてログインします。 -
次のコマンドを使用して、InfiniBand Network Fabricトポロジを確認します。
# cd /opt/oracle.SupportTools/ibdiagtools # ./verify-topology [-t rack_size]次の例は、ネットワーク・コンポーネントが正しい場合の出力を示しています。
[DB Machine Infiniband Cabling Topology Verification Tool ] Is every external switch connected to every internal switch......[SUCCESS ] Are any external switches connected to each other................[SUCCESS ] Are any hosts connected to spine switch..........................[SUCCESS ] Check if all hosts have 2 CAs to different switches..............[SUCCESS ] Leaf switch check:cardinality and even distribution..............[SUCCESS ] Check if each rack has an valid internal ring....................[SUCCESS ]前述のコマンドのrack_sizeは、ラックのサイズです。ラックがリカバリ・アプライアンスのハーフ・ラックまたはリカバリ・アプライアンスのクォーター・ラックの場合は、
-t rack_sizeオプションが必要です。必要に応じて値halfrackまたはquarterrackを使用します。次の例は、誤ったRDMAネットワーク・ファブリック・スイッチをケーブルに接続した場合の出力を示しています。
#./verify-topology [DB Machine Infiniband Cabling Topology Verification Tool ] Is every external switch connected to every internal switch......[SUCCESS ] Are any external switches connected to each other................[SUCCESS ] Are any hosts connected to spine switch..........................[SUCCESS ] Check if all hosts have 2 CAs to different switches..............[SUCCESS ] Leaf switch check:cardinality and even distribution..............[SUCCESS ] Check if each rack has an valid internal ring....................[ERROR ] Switches 0x21283a87cba0a0 0x21283a87b8a0a0 have 6 connections between them. They should have at least 7 links between them次の例は、データベース・サーバーに誤ったRDMAネットワーク・ファブリック・ケーブルがある場合の出力を示しています。
#./verify-topology [DB Machine Infiniband Cabling Topology Verification Tool ] Is every external switch connected to every internal switch......[SUCCESS ] Are any external switches connected to each other................[SUCCESS ] Are any hosts connected to spine switch..........................[SUCCESS ] Check if all hosts have 2 CAs to different switches..............[ERROR ] Node db01 has 1 endpoints.(Should be 2) Port 2 of this node is not connected to any switch --------fattree End Point Cabling verification failed----- Leaf switch check:cardinality and even distribution..............[ERROR ] Internal QDR Switch 0x21283a87b8a0a0 has fewer than 4 compute nodes It has only 3 links belonging to compute nodes [SUCCESS ] Check if each rack has an valid internal ring...................[SUCCESS ]次の例は、スイッチおよびシステムに誤った接続がある場合の出力を示しています。
#./verify-topology [DB Machine Infiniband Cabling Topology Verification Tool ] Is every external switch connected to every internal switch......[SUCCESS ] Are any external switches connected to each other................[SUCCESS ] Are any hosts connected to spine switch..........................[SUCCESS ] Check if all hosts have 2 CAs to different switches..............[ERROR ] Node burxdb01 has 1 endpoints.(Should be 2) Port 2 of this node is not connected to any switch --------fattree End Point Cabling verifation failed----- Leaf switch check:cardinality and even distribution..............[ERROR ] Internal QDR Switch 0x21283a87b8a0a0 has fewer than 4 compute nodes It has only 3 links belonging to compute nodes...................[SUCCESS ] Check if each rack has an valid internal ring....................[ERROR ] Switches 0x21283a87cba0a0 0x21283a87b8a0a0 have 6 connections between them They should have at least 7 links between them
Oracle Exadata Database Machineフル・ラックおよびOracle Exadata Database Machineハーフ・ラックのサブネット・マネージャ・マスターの設定
Recovery Appliance X3-2システムおよびRecovery Appliance X2-2システムには、3つのSun Datacenter InfiniBand Switch 36スイッチがあります。リカバリ・アプライアンス X4-2以降では、リカバリ・アプライアンスシステムには2つのSun Datacenter InfiniBand Switch 36スイッチがあります。
ノート:
この手順は、RoCE Network Fabricを使用するリカバリ・アプライアンス X8Mラックには適用されません。ラック・ユニット1 (U1)にあるスイッチは、スパイン・スイッチと呼ばれます。他の2つのスイッチは、リーフ・スイッチと呼ばれます。リーフ・スイッチの場所は、次のとおりです。
-
リカバリ・アプライアンス2ソケット・システム (X3-2以上): ラック・ユニット20 (U20)およびラック・ユニット22 (U22)
-
リカバリ・アプライアンス X2-2ラック: ラック・ユニット20 (U20)およびラック・ユニット24 (U24)
-
リカバリ・アプライアンス Eight-Socket Systems (X2-8以上)フル・ラック: ラック・ユニット21 (U21)およびラック・ユニット23 (U23)
スパイン・スイッチは、InfiniBand Network Fabricサブネットのサブネット・マネージャ・マスターです。サブネット・マネージャ・マスターの優先度は8で、次の手順で検証できます。
-
rootユーザーとしてスパイン・スイッチにログインします。 -
setsmpriority listコマンドを実行します。このコマンドにより、
smpriorityの値は8であることが示されます。smpriorityの値が異なる場合は、次のようにしてください。-
disablesmコマンドを使用して、サブネット・マネージャを停止します。 -
setsmpriority 8コマンドを使用して優先度を8に設定します。 -
enablesmコマンドを使用して、サブネット・マネージャを再起動します。
-
リーフ・スイッチは優先度が5のスタンバイ・サブネット・マネージャです。これは、前述の手順のsetsmpriorityコマンドに値5を代入して確認できます。
ノート:
Sun Fire X4170 Oracle Database Serverを備えたリカバリ・アプライアンスハーフ・ラックには、優先度が5に設定された2つのSun Datacenter InfiniBand Switch 36スイッチがあります。サブネット・マネージャ・マスターを調べるには、任意のInfiniBand Network Fabricスイッチにrootユーザーとしてログインして、getmasterコマンドを実行します。サブネット・マネージャ・マスターの場所が表示されます。次に、getmasterコマンドの出力例を示します。
# getmaster
20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36
QDR switch dm01sw-ib1.example.com enhanced port 0 lid 1 lmc 0
前述の出力は、適切な構成を示しています。サブネット・マスター・マネージャは、スパイン・スイッチdm01sw-ib1.example.comで実行されます。
スパイン・スイッチがサブネット・マネージャ・マスターではない場合、次の手順を実行してサブネット・マネージャ・マスターを設定します。
-
getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。 -
サブネット・マネージャ・マスターのリーフ・スイッチに
rootユーザーとしてログインします。 -
スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。
-
getmasterコマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまでステップ2と3を繰り返します。 -
この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。
ノート:
- 4つ以上のラックを配線してInfiniBand Network Fabricネットワークを構成している場合、サブネット・マネージャはスパイン・スイッチでのみ実行する必要があります。リーフ・スイッチでは、サブネット・マネージャを無効化する必要があります。
- Sun Fire X4170 Oracle Database Serverを使用したリカバリ・アプライアンスハーフ・ラックおよびリカバリ・アプライアンスクオータ・ラックには、2つのSun Datacenter InfiniBand Switch 36スイッチがあり、どちらも優先度は5に設定されています。GUIDが再下位のものがマスターです。
関連項目:
- 『Sun Datacenter InfiniBand Switch 36ユーザーズ・ガイド』のSubnet Managerの有効化に関する項
- 『Sun Datacenter InfiniBand Switch 36ユーザーズ・ガイド』のSubnet Managerの無効化に関する項
- ハードウェア・コンポーネント情報は、『Oracle Exadata Database Machineシステム概要』を参照してください。
- 『Oracle Exadata Database Machineシステム概要』の配線表に関する項