この章では、Recovery Applianceラックのハードウェア・コンポーネントの構成方法について説明します。内容は次のとおりです。
注意:
この章の手順では、Oracle Exadata Deployment Assistantにより生成されるファイルを使用します。このユーティリティは、この章の手順を開始する前に実行する必要があります。
自動サービス・リクエストはRecovery Applianceのオプション・コンポーネントです。自動サービス・リクエストのためにRecovery Applianceを構成するには、最初にASRマネージャをインストールする必要があります。
Oracle Exadata Deployment Assistantで使用することを目的として自動サービス・リクエストが選択されていることを確認します。Recovery ApplianceはOracle Advanced Support GatewayまたはOracle Platinum Gatewayとともに使用することはできません。
ASRマネージャ・ホストのIPアドレスおよびルート・パスワードを知っている必要があります。
ASRマネージャがすでにサイトで動作している場合、バージョンが4.5以上であることを確認します。それ以外の場合、アップグレードする必要があります。
ASRマネージャのバージョン番号を取得する手順:
Linuxシステムの場合:
# rpm -qa | grep SUNWswasr
SUNWswasr-2.7-1
Solarisシステムの場合:
# pkginfo -l SUNWswasr
PKGINST: SUNWswasr
NAME: SASM ASR Plugin
CATEGORY: application
ARCH: all
VERSION: 2.6
BASEDIR: /
VENDOR: Sun Microsystems, Inc.
.
.
.
これらの例の出力は、ASRマネージャを4.5以上に更新する必要があることを示しています。
ASRマネージャがまだインストールされていない場合、「自動サービス・リクエストの設定」の手順に従います。ASRマネージャをOracle ASRバックエンドに登録した後、Recovery Applianceを構成するためにこれらの手順に戻ります。
Oracle Secure Backupのテープ・バックアップは、Recovery Applianceのオプションです。QLogic ZLE8362ファイバ・カードおよびトランシーバをサイトにインストールする必要があります。これらは出荷前に工場ではインストールされません。
QLogicファイバ・カードはラックに同梱してOracleから出荷されます。トランシーバはサプライヤから直接出荷されます。
テープ・ネットワーキング・ハードウェアをインストールする手順:
関連項目:
PCIeカードの交換の完全な手順については、Oracle SupportのドキュメントID 1592317.1を参照してください。
Recovery Applianceラックの個々のデバイスを構成する前に、ラックの工場出荷時の設定と既存のネットワークの間に、IPアドレスの競合がないことを確認します。
Recovery Applianceラックの構成準備をするには、次のようにします。
関連項目:
Recovery Applianceでは、Sun Datacenter InfiniBand Switch 36の2つのリーフ・スイッチは、iba
およびibb
と識別されます。両方のスイッチに、次の構成手順を実行します。
U20のリーフ・スイッチ1のデフォルトの識別子はiba
、U22のリーフ・スイッチ2のデフォルトの識別子はibb
です。
Sun Datacenter InfiniBand Switch 36スイッチを構成するには、次のようにします。
マルチラック構成で、スパイン・スイッチのILOMでラック・マスター・シリアル番号を設定します。リーフ・スイッチを構成する場合は、この手順をスキップします。
スパイン・スイッチでシリアル番号を設定する手順:
InfiniBandスイッチの状態を確認するには、次のようにします。
ファブリック管理シェルを開きます。
-> show /SYS/Fabric_Mgmt NOTE: show on Fabric_Mgmt will launch a restricted Linux shell. User can execute switch diagnosis, SM Configuration and IB monitoring commands in the shell. To view the list of commands, use "help" at rsh prompt. Use exit command at rsh prompt to revert back to ILOM shell. FabMan@hostname->
プロンプトが->からFabMan@hostname->に変わります
スイッチの全般的な状態を確認します。
FabMan@ra1sw-iba-> showunhealthy
OK - No unhealthy sensors
環境全般を確認します。
FabMan@ra1sw-iba-> env_test
NM2 Environment test started:
Starting Voltage test:
Voltage ECB OK
Measured 3.3V Main = 3.28 V
Measured 3.3V Standby = 3.42 V
Measured 12V = 12.06 V
.
.
.
レポートには、ファン1、2、3があり、ファン0と4がないことが表示されます。「All OK and Passed」という結果は、環境が正常であることを示します。
スイッチのInfiniBandサブネット・マネージャの現在の優先度を確認します。リーフ・スイッチのsmpriorityの値は5、スパイン・スイッチのsmpriorityの値は8である必要があります。次に示すサンプル出力は、リーフ・スイッチの優先度が正しいことを示しています。
FabMan@ra1sw-iba-> setsmpriority list
Current SM settings:
smpriority 5
controlled_handover TRUE
subnet_prefix 0xfe80000000000000
優先度の設定が正しくない場合は、リセットします。
サブネット・マネージャを無効にします。
FabMan@ra1sw-iba->disablesm
Stopping partitiond daemon. [ OK ]
Stopping IB Subnet Manager.. [ OK ]
優先度をリセットします。この例では、リーフ・スイッチに優先度を設定しています。
FabMan@ra1sw-iba->setsmpriority 5
Current SM settings:
smpriority
5 controlled_handover TRUE
subnet_prefix 0xfe80000000000000
サブネット・マネージャを再起動します。
FabMan@ra1sw-iba->enablesm
Starting IB Subnet Manager. [ OK ]
Starting partitiond daemon. [ OK ]
ファブリック管理シェルとOracle ILOMシェルからログアウトします。
FabMan@ra1sw-iba-> exit -> exit
Linuxにrootとしてログインし、スイッチを再起動します。
localhost: root password: welcome1 [root@localhost ~]# reboot
ラップトップをInfiniBandスイッチから取り外します。
2つ目のInfiniBandリーフ・スイッチで、この手順を繰り返します。
ラック・ユニット1 (U1)にあるInfiniBandスイッチは、スパイン・スイッチと呼ばれます。Recovery Applianceでスパイン・スイッチを使用できるのは、別のRecovery Applianceに接続している場合のみです。ラックの基本コンポーネントには含まれていません。
ラックを配線した後、次の手順を実行します。
スパイン・スイッチはInfiniBandサブネットのサブネット・マネージャ・マスターです。サブネット・マネージャ・マスターの優先度は8です。
スパイン・スイッチの優先度の設定を確認するには、次のようにします。
root
ユーザーとしてスパイン・スイッチにログインします。
setsmpriority list
コマンドを実行します。
このコマンドにより、smpriority
の値は8であることが示されます。smpriority
の値が異なる場合は、次のようにしてください。
disablesm
コマンドを使用して、サブネット・マネージャを停止します。
setsmpriority 8
コマンドを使用して優先度を8に設定します。
enablesm
コマンドを使用して、サブネット・マネージャを再起動します。
他の2つのInfiniBandスイッチはリーフ・スイッチです。リーフ・スイッチは、ラック・ユニット20および22 (U20とU22)にあります。これらは、優先度が5のスタンバイ・サブネット・マネージャです。ステータスは、前述の手順22.bのコマンドに値5を代入して確認できます。
サブネット・マネージャ・マスターを確認するには、次のようにします。
任意のInfiniBandスイッチにroot
ユーザーとしてログインします。
サブネット・マネージャ・マスターの場所が表示されます。
# getmaster
20100701 11:46:38 OpenSM Master on Switch : 0x0021283a8516a0a0 ports 36 Sun DCS 36
QDR switch ra01sw-ib1.example.com enhanced port 0 lid 1 lmc 0
前述の出力は、適切な構成を示しています。サブネット・マスター・マネージャは、スパイン・スイッチra01sw-ib1.example.comで実行されます。
スパイン・スイッチがサブネット・マネージャ・マスターではない場合、サブネット・マネージャ・マスターをリセットします。
getmaster
コマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。
サブネット・マネージャ・マスターのリーフ・スイッチにroot
ユーザーとしてログインします。
スイッチのサブネット・マネージャを無効にします。サブネット・マネージャ・マスターが別のスイッチに移動します。
関連項目:
次のWebサイトの『Sun Datacenter InfiniBand Switch 36 User's Guide』のサブネット・マネージャの無効化に関する項を参照してください。
http://docs.oracle.com/cd/E19197-01/835-0784-05/z4001de61813698.html#z40003f12047367
getmaster
コマンドを使用して、サブネット・マネージャ・マスターの現在の場所を確認します。スパイン・スイッチがサブネット・マネージャ・マスターではない場合、スパイン・スイッチがサブネット・マネージャ・マスターになるまで手順2と3を繰り返します。
この手順の実行中に無効になったリーフ・スイッチのサブネット・マネージャを有効にします。
関連項目:
次のWebサイトの『Sun Datacenter InfiniBand Switch 36 User's Guide』のサブネット・マネージャの有効化に関する項を参照してください。
http://docs.oracle.com/cd/E19197-01/835-0784-05/z4001de61707660.html#z40003f12047359
注意:
4つ以上のラックを配線してInfiniBandネットワークを構成している場合、スパイン・スイッチでのみ、サブネット・マネージャを実行します。リーフ・スイッチのサブネット・マネージャは無効化します。
Recovery Applianceに付属するCisco Catalyst 4948イーサネット・スイッチには、IPBASEK9-MZファームウェアが内蔵されています。インストール中にスイッチの最低限の構成が行われます。次の手順では、Ciscoイーサネット・スイッチを構成して1つの大規模な仮想LANにします。
Ciscoイーサネット・スイッチの構成の内容および手順は、次のとおりです。
最小構成では、IPルーティングが無効になり、次の設定が行われます。
ホスト名
IPアドレス
サブネット・マスク
デフォルトのゲートウェイ
ドメイン名
ネーム・サーバー
NTPサーバー
時刻
タイムゾーン
カスタマ・ネットワークの切断を避けるため、次の前提条件を満たす必要があります。
ネットワーク管理者が実行構成を検証して必要な変更を行うまで、Ciscoイーサネット・スイッチを接続しないでください。
Recovery Applianceの全コンポーネントのIPアドレスが構成されるまで、Ciscoイーサネット・スイッチを接続しないでください。この順序を守ることにより、工場出荷時の設定が原因で発生することのある重複IPアドレスの競合を避けられます。
Ciscoイーサネット・スイッチはネットワーク管理者と一緒に構成してください。
関連項目:
Zero Data Loss Recovery Appliance設置場所チェックリスト
次の手順は、Ciscoイーサネット・スイッチの構成方法を示しています。構成はネットワーク管理者と一緒に行う必要があります。
Telnetは安全ではないため、やむを得ない理由がないかぎり、有効にしないでください。Telnetを有効にするには、パスワードを設定します。無効にするには、パスワードを削除します。
Telnet接続を無効にする手順:
イーサネット・スイッチでセキュア・シェル(SSH)を構成する手順:
次の例に示すコマンドを入力します。
ra1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. ra1sw-ip(config)# crypto key generate rsa % You already have RSA keys defined named ra1sw-ip.example.com. % Do you really want to replace them? [yes/no]: yes Choose the size of the key modulus in the range of 360 to 2048 for your General Purpose Keys. Choosing a key modulus greater than 512 may take a few minutes. How many bits in the modulus [512]: 768 % Generating 768 bit RSA keys, keys will be non-exportable...[OK] ra1sw-ip(config)# username admin password 0 welcome1 ra1sw-ip(config)# line vty 0 15 ra1sw-ip(config-line)# transport input ssh ra1sw-ip(config-line)# exit ra1sw-ip(config)# aaa new-model ra1sw-ip(config)# ip ssh time-out 60 ra1sw-ip(config)# ip ssh authentication-retries 3 ra1sw-ip(config)# ip ssh version 2 ra1sw-ip(config)# end *Sep 15 14:26:37.045: %SYS-5-CONFIG_I: Configured from console by console ra1sw-ip# write memory Building configuration... Compressed configuration from 2603 bytes to 1158 bytes[OK]
デフォルトでは、Ciscoスイッチでスパニング・ツリーは有効になっています。スパニング・ツリーが有効なスイッチをネットワークに追加すると、ネットワーク問題が発生する可能性があります。防止策として、スイッチをネットワークに接続する前に、アップリンク・ポートのVLANからスパニング・ツリーを無効にすることができます。または、ネットワークへの接続の前後に、特定のプロトコル設定を使用してスパニング・ツリー・プロトコルをオンにすることもできます。
アップリンク・ポートのVLANでスパニング・ツリーを無効にする手順:
デフォルトのプロトコル設定を使用してスパニング・ツリー・プロトコルを再度有効にする手順:
次の例に示すコマンドを使用します。
ra1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. ra1sw-ip(config)# spanning-tree vlan 1 ra1sw-ip(config)# end ra1sw-ip# write memory
関連項目:
データ・センターのイーサネット・ネットに必要な特定のプロトコル設定を使用したスパニング・ツリー・プロトコルの有効化方法の詳細は、『Cisco Switch Configuration Guide』を参照してください。
U16およびU17の2台の計算サーバーを確認するには、次のようにします。
両方の計算サーバーがまだ起動していない場合はこれらの電源をオンにし、BIOSが初期化され、Linuxオペレーティング・システムがロードされるのを待機します。
シリアル・ケーブルを使用して、ラップトップを1台目の計算サーバーのシリアルMGTポートに接続します。
次の設定を使用するようラップトップの端末エミュレータを構成します。
9600ボー
8ビット
1ストップ・ビット
パリティ・ビットなし
ハンドシェークなし
フロー制御なし
パスワードにwelcome1
を使用して、root
ユーザーとしてログインします。
1台目の計算サーバー(ラップトップに接続されているもの)で、Oracle ILOMコンソールを開き、ログインします。
-> start /SP/console
2台目の計算サーバーで、SSHを使用してログインします。デフォルトの工場出荷時のIPアドレスは192.168.1.109です。
ラック・マスターとホストのシリアル番号が正しく設定されていることを確認します。最初の番号はラックのシリアル番号と一致する必要があり、2番目の番号はサーバーの前面のSysSNラベルと一致する必要があります。
# ipmitool sunoem cli "show /System" | grep serial
serial_number = AK12345678
component_serial_number = 1234NM567H
モデルとラックのシリアル番号が正しく設定されていることを確認します。
# ipmitool sunoem cli "show /System" | grep model model = ZDLRA X5 # ipmitool sunoem cli "show /System" | grep ident system_identifier = Oracle Zero Data Loss Recovery Appliance X5 AK12345678
管理ネットワークが動作していることを検証します。
# ethtool eth0 | grep det
Link detected: yes
ILOM管理ネットワークが動作していることを検証します。
# ipmitool sunoem cli 'show /SP/network' | grep ipadd
ipaddress = 192.168.1.108
pendingipaddress = 192.168.1.108
Oracle ILOMがオプションのQLogic PCIeカード(設置されている場合)を検出できることを確認します。
# ipmitool sunoem cli "show /System/PCI_Devices/Add-on/Device_1"
Connected. Use ^D to exit.
-> show /System/PCI_Devices/Add-on/Device_1
/System/PCI_Devices/Add-on/Device_1
Targets:
Properties:
part_number = 7101674
description = Sun Storage 16 Gb Fibre Channel PCIe Universal FC HBA,
Qlogic
location = PCIE1 (PCIe Slot 1)
pci_vendor_id = 0x1077
pci_device_id = 0x2031
pci_subvendor_id = 0x1077
pci_subdevice_id = 0x024d
Commands:
cd
show
-> Session closed
Disconnected
QLogic PCIeカードの詳細は、「テープ・ハードウェアの設置」を参照してください。
すべてのメモリー(256GB)が存在することを確認します。
# grep MemTotal /proc/meminfo
MemTotal: 264232892 kB
[
値は、BIOSのバージョンに応じて若干異なる可能性があります。ただし、値がこれより小さい場合は、Oracle ILOMイベント・ログを使用して、問題のあるメモリーを特定します。
4台のディスクが表示されていて、オンラインであり、スロット0からスロット3の番号が付いていることを確認します。
# cd /opt/MegaRAID/MegaCli/ # ./MegaCli64 -Pdlist -a0 | grep "Slot\|Firmware state" Slot Number: 0 Firmware state: Online, Spun Up Slot Number: 1 Firmware state: Online, Spun Up Slot Number: 2 Firmware state: Online, Spun Up Slot Number: 3 Firmware state: Online, Spun Up
ハードウェアの論理ボリュームが正しく設定されていることを確認します。4台のディスクがありホット・スペアのないRAID5として仮想ディスク0を探します。
[root@db01 ~]# cd /opt/MegaRAID/MegaCli [root@db01 MegaCli]# ./MegaCli64 -LdInfo -lAll -a0 Adapter 0 -- Virtual Drive Information: Virtual Drive: 0 (Target Id: 0) Name :DBSYS RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3 Size : 1.633 TB Physical Sector Size: 512 Logical Sector Size : 512 VD has Emulated PD : No Parity Size : 557.861 GB State : Optimal Strip Size : 1.0 MB Number Of Drives : 4 Span Depth : 1 . . .
ハードウェア・プロファイルが正しく動作していることを確認します。
# /opt/oracle.SupportTools/CheckHWnFWProfile
[SUCCESS] The hardware and firmware matches supported profile for
server=ORACLE_SERVER_X5-2
この出力は、動作が正しいことを示します。ただし、次のように表示された場合は、続行する前に修正する必要がある問題があることを示します。
[WARNING] The hardware and firmware are not supported. See details below [InfinibandHCAPCIeSlotWidth] Requires: x8 Found: x4 [WARNING] The hardware and firmware are not supported. See details above
より詳細な出力を取得するなど、使用可能なオプションをレビューするには、--help
引数を使用します。
1台目の計算サーバーに接続している場合のみ:
1台目の計算サーバーのIPアドレスを確認します。
# ifconfig eth0 eth0 Link encap:Ethernet HWaddr 00:10:E0:3C:EA:B0 inet addr:172.16.2.44 Bcast:172.16.2.255 Mask:255.255.255.0 inet6 addr: fe80::210:e0ff:fe3c:eab0/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:7470193 errors:0 dropped:0 overruns:0 frame:0 TX packets:4318201 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:872195171 (831.7 MiB) TX bytes:2444529519 (2.2 GiB)
2台目の計算サーバーのIPアドレスを確認します。
# ibhosts
Ca : 0x0010e0000159c61c ports 2 "node4 elasticNode 172.16.2.40,172.16.2.40 ETH0"
Ca : 0x0010e000015a46f0 ports 2 "node10 elasticNode 172.16.2.46,172.16.2.46 ETH0"
Ca : 0x0010e0000159d96c ports 2 "node1 elasticNode 172.16.2.37,172.16.2.37 ETH0"
Ca : 0x0010e0000159c51c ports 2 "node2 elasticNode 172.16.2.38,172.16.2.38 ETH0"
Ca : 0x0010e000015a5710 ports 2 "node8 elasticNode 172.16.2.44,172.16.2.44 ETH0"
サーバーから切断します。
1台目の計算サーバー: exit
2台目の計算サーバー: logout
2台目の計算サーバーで、これらの手順を繰り返します。
Recovery Appliance X5のラックには3台から18台までのストレージ・サーバー、Recovery Appliance X4のラックには3台から14台までのストレージ・サーバーを設置できます。ラックの一番下の段から開始して、各サーバーを確認します。
ストレージ・サーバーを確認するには、次のようにします。