7 Oracle Big Data Applianceのフル・ラックまたはスタータ・ラックの構成
この章では、Oracle Big Data Applianceのフル・ラックまたはスタータ・ラックのシステム、アカウントおよびソフトウェアを構成する方法について説明します。
この章の内容は次のとおりです。
関連項目:
ノート:
-
これらの手順を実行するときに、
bda-install-preview.html
ファイルを使用可能にしておくことをお薦めします。「構成ファイルについて」を参照してください。 -
この章に説明されている構成ステップの実行は、オラクル社のフィールド・エンジニアに任せることをお薦めします。
7.1 KVMスイッチの構成
KVMスイッチは、Sun Fire X4270 M2サーバーを搭載したOracle Big Data Applianceラックにのみ含まれます。
7.1.1 KVMスイッチの起動
-
接続されているすべてのコンポーネントの電源がオフになっていることを確認します。
-
ラックの前面からKVMトレイを引き出し、ハンドルを使用して開きます。
-
タッチ・パッドに触れます。
-
マウスでダブルクリックするように、左側の[Ctrl]キーを2回押して、ホストとKVMインタフェースを切り替えます。メインのユーザー・インタフェース・ページが表示されます。
-
左側のナビゲータで、「Unit View」の下の「Target Devices」を選択します。メインの表示領域で、「Action」が「KVM Session」に設定された状態で18のターゲット・デバイスがリストされていることを確認します。
セッションは、ラックの一番下から一番上に向かって番号が付けられています。
-
18のセッションが表示されない場合:
-
「Appliances」の下のナビゲータで、「Ports」を開き、「IQ Adaptors」を選択します。
-
メインの表示領域で、「Port」表見出しを選択してポート番号でセッションをソートします。
-
後で修正できるように、欠落しているセッションをノートにとります。
-
ナビゲータで、「Target Devices」を選択して「Target Devices」ページに戻ります。
-
7.1.2 管理ネットワークへのKVMスイッチの接続
- 「User Accounts」の下のナビゲータで、「Local」を選択します。
- 「Users」の下で、「Admin」を選択します。
- 管理アカウントのパスワードを、Oracle Install Coordinatorによって提供されたパスワードに設定し、「Save」を選択します。他のパラメータは何も変更しないでください。
- 「Appliance Settings」の下で、「Network」を開き、「IPv4」を選択します。「Network Information」ページが表示されます。
- 「Address」、「Subnet」および「Gateway」の値を入力し、「Save」を選択します。
- 「Appliance Settings」の下で、「DNS」を選択して「DNS Information」ページを表示します。
- DNSサーバーのIPアドレスを入力し、「Save」を選択します。
- 「Network」の下で、「General」を選択して「Appliance General Network Settings」ページを表示します。
- KVM LAN1イーサネット・ポートを管理ネットワークに接続します。
- ポートが正しく構成されていることを確認するには、「Network Settings」ページのメディア・アクセス制御(MAC)アドレスが、KVMスイッチの背面のLAN1/LAN2ポートの横にあるラベルと一致していることを確認します。
- 「Users」の下で、「Overview」を選択して「Unit Maintenance」ページを表示します。
- KVMスイッチの名前を入力し、「Save」を選択します。
- KVMスイッチを再起動するには、「Overview」の下で「Reboot」を選択し、「Yes」を選択して確定します。
7.1.3 サーバーにアクセスするためのKVMスイッチの構成
- 「Unit View」の下で、「Target Devices」を選択して「Target Devices」ページを表示します。
- サーバーを起動します。電源ボタンは前面パネルにあります。
- 「Name」列のサーバー名をクリックして「Unit Overview」ページを表示します。
- 「Overview」をクリックして、カスタマ接頭辞、ノード・タイプおよび番号のOracle標準ネーミング形式で名前を上書きします。たとえば、
bda1node03
は、bda1ラックの一番下から3番目のサーバーを示します。 - 「Save」をクリックします。
- ラックの各サーバーでステップ2から5までを繰り返します。各サーバーがBIOSを通じて起動し、デフォルトの工場出荷時のIP構成を使用してオペレーティング・システムが起動します。
7.2 イーサネット・スイッチの構成
Oracle Big Data X7ラックには、Cisco Nexus 9348GC-FXPイーサネット・スイッチが付属するようになりました。
以前はX7ラックには、Cisco Nexus 93108-1Gが付属していました。構成ステップは、両方のバージョンのNexusスイッチで同じです。それよりも前のラックには、Cisco Catalyst 4948イーサネット・スイッチが付属しています。
7.2.1 Cisco Nexus 93108-1Gまたは9348イーサネット・スイッチの構成
Oracle Big Data Applianceラックに付属するCisco Nexus 93108-1Gまたは9348イーサネット・スイッチは、インストール中に最低限の構成が行われます。
Cisco Nexus 93108-1Gまたは9348スイッチは、QSFP+ポートを使用することによって、お客様のネットワークへの複数のアップリンクをサポートしています。これは、接続が冗長であるためにスイッチの設定が複雑になるので、お客様のネットワーク管理者が行う必要があります。
スイッチを初めて構成する場合も、交換スイッチを構成する場合も、次の手順を使用します。
7.2.1.1 Cisco Nexus 93108-1Gイーサネット・スイッチの初期スイッチ構成の実行
初期構成中に、スイッチをリセットし、「Basic System Configuration Dialog」を使用してスイッチを構成します。
スイッチを構成する前に、次の点に注意してください。
-
ネットワーク管理者が実行中の構成を検証して必要な変更を加えるまでは、Cisco社製イーサネット・スイッチに接続しないでください。
-
すべてのコンポーネントのIPアドレスがOracle Big Data Applianceラックで構成されるまで、Ciscoイーサネット・スイッチをカスタマ・ネットワークに接続しないでください。これは、出荷時にコンポーネントに設定されているデフォルトのアドレスによって、重複するIPアドレスの競合が発生するのを防ぐためです。
構成はネットワーク管理者と一緒に行う必要があります。
7.2.2 Cisco Catalyst 4948イーサネット・スイッチの構成
Oracle Big Data Applianceに付属するCisco Catalyst 4948イーサネット・スイッチには、IPBASEK9-MZファームウェアがあります。インストール中にスイッチの最低限の構成が行われます。次の手順では、Ciscoイーサネット・スイッチを構成して1つの大規模な仮想LANにします。
Ciscoイーサネット・スイッチの構成の内容および手順は、次のとおりです。
7.2.2.1 構成の範囲
この構成では、IPルーティングを無効化して次の項目を設定します。
-
ホスト名
-
IPアドレス
-
サブネット・マスク
-
デフォルト・ゲートウェイ
-
ドメイン名
-
ネーム・サーバー
-
NTPサーバー
-
時刻
-
タイムゾーン
7.2.2.2 イーサネット・スイッチを構成するための前提条件
カスタマ・ネットワークの切断を避けるため、次の前提条件を満たす必要があります。
-
すべてのコンポーネントのIPアドレスがOracle Big Data Applianceで構成されるまで、Ciscoイーサネット・スイッチをカスタマ・ネットワークに接続しないでください。この順序を守ることで、出荷時のコンポーネントのデフォルト・アドレス・セットが原因で発生することのある重複IPアドレスの競合を避けることができます。
-
Ciscoイーサネット・スイッチはネットワーク管理者と一緒に構成してください。
関連項目:
-
Oracle Big Data Applianceサイト・チェックリスト
7.2.2.3 カスタマ・ネットワークでのイーサネット・スイッチの構成
次の手順の<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
カスタマ・ネットワークでイーサネット・スイッチを構成するには、次の手順を実行します。
-
Ciscoスイッチ・コンソールからのシリアル・ケーブルをラップトップなどのデバイスに接続します。RJ45-DB9シリアル・ケーブルがCiscoドキュメント・パッケージに付属しています。
ステータス・ランプがオンになり、次のメッセージが表示されます。
Switch con0 is now available Press RETURN to get started.
-
イーサネット・スイッチにステータス・ランプおよびようこそメッセージが表示された場合、続行します。そうでない場合、「自動起動設定の修正」に移動します。
-
ターミナル・セッションが出力のロギングによってラップトップに記録されることを確認します。出力は、スイッチが正しく構成されたという記録として使用できます。デフォルトのシリアル・ポートの速度は9600ボー、8ビット、パリティなし、1ストップ・ビットおよびハンドシェイクなしです。
-
次のコマンドを使用して
enable
モードに変更します。Switch> enable Password: <
password
> -
単一のVLANのネットワークを構成します。次に、構成の例を示します。
Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# interface vlan 1 Switch(config-if)# ip address 10.7.7.34 255.255.255.0 Switch(config-if)# end Switch# *Jan 23 15:54:00.506: %SYS-5-CONFIG_I:Configured from console by console Switch# write memory Building configuration... Compressed configuration from 2474 bytes to 1066 bytes [OK ]
-
ネットワークでスイッチのIPルーティングを必要としない場合、デフォルトのIPルーティング設定を無効化してデフォルト・ゲートウェイを構成します。この方法が推奨されます。確信が持てない場合は、ネットワーク管理者に連絡してください。
Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# no ip routing Switch(config)# ip default-gateway 10.17.7.1 Switch(config)# end *Jan 23 15:54:00.506: %SYS-5-CONFIG_I:Configured from console by console Switch# write memory Building configuration... Compressed configuration from 3600 bytes to 1305 bytes[OK]]
-
ネットワークでスイッチのIPルーティングを必要とする場合、デフォルトのIPルーティング設定を維持し、次のようにデフォルト・ゲートウェイを構成します。
Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# ip route 0.0.0.0 0.0.0.0 10.7.7.1 Switch(config)# end *Jan 23 15:55:02.506: %SYS-5-CONFIG_I:Configured from console by console Switch# write memory Building configuration... Compressed configuration from 2502 bytes to 1085 bytes [OK ]
-
スイッチのホスト名を、インストール・プレビューで指定されている名前に設定します。この例では、bda1sw-ipという名前を使用します。
Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# hostname bda1sw-ip bda1sw-ip(config)# end *Jan 23 15:57:50.886: %SYS-5-CONFIG_I: Configured from console by console bda1sw-ip# write memory Building configuration... Compressed configuration from 3604 bytes to 1308 bytes[OK] bda1sw-ip#
システムのホスト名がプロンプトに表示されます。
-
ここに示す例を使用するかわりに、インストール・プレビューで指定されているIPアドレスを使用して、最大で3つのDNSサーバーを構成します。DNSサービスを使用できない場合は、ドメインに任意の名前を設定し、SSHキーを構成できるようにします。
bda1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# ip domain-name mydomain.com bda1sw-ip(config)# ip name-server 10.7.7.3 bda1sw-ip(config)# ip name-server 129.148.5.5 bda1sw-ip(config)# ip name-server 10.8.160.1 bda1sw-ip(config)# end *Sep 15 14:26:37.045: %SYS-5-CONFIG_I: Configured from console by console bda1sw-ip# write memory Building configuration... Compressed configuration from 2603 bytes to 1158 bytes[OK]
自動起動設定の修正
Ciscoイーサネット・スイッチにリンクまたはステータス・ランプが表示されない場合、自動起動設定が適切でないために起動できない可能性があります。シリアル・コンソール・ポートにrommonプロンプトが表示された場合、次の手順を完了します。
Ciscoスイッチの自動起動設定を修正するには、次の手順を実行します。
-
IPBASEおよびIPBASEK9ファームウェアの再起動ファイルが使用可能であることを確認します。
rommon 1 >dir bootflash: File Size (Bytes) File Name ------------------------------ 25213107 cat4500e-ipbase-mz.150-2.SG2.bin 32288280 cat4500e-ipbasek9-mz.151-1.SG.bin Total space = 128165888 bytes, Available = 60643328 bytes
-
デフォルト・イメージを使用してスイッチを手動で再起動します。
rommon 2 >boot Rommon reg: 0x00004780 Reset2Reg: 0x00009EFF ## Fortooine controller 0x0B5A753B..0x0B70B6CD original size:0x001C3EA5 ################## diagsk5 version 5.0.1 . . .
-
[Enter]を押してSwitchプロンプトを取得します。
-
enableモードを入力します。Oracle Install Coordinatorによって提供されたパスワードを入力し、[Enter]を押します。
Switch>enable Password: The default password is <
password
> Switch# -
BOOT変数が設定されていないことを確認します。
Switch# show bootvar BOOT variable = CONFIG_FILE variable does not exist BOOTLDR variable does not exist Configuration register is 0x2102
-
ブート・ファイル・システムでIPBASEK9が使用可能であることを確認します。
Switch# dir bootflash: Directory of bootflash:/ 6 -rw- 25213107 Dec 3 2012 17:27:38 +00:00 cat4500eipbase-mz.150-2.SG2.bin 7 -rw- 32288280 Apr 1 2013 11:41:54 +00:00 cat4500eipbasek9-mz.151-1.SG.bin 128165888 bytes total (60643328 bytes free)
-
bootflash
ディレクトリにIPBASEK9がリストされていない場合、続行する前にインストールする必要があります。詳細は、My Oracle SupportのドキュメントID 1415044.1を参照してください。 -
この例で示されている
BOOT
変数を設定します。Switch# config term Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# config-register 0x2102 Switch(config)# no boot system Switch(config)# boot system bootflash:cat4500e-ipbasek9-mz.151-1.SG.bin Switch(config)# end
-
新しい
BOOT
設定を確認します。Switch# show running-config | include boot boot-start-marker boot system bootflash:cat4500e-ipbasek9-mz.151-1.SG.bin boot-end-marker
-
変更を起動構成に保存します。
Switch# copy running-config startup-config all Destination filename [startup-config]? Enter Switch# write memory Building configuration... Compressed configuration from 3628 bytes to 1281 bytes[OK]
-
ファームウェアを再ロードします。
Switch# reload Proceed with reload? [confirm] y *Apr 24 09:31:32.887: %SYS-5-RELOAD: Reload requested by console. Reload reason: Reload command
スイッチは自動的に再起動し、再ロード・プロセスを続行します。
7.2.2.4 イーサネット・スイッチでのTelnetアクセスの設定
Oracle Big Data Applianceには、TelnetとSSHの両方をサポートするバージョンのCiscoイーサネット・スイッチ・ソフトウェアが付属します。Telnetアクセスはオプションです。次の手順では、リモートTelnetアクセスを有効化および無効化する方法について説明します。
ノート:
Telnetアクセスは安全ではありません。
イーサネット・スイッチに対するTelnetアクセスを設定するには、次の手順を実行します。
次の手順の<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
-
必要に応じてTelnetアクセスのパスワードを設定します(通常はOracle Big Data Applianceの納品時にすでに設定されています)。
bda1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# enable password <
password
bda1sw-ip(config)# enable secret <password
The enable secret you have chosen is the same as your enable password. This is not recommended. Re-enter the enable secret. bda1sw-ip(config)# end bda1sw-ip# write memory *Jan 23 15:57:50.886: %SYS-5-CONFIG_I:Configured from console by console Building configuration... Compressed configuration from 2502 bytes to 1085 bytes [OK ] -
Telnetアクセスを設定します。この例では、最初の
login
出力に、パスワードが設定されておらず、Telnetアクセスが無効であることが示されています。login
コマンドによって何も返されなければ、パスワードが設定されており、Telnetアクセスを使用できます。Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# line vty 0 15 bda1sw-ip(config-line)# login %Login disabled on line 1,until 'password' is set %Login disabled on line 2,until 'password' is set %Login disabled on line 3,until 'password' is set ... bda1sw-ip(config-line)# password <
password
> bda1sw-ip(config-line)# login bda1sw-ip(config-line)# end bda1sw-ip# write memory *Jan 23 15:58:53.630: %SYS-5-CONFIG_I: Configured from console by console Building configuration... Compressed configuration from 3604 bytes to 1308 bytes[OK] -
次の例のように、Telnetアクセスを無効化してリモート・アクセスを防止します。
Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# line vty 0 15 bda1sw-ip(config-line)# no password bda1sw-ip(config-line)# login %Login disabled on line 1, until 'password' is set %Login disabled on line 2, until 'password' is set %Login disabled on line 3, until 'password' is set ... bda1sw-ip(config-line)# end bda1sw-ip# write memory *Jan 23 15:58:53.630: %SYS-5-CONFIG_I: Configured from console by console Building configuration... Compressed configuration from 3786 bytes to 1468 bytes[OK]
7.2.2.5 イーサネット・スイッチでのSSHの構成
現在のファームウェアでは、SSHを使用したリモート接続がサポートされます。Ciscoイーサネット・スイッチでSSHを設定するには、次の例に従います。
この例で示されている<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# crypto key generate rsa
% You already have RSA keys defined named bda1sw-ip.mydomain.com.
% Do you really want to replace them? [yes/no]: yes
Choose the size of the key modulus in the range of 360 to 2048 for
your General Purpose Keys. Choosing a key modulus greater than 512
may take a few minutes.
How many bits in the modulus [512]: 768
% Generating 768 bit RSA keys, keys will be non-exportable...[OK]
bda1sw-ip(config)# username admin password 0 <password
>
bda1sw-ip(config)# line vty 0 15
bda1sw-ip(config-line)# transport input ssh
bda1sw-ip(config-line)# exit
bda1sw-ip(config)# aaa new-model
bda1sw-ip(config)# ip ssh time-out 60
bda1sw-ip(config)# ip ssh authentication-retries 3
Oracle Internal and Approved Partners Only Page 11 of 47 V 1.0 Created: 21. Dec. 2012
Task Comment Check
bda1sw-ip(config)# ip ssh version 2
bda1sw-ip(config)# end
*Sep 15 14:26:37.045: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 2603 bytes to 1158 bytes[OK]
7.2.2.6 イーサネット・スイッチでのクロックおよびタイムゾーンの設定
Ciscoイーサネット・スイッチでは、内部時間が協定世界時(UTC)の形式で維持されます。
ローカル時間とタイムゾーンを設定する場合、順序が重要です。次に、ローカル時間をアメリカ東部タイムゾーンに設定する例を示します。
bda1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# clock timezone EST -5 bda1sw-ip(config)# clock summer-time EDT recurring bda1sw-ip(config)# end bda1sw-ip# clock set 15:00:00 January 23 2012 bda1sw-ip# write memory Building configuration... Compressed configuration from 3778 bytes to 1433 bytes[OK] bda1sw-ip# show clock 15:00:18.819 EST Mon Jan 23 2012
クロックのコマンド
クロックとタイムゾーンを設定するためのコマンドの説明は次のとおりです。
-
UTCを使用するには、次のコマンドを入力します。
no clock timezone global configuration
-
タイムゾーンを使用するには、次のようにします。
clock timezone
zone
hours-offset
[minutes-offset
]このコマンドで、zoneは標準時が有効な場合に表示するタイムゾーン、hours-offsetはUTCからの時間数のオフセット、およびminutes-offsetはUTCからの分数のオフセットです。
-
clock summer-time
zone
recurring [week day month hh:mm week day month
\hh:mm
[offset
]]このコマンドで、zoneは夏時間(夏時間調整)が有効な場合に表示するタイムゾーン、weekは月の週(1から5、またはlast)、dayは曜日、monthは月、hh:mmは24時間形式の時刻、およびoffsetは夏時間中に追加する分数です。デフォルト・オフセットは60分です。夏時間はデフォルトでは無効です。
-
クロックを任意の時刻に手動設定するには、次のようにします。
clock set
hh:mm:ss month day year
このコマンドで、hh:mm:ssは、24時間形式の時間、分、秒、dayは月の日にち、monthは月、およびyearは年です。指定された時刻は、構成済のタイムゾーンを基準とします。
7.2.2.7 イーサネット・スイッチでのNTPサーバーの構成
最大2つのNTPサーバーを構成できます。名前のかわりにIPアドレスを使用します。名前を使用すると、スイッチがネットワークに接続されていない場合に失敗します。名前を使用する必要がある場合は、スイッチがネットワークに接続された後にNTPサーバーを構成すると、DNSで名前が正しく解決されます。
次の例に、ローカル時間に同期されたNTPサーバーを示します(Ciscoスイッチがネットワークに接続され、NTPにアクセスできる場合)。
bda1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# ntp server 10.196.23.254 prefer bda1sw-ip(config)# ntp server 192.168.9.19 bda1sw-ip(config)# end Jan 23 20:00:41.235: %SYS-5-CONFIG_I:Configured from console by console bda1sw-ip# write memory Building configuration... Compressed configuration from 3870 bytes to 1487 bytes [OK ] bda1sw-ip# show ntp status output varies by network bda1sw-ip# show clock 15:00:57.919 EST Mon Jan 23 2012
show clockコマンドの出力の先頭に、次の記号が表示される場合があります。
- * (アスタリスク): 時間は決定的ではありません。
- . (ドット) 時間は決定的ですが、NTPは同期されません。
- (ブランク) 例に示すように、時間は決定的です。
7.2.2.8 スパニング・ツリーの無効化
デフォルトでは、Ciscoのスイッチではスパニング・ツリーが有効ですが、1から47までのすべてのサーバー接続ポートのファクトリでは無効化されています。
スパニング・ツリーが有効なスイッチをスパニング・ツリーが意図的に無効化されているネットワークに追加すると、不具合が発生する可能性があります。事前対策として、カスタマ・ネットワークに接続する前に、アップリンク・ポートのVLANのスパニング・ツリーを無効にします。
接続前または接続後にスパニング・ツリーをオンにする必要がある場合、ネットワーク管理者はCiscoスイッチの構成に関するドキュメントの説明に基づいて、適切なプロトコル設定を指定します。
スパニング・ツリーを無効化するには、次の手順を実行します。
-
ポートを無効にする必要がある場合、次のコマンドを入力します。
bda1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# no spanning-tree vlan 1 Switch(config)# end Jan 23 20:01:15.083: %SYS-5-CONFIG_I: Configured from console by console bda1sw-ip# write memory Building configuration... Compressed configuration from 2654 bytes to 1163 bytes[OK]
-
スパニング・ツリーの無効化を確認するには、次のようにします。
bda1sw-ip# show spanning-tree vlan 1 Spanning tree instance(s) for vlan 1 does not exist.
-
デフォルトのプロトコル設定を再度有効にする必要がある場合は、次の手順を実行します。
Switch# configure terminal Enter configuration commands, one per line. End with CNTL/Z. Switch(config)# spanning-tree vlan 1 Switch(config)# end Switch# write memory
7.3 インフィニバンドのリーフ・スイッチおよびスパイン・スイッチの構成
Oracle Big Data Applianceには、2つのSun Network QDR InfiniBand Gatewayリーフ・スイッチと、1つのSun Datacenter InfiniBand Switch 36スパイン・スイッチがあります。スイッチを構成するには、それぞれ次の手順を実行します。
ノート:
Oracle Big Data Appliance InfiniBand NM2スイッチに接続できるのは、Oracle Big Data Applianceサーバーのみです。また、Oracleエンジニアド・システム・サーバー(Oracle Big Data ApplianceやExadata Database Machineなど)以外のシステムをインフィニバンド・ファブリックに相互接続することは許可されていません。インフィニバンド・ファブリックはオペレーティング・システムおよびカーネルに緊密に接続されており、Oracleエンジニアド・システム・サーバーのみをサポートするように設計されています。7.3.1 インフィニバンド・スイッチの構成
作業を開始する前に:
-
192.168.1.201
、192.168.1.202,
または192.168.1.203
に対するリモート・イーサネット接続の詳細は、「ネットワークを使用したOracle ILOMへの接続」を参照してください。 -
ローカル・シリアル接続の詳細は、「シリアル接続を使用したOracle ILOMへの接続」を参照してください。
インフィニバンド・スイッチを構成するには、次の手順を実行します。
7.3.3 インフィニバンド・スイッチの健全性の確認
インフィニバンドのリーフ・スイッチまたはスパイン・スイッチの健全性を確認するには、次の手順を実行します。
-
-> show /SYS/Fabric_Mgmt
プロンプトが->からFabMan@hostname->に変更されます。
-
ファームウェア・バージョンを確認します。現在のバージョンおよび関連情報は、Oracle Supportノート1534255.1で参照できます。
FabMan@bda1sw-02->version SUN DCS gw version: 2.0.5-2 Build time: Nov 29 2011 16:05:05 FPGA version: 0x34 SP board info: Manufacturing Date: 2011.05.31 Serial Number: "NCD6Q0126" Hardware Revision: 0x0006 Firmware Revision: 0x0000 BIOS version: SUN0R100 BIOS date: 06/22/2010 FabMan@bda1sw-02->
-
スイッチの全体的な健全性を確認し、問題があれば修正します。
FabMan@bda1sw-ib2-> showunhealthy OK - No unhealthy sensors
-
環境を確認します。すべてのテストでOKおよびPASSEDが返されることを確認し、問題があれば作業を続行する前に修正します。この例は、電源コードの緩みが原因でPSU1に問題が発生していることを示しています。WARNING PSUで始まる行を参照してください。
FabMan@bda1sw-ib2-> env_test Environment test started: Starting Environment Daemon test: Environment daemon running Environment Daemon test returned OK Starting Voltage test Voltage ECB OK Measured 3.3V Main = 3.28 Measured 3.3V Standby = 3.39 V Measured 12V = 11.97 V Measured 5V = 4.99 V Measured VBAT = 3.09 V Measured 1.0V = 1.01 V Measured I4 1.2V = 1.22 V Measured 2.5V = 2.52 V Measured V1P2 DIG = 1.19 V Measured V1P2 ANG = 1.18 V Measured 1.2V BridgeX = 1.22 V Measured 1.8V = 1.78 V Measured 1.2V Standby = 1.20 V Voltage test returned OK Starting PSU test: PSU 0 present OK WARNING PSU 1 present AC Loss PSU test returned 1 faults Starting Temperature test: Back temperature 30 Front temperature 29 SP temperature 36 Switch temperature 52, . . .
-
InfiniBand Gatewayリーフ・スイッチの優先度設定が5で、InfiniBand Switch 36スパイン・スイッチの優先度設定が8であることを確認します。
FabMan@bda1sw-ib2-> setsmpriority list Current SM settings: smpriority 5 controlled_handover TRUE subnet_prefix 0xfe80000000000000
smpriority
が正しい場合、次のステップは省略できます。 -
優先度設定を修正するには、次の手順を実行します。
-
インフィニバンド・サブネット・マネージャを停止します。
FabMan@bda1sw-ib2-> disablesm
-
InfiniBand Gatewayリーフ・スイッチの優先度を5に、InfiniBand Switch 36スパイン・スイッチの優先度を8に設定します。次の例は、リーフ・スイッチ用です。
FabMan@bda1sw-ib2-> setsmpriority 5
-
インフィニバンド・サブネット・マネージャを再起動します。
FabMan@bda1sw-ib2-> enablesm
-
-
ファブリック管理シェルを終了します。
FabMan@bda1sw-ib2-> exit ->
-
Oracle ILOMシェルを終了します。
-> exit
-
root
としてスイッチにログインし、すべての変更を反映するためにスイッチを再起動します。# reboot
-
他のインフィニバンド・スイッチでこれらのステップを繰り返します。
7.3.4 Sun Network QDR Infiniband Gateway Switchの確認
ファブリック内のすべてのゲートウェイ・スイッチのインスタンス番号(NM2-GW)を確認し、自動設定によって各ラック内およびマルチラック環境のすべてのラック間の各スイッチに一意のインスタンス番号が割り当てられていることを確認する必要があります。
ファブリック内の2つのスイッチに同じインスタンス番号が割り当てられると、IB-10GbEポートが正常に動作しない可能性があります。
スイッチで連続する番号が使用されないようにする必要があります。偶数のみを使用することをお薦めします。工場出荷時の構成では、Oracle Big Data Applianceのゲートウェイ・スイッチで10と20の番号を使用しています。
Oracle Big Data ApplianceのラックがOracle Exalogic Elastic Cloud Machineのラックに接続されている場合、ファブリック内のインスタンス番号が偶数で、各スイッチで一意であることを確認します。
ノート:
ファブリック内のすべてのSun Network QDR InfiniBand Gatewayスイッチのファームウェアが2.1.8-1以上のバージョンである必要があります。バージョン2.2.7-1をお薦めします。バージョン2.2.9もOracle Big Data Applianceラックで検証されていますが、より古いファームウェアを現在実行している大規模な本番クラスタの場合は、より保守的に、バージョン2.1.8-1または2.2.7-1にアップグレードすることをお薦めします。
次の手順に従って、ゲートウェイ・スイッチを確認します。
次の手順の<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
-
ユーザー
ilom-admin
としてラック1のゲートウェイ・スイッチ1にログインします。localhost: ilom-admin password: <
password
> -
ファブリック管理シェルを起動します。
-> show /SYS/Fabric_Mgmt NOTE: show on Fabric_Mgmt will launch a restricted Linux shell. User can execute switch diagnosis, SM Configuration and IB monitoring commands in the shell. To view the list of commands, use "help" at rsh prompt. Use exit command at rsh prompt to revert back to ILOM shell. FabMan@hostname->
-
現在の番号が表示されます。
FabMan@bda1sw-iba->setgwinstance --list No BXM system name set, using 6 last bits of the ip-address, value: 24
ここに示すように
No BXM system name set
が表示された場合、またはシステム名が0の場合は、インスタンス番号を手動で設定する必要があります。 -
ラック1のゲートウェイ・スイッチ1が10に設定されていない場合は、次のようになります。
FabMan@bda1sw-iba->setgwinstance 10 Stopping Bridge Manager..-. [ OK ] Starting Bridge Manager. [ OK ] FabMan@bda1sw-iba->setgwinstance --list BXM system name set to 10
-
複数のラック(Oracle Big Data ApplianceのラックとOracle Exalogic Elastic Cloud Machineのラック)がケーブルで接続されている場合は、各ラックでステップ1から5を繰り返します。一意の番号を割り当てるために、インスタンス番号に前のラックよりも2大きい番号を指定します。
-
ラック2のゲートウェイ・スイッチ1の場合は、12に設定します(10+2)。
-
ラック2のゲートウェイ・スイッチ2の場合は、22に設定します(20+2)。
このようにして、0から63の間の偶数を割り当てます。
-
7.4 配電ユニットの構成
配電ユニット(PDU)の構成には、次の手順が含まれます。
7.4.1 ネットワークへのPDUの接続
-
静的IPアドレス
-
サブネット・マスク
-
デフォルト・ゲートウェイ
PDUをネットワークに接続するには、次の手順を実行します。
-
Webブラウザを使用してPDUメータリング・ユニットにアクセスするため、ユニットの工場出荷時のデフォルトIPアドレスを入力します。PDU Aのアドレスは
192.168.1.210
、PDU Bのアドレスは192.168.1.211
です。「Current Measurement」ページが表示されます。PDUが応答しない場合は、別のIPアドレスが割り当てられている可能性があります。
-
赤色のリセット・ボタンを押し続けます。
-
約10秒から15秒後に表示がカウント・ダウンを始めたら、ボタンを放し、再度押します(押し続けません)。
-
監視の再起動時、現在のIP設定および動的ホスト構成プロトコル(DHCP)か静的アドレスかをノートにとっておきます。これらのアドレスを使用して接続します。
-
-
PDUメータリング・ユニットにadminユーザーとしてログインします。デフォルト・パスワードは
adm1n
またはadmin
です。このパスワードは、ネットワークの構成後に変更してください。 -
ファームウェア・バージョンを確認するには、「Module Info」を選択します。バージョンは1.06である必要があります。バージョンが低い場合は、ファームウェアをアップグレードできます。「PDUファームウェア・バージョンの更新」を参照してください。
-
ページの左上の「Net Configuration」をクリックします。
-
「DHCP Enabled」オプションが選択されていないことを確認します。
-
PDUメータリング・ユニットの次のネットワーク設定を入力します。
-
IPアドレス
-
サブネット・マスク
-
デフォルト・ゲートウェイ
-
-
「Submit」をクリックしてネットワーク設定を指定し、PDUメータリング・ユニットをリセットします。
7.4.2 PDUファームウェア・バージョンの更新
PDUファームウェア・バージョンを更新するには、次の手順を実行します。
-
My Oracle Supportから最新のファームウェア・バージョンをダウンロードします。
-
http://support.oracle.com
でログインします。 -
「パッチと更新版」タブを選択します。
-
「パッチ検索」で、「製品またはファミリ(拡張検索)」をクリックします。
-
「製品」で、「Sun Rack II PDU」を選択します。
-
「リリース」で、「Sun Rack II PDU 1.0.6」を選択します。
-
「検索」をクリックして「パッチ検索結果」ページを表示します。
-
「16523441」などのパッチ名をクリックします。
-
ファイルをダウンロードします。
-
-
ローカル・システムにファイルを解凍します。ファイルは「p16523441_1060_Generic.zip」のような名前です。次にPDUファイルを解凍します。「OraclePDU_v1.0.6.zip」のような名前のファイルです。
-
PDU Webインタフェースで、「Net Configuration」を選択して、
admin
としてログインします(パスワードはadm1n
)。 -
「Firmware Update」まで下にスクロールします。
-
「Browse」をクリックし、MKAPP_V1.06.DLファイルを選択して、「Submit」をクリックします。
-
「Browse」をクリックし、HTML_V1.06.DLファイルを選択して、「Submit」をクリックします。
-
「Module Info」をクリックして、ファームウェアのバージョン番号を確認します。
-
「Net Configuration」をクリックし、次に「Logout」をクリックします。
7.5 Oracle Big Data Applianceサーバーの構成
ネットワークを構成する前に、Oracle Big Data Applianceサーバーが正しく設定されていることを確認します。
ノート:
Oracle ILOMシリアル管理ポートに接続する必要がある場合、サーバーのボー・レート設定は、デフォルトのOracle ILOM設定である9600から、115200ボー、8ビット、パリティなし、1ストップ・ビットに変更されます。サーバー・コンソールを表示するには、このコマンドを使用します。
start HOST/console
Oracle Big Data Applianceサーバーを確認するには、次の手順を実行します。
-
各サーバーの前面パネルの電源ボタンを押してすべてのサーバーに電源を投入します。サーバーが通常の起動テストを実行するのに5から10分かかります。
-
ラップトップを使用してサーバーに接続します。
-
PuTTYなどのユーティリティを使用してSSH接続を開きます。
-
サーバーのデフォルトIPアドレスを入力します。
-
-
root
ユーザーとして第1サーバーにログインします。パスワードは、Oracle Install Coordinatorによって提供されます。 -
「パスワードなしSSHの設定」の説明に従って
setup-root-ssh
コマンドを入力し、root
のパスワードなしSSHを設定します。スタータ・ラックの場合、拡張が組み込まれているかどうかにかかわらず、
-j
パラメータを使用する必要があります。「setup-root-ssh」
を参照してください。# setup-root-ssh -j "etho0_ips[range]"
-
# cd /opt/oracle/bda # dcli "hostname ; date"
-
パスワードの入力を求められた場合、[Ctrl]+[C]を複数回押します。このプロンプトでキーの配布を確認することで、次のステップに進むことができます。確認できなかった場合は、passwordを有効なパスワードに置き換え、スタータ・ラックで使用するの
-j
パラメータを使用して、ラック全体のSSHルート・キーを生成します。# setup-root-ssh -p password [-j "eth0_ips[range]"]
ステップ
5
のdcliコマンドを再度入力し、キーを確認します。 -
前面のステッカのシステム・シリアル番号(S/N)と、ラックの一番下(1)から一番上(18)までのサーバーの割当てを比較して、それらが一致していることを確認します。
# dcli "dmidecode -s "chassis-serial-number" 192.168.10.1: 1143FMM064 . . . 192.168.10.18: 1144FMM1A0
-
ラック前面のステッカのラック・マスター・シリアル番号とラックの割当てを比較して、それらが一致していることを確認します。
# dcli "ipmitool sunoem cli 'show /SP system_identifier'" | grep = 192.168.10.1: system_identifier = Oracle Big Data Appliance AK00024695 . . . 192.168.10.18: system_identifier = Oracle Big Data Appliance AK00024695
-
ラック・マスター・シリアル番号が正しくない場合は、各システムのILOM内の番号をリセットします。次のコマンドを1行で続けて入力し、R-MSNをラック・マスター・シリアル番号(AK00024695など)で置き換えます。
# dcli -l root \"ipmitool sunoem cli' set /SP system_identifier=\"\"Oracle Big Data Appliance R-MSN\""'" \> /tmp/set-rack-csn.out
前の構文の
system_identifier
には40文字の制限があります。 -
インフィニバンドのポートが各サーバーで2つ(フル・ラックの場合は18サーバーで36のポート)稼働していることを確認します。
# dcli ibstatus | grep phys 192.168.10.1: phys state: 5: LinkUp 192.168.10.1: phys state: 5: LinkUp .. 192.168.10.18: phys state: 5: LinkUp 192.168.10.18: phys state: 5: LinkUp
-
インフィニバンド・ポートが40Gbps (4X QDR)で稼働していることを確認します。
# dcli ibstatus | grep rate | more 192.168.10.1: rate: 40 Gb/sec (4X QDR) 192.168.10.1: rate: 40 Gb/sec (4X QDR) .. 192.168.10.18: rate: 40 Gb/sec (4X QDR) 192.168.10.18: rate: 40 Gb/sec (4X QDR)
-
Oracle ILOMで何も障害が検出されないことを確認します。
# dcli 'ipmitool sunoem cli "show faulty"'
通常、各サーバーの出力は次のようになります。
bda1node02-adm.example.com: Connected. Use ^D to exit. bda1node02-adm.example.com: -> show faulty bda1node02-adm.example.com: Target | Property | Value bda1node02-adm.example.com:-------------+---------------------+----------- bda1node02-adm.example.com: bda1node02-adm.example.com: -> Session closed bda1node02-adm.example.com: Disconnected
-
各サーバーの電源を投入し、
BDA_IMAGING_SUCCEEDED
およびBDA_REBOOT_SUCCEEDED
が各サーバーの/root
ディレクトリにあることを確認します。# dcli 'ls /root/BDA*'
-
filenameを任意のファイル名に置き換え、確認用のファイルに各システムからのハードウェア・プロファイル出力を保存します。
# dcli bdacheckhw > filename
-
次のようなコマンドを使用してハードウェア・プロファイル出力ファイルを確認します。次の各例のファイル名は、
all-bdahwcheck.out
です。-
ハードウェア・プロファイルに障害が存在しないことを確認するには、次のようにします。
grep -vi SUCCESS ~/all-bdahwcheck.out
このコマンドは、
SUCCESS
と表示されていないすべての行を返すため、返されなかった行には障害が存在しないことを意味します。 -
32のコアを確認するには、次のようにします。
grep cores ~/all-bdahwcheck.out
-
63GBのメモリーを確認するには、次のようにします。
grep memory ~/all-bdahwcheck.out
-
4つのファンを確認するには、次のようにします。
grep fans ~/all-bdahwcheck.out
-
ステータスが両方の電源でOKであることを確認するには、次のようにします。
grep supply ~/all-bdahwcheck.out
-
ディスク0から11がすべて同じモデルで、オンラインで回転しており、アラートがないことを確認するには、次のようにします。
grep disk ~/all-bdahwcheck.out | grep "model\|status" | more
-
ホスト・チャネル・アダプタのモデルがMellanox Technologies MT26428 ConnectX VPI PCIe 2.0であることを確認するには、次のようにします。
grep Host ~/all-bdahwcheck.out | grep model | more
-
-
filenameを任意のファイル名に置き換え、ファイルにRAID構成を保存します。
dcli MegaCli64 -ldinfo -lall -a0 | grep "Virtual Drive\|State" > filename
-
12の仮想ドライブ(0から11)がサーバーごとにリストされることを確認します。この例では、RAID構成は
all-ldstate.out
というファイルに格納されます。less ~/all-ldstate.out
-
filenameを任意のファイル名に置き換え、確認用のファイルに各システムからのソフトウェア・プロファイル出力を保存します。
dcli bdachecksw > filename
-
パーティション設定およびソフトウェア・バージョンが正しいことを確認します。この例では、ソフトウェア・プロファイルはall-bdaswcheck.outというファイルに格納されます。
less ~/all-bdaswcheck.out
-
システムのブート順序がUSB、RAIDスロット0、PXEであることを確認します。
# dcli "ubiosconfig export all -x /tmp/bios.xml" [# dcli "grep -m1 -A20 boot_order /tmp/bios.xml" | more [root@bda01 bda]# dcli "ubiosconfig export all -x /tmp/bios.xml" [root@bda01 bda]# dcli "grep -m1 -A20 boot_order /tmp/bios.xml" | more <boot_order> <boot_device> <description>USB:USBIN:ORACLE UNIGEN-UFD PMAP</description> <instance>1</instance> </boot_device> <boot_device> <description>RAID:PCIE6:(Bus 50 Dev 00)PCI RAID Adapter</description> <instance>1</instance> </boot_device> <boot_device> <description>PXE:NET0:IBA XE Slot 4000 v2196</description> <instance>1</instance> </boot_device> <boot_device> <description>PXE:NET1:IBA XE Slot 4001 v2196</description> <instance>1</instance> </boot_device> <boot_device> <description>PXE:NET2:IBA XE Slot 8800 v2196</description> <instance>1</instance> </boot_device>
-
ブート順序が正しくない場合は、次のようにします。
-
当該サーバーのILOMにログインして、次回の再起動時にBIOSの設定に入ります。
# set /HOST boot_device=bios
-
サーバーを再起動してBIOSを修正します。
-
7.6 ネットワークの構成
Oracle Big Data Appliance構成生成ユーティリティによって、3つすべてのネットワーク・インタフェースおよびすべてのOracle ILOMを構成するために使用されるcluster-network.jsonおよびrack-network.jsonファイルが生成されます。このファイルが存在しない場合、「構成ファイルの生成」を参照してください。
ネットワークの構成には、次の手順が含まれます。
7.6.1 Oracle Big Data Applianceへの構成ファイルのコピー
Oracle Big Data Applianceに構成ファイルをコピーするには、次の手順を実行します。
ノート:
クラスタのすべてのノードに、有効な構成ファイルが必要となります。クラスタのすべてのノードで同じファイル(および同じバージョンのファイル)を次のパスにデプロイする必要があります: /opt/oracle/bda/install/state/config.json
。
さらに、クラスタのすべてのノードに有効なネットワーク構成ファイルのセットがある必要があります。代替の有効な構成ファイルのセットは2つあります。
network.json
。このファイルが存在する場合は、ラックのすべてのノードで同じで、ラックのすべてのノードのすべてのネットワーク情報が含まれている必要があります。このファイルが存在する場合は、rack-network.jsonおよびcluster-network.jsonが存在していない必要があります
rack-network.json
およびcluster-network.json
の両方。これらのファイルが存在する場合は、
network.json
が存在していない必要があります。rack-network.json
は、ラック内のすべてのノードで同じで、管理ネットワーク情報のみが含まれている必要があります。cluster-network.json
は、クラスタのすべてのノードで同じで、クライアントおよびプライベート・ネットワークの情報が含まれている必要があります
7.6.2 ネットワーク構成の開始
ノート:
前にOracle Big Data Applianceのリリースがインストールされている場合、設定スクリプトnetworksetup-one
、networksetup-two
は非推奨です。
networksetup-one
のかわりにrack-networksetup
を実行します。networksetup-two
のかわりにcluster-networksetup
を実行します。
rack-networksetup
スクリプトはrack-network.json
を読み取り、すべてのサーバーのホスト名およびOracle ILOM名を設定し、管理ネットワークとプライベート・インフィニバンド・ネットワークを構成します。新しいラック(フル・ラックまたはスタータ・ラックのいずれか)を構成する場合と、スタータ・ラックのデプロイ後に追加サーバーを構成する場合では、手順が多少異なります。
新しいラックのネットワーク構成を開始するには、次の手順を実行します。
次の手順の<password
>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。
-
root
ユーザーとして第1サーバーにログインします。Oracle Install Coordinatorによって提供されたパスワードを使用します。# ssh root@192.168.10.1 Password: <
password
> -
新しいラックについて、
/opt/oracle/bda
に新しいrack-network.json
およびcluster-network.json
ファイルが含まれていることを確認します。スタータ・ラックの追加のサーバーについては、
/opt/oracle/bda
に既存のノードからのrack-network.json
およびcluster-network.json
(またはnetwork.json
)と、新しいnetworkexpansion.json
ファイルの両方が含まれていることを確認します。 -
インフィニバンド・ネットワークが正常に稼働していることを確認します。
# cd /opt/oracle/bda # bdacheckib -s LINK bdasw-ib1.0B ... bdasw-ib3.8B UP LINK bdasw-ib1.1B ... bdasw-ib2.8B UP LINK bdasw-ib3.15A ... bda2.HCA-1.2 UP LINK bdasw-ib3.15B ... bda1.HCA-1.2 UP LINK bdasw-ib3.14A ... bda4.HCA-1.2 UP LINK bdasw-ib3.14B ... bda3.HCA-1.2 UP LINK bdasw-ib3.13A ... bda6.HCA-1.2 UP . . .
インフィニバンド・ネットワークはソフトウェアのインストール中に幅広く使用されます。ファブリックをより詳しくチェックするには、
iblinkinfo
ユーティリティを実行します。 -
パスワードなしSSHを削除します。「remove-root-ssh」を参照してください。
-
SSHのかわりにILOMを使用してサーバーに再接続します。
# ssh root@192.168.1.101 Password: <
password
> -> start -f /HOST/console bda1 login: User: root Password: <password
>rack-networksetup
スクリプトによってネットワーク・サービスが再開され、SSH接続を使用する出力はすべて表示されなくなります。 -
ネットワーク構成を開始します。
# cd /opt/oracle/bda/network # ./rack-networksetup
例7-1 rack-networksetupによるサンプル出力
# ./rack-networksetup rack-networksetup: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster -network.json rack-networksetup: passed rack-networksetup: Found 6 node(s) accessible rack-networksetup: If this number is not the total number of nodes, rack-networksetup: please make sure that all nodes are ON and connected correctly rack-networksetup: Type 'r' if you want to retry (If you are waiting for nodes to boot and become accessib le) rack-networksetup: Type 'n' to abort network setup rack-networksetup: Type 'y' to continue configuring 6 node(s) Continue using 6 nodes? [r/n/y]: y rack-networksetup: checking for rack-expansion.json rack-networksetup: ping servers on ship admin network by ip rack-networksetup: passed rack-networksetup: test ssh to servers on ship admin network by ip rack-networksetup: passed rack-networksetup: verify servers on ship admin are BDA nodes rack-networksetup: passed rack-networksetup: copy /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json to servers rack-networksetup: verify transfer of /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json rack-networksetup: passed rack-networksetup: executing network settings on all servers rack-networksetup: wait a few seconds for the network to restart on <IP address> rack-networksetup: wait a few seconds for the network to restart on <IP address> rack-networksetup: rack-networksetup: bdanetworktool.main: Start time = Sun Feb 6 14:33:30 PST 2017 rack-networksetup: rack-networksetup: bdanetworktool.main: Host = bda02 rack-networksetup: rack-networksetup: bdanetworktool.main: Using deploy files /opt/oracle/bda/cluster-network.json and /opt/oracle/bda/rack-network.json rack-networksetup: rack-networksetup: bdanetworktool.main: Using node nr = 2 rack-networksetup: rack-networksetup: bdanetworktool.main: Using local files = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply nws settings on usb = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply dns settings = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply client nw settings = false rack-networksetup: rack-networksetup: bdanetworktool.main: Remove client nw settings = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply ntp settings = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply extra ib settings = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply ssh settings = true rack-networksetup: rack-networksetup: bdanetworktool.main: Apply bondib0 settings = false rack-networksetup: rack-networksetup: bdanetworktool.main: Apply eth0 settings = true rack-networksetup: rack-networksetup: bdanetworktool.main: Apply ilom settings = true rack-networksetup: rack-networksetup: bdanetworktool.main: Apply /etc/hosts settings = true rack-networksetup: rack-networksetup: bdanetworktool.main: Set timezone = true rack-networksetup: rack-networksetup: bdanetworktool.main: Set host name = true rack-networksetup: rack-networksetup: bdanetworktool.main: Creating = /etc/sysconfig/network-scripts/ifcfg-eth0 rack-networksetup: rack-networksetup: bdanetworktool.main: Creating = /etc/sysconfig/network rack-networksetup: rack-networksetup: bdanetworktool.main: Removing all from /etc/hosts rack-networksetup: rack-networksetup: bdanetworktool.main: Removing known ip entries from /etc/hosts . . .
7.6.3 管理ネットワークへの接続
Oracle Big Data Applianceを管理ネットワークに接続するには、次の手順を実行します。
-
Ciscoイーサネット・スイッチのポート48を管理ネットワークに接続します。
-
Small Form-Factor Pluggable(SFP)ポートをポート48のファイバー・アップリンク(オプション)に使用するには、ポートを再構成します。
bda1sw-ip# configure terminal Enter configuration commands, one per line. End with CNTL/Z. bda1sw-ip(config)# interface gigabitEthernet 1/48 bda1sw-ip(config-if)# media-type sfp bda1sw-ip(config-if)# end bda1sw-ip# *Sep 15 14:12:06.309: %SYS-5-CONFIG_I: Configured from console by console bda1sw-ip# write memory bda1sw-ip# copy running-config startup-config
関連項目:
SFPポート構成の詳細は、『Cisco Catalyst 4948 Install Guide』(
http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst4900/4948/4948_in/05modcfg.html
)を参照してください
7.6.4 クライアント・ネットワークへの接続
Oracle Big Data Applianceも10GbEクライアント・ネットワークに接続する必要があります。
Oracle Big Data Applianceをクライアント・ネットワークに接続するには、次の手順を実行します。
-
2つのSun Network QDR InfiniBand Gatewayリーフ・スイッチをデータ・センターに接続します。
-
ケーブルの配線後、ネットワーク管理者が、ネットワーク・スイッチ・エンド構成を変更してリンクが認識されるようにする必要がある場合があります。
-
SSHを使用してSun Network QDR Infiniband Gateway Switchに接続し、
ilom-admin
ユーザーとしてログインします。 -
ファブリック管理シェルを起動します。
-> show /SYS/Fabric_Mgmt
-
Bridgeエントリに、リーフ・スイッチからカスタマ・ネットワーク・スイッチへのアクティブなリンクがあることを確認します。
FabMan@bda1sw-iba-> listlinkup
この出力では、各スイッチに接続された4つのポートを示しています。
Connector 0A-ETH Present Bridge-0 Port 0A-ETH-1 (Bridge-0-2) up (Enabled) Bridge-0 Port 0A-ETH-2 (Bridge-0-2) down (Enabled) Bridge-0 Port 0A-ETH-3 (Bridge-0-1) up (Enabled) Bridge-0 Port 0A-ETH-4 (Bridge-0-1) down (Enabled) Connector 1A-ETH Present Bridge-1 Port 1A-ETH-1 (Bridge-1-2) up (Enabled) Bridge-1 Port 1A-ETH-2 (Bridge-1-2) down (Enabled) Bridge-1 Port 1A-ETH-3 (Bridge-1-1) up (Enabled) Bridge-1 Port 1A-ETH-4 (Bridge-1-1) down (Enabled)
7.6.5 ネットワーク構成の完了
ノート:
前にOracle Big Data Applianceのリリースがインストールされている場合、設定スクリプトnetworksetup-one
、networksetup-two
は非推奨です。
構成を完了するには、networksetup-two
のかわりにcluster-networksetup
を実行します。
cluster-networksetup
スクリプトはcluster-network.json
を読み取ります。これによって、rack-networksetup
(ネットワーク接続を必要とするステップ)で開始されたいくつかのステップが完了します。これにより、10GbEクライアント・ネットワークのデフォルトのVLANおよび必要なすべてのVNICも構成されます。その後、すべてのネットワーク接続が確認され、予期しない障害(ケーブル配線の間違いを原因とする障害など)が検出された場合はメッセージが表示されます。
Sun Network QDR Infiniband Gateway Switchの10GbEポートは、データ・センターに接続されている必要があります。
ネットワーク構成を完了するには、次の手順を実行します。
-
管理ネットワークとクライアント・ネットワークの両方がOracle Big Data Applianceに接続されていることを確認します。
ノート:
この手順は、ネットワークが接続されていないと失敗します。「管理ネットワークへの接続」を参照してください。
-
次のスクリプトを実行して、ネットワーク設定を完了します。
./cluster-networksetup | tee /tmp/network-conf.out
前述のコマンドの結果は、
/tmp/network-conf.out
という名前のファイルに出力されます。
例7-2に、スクリプトによるサンプル出力を示します。
例7-2 cluster-networksetupによるサンプル出力
# ./cluster-networksetup
cluster-networksetup: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json
cluster-networksetup: passed
cluster-networksetup: checking for rack-expansion.json
cluster-networksetup: ping server ips on admin network
cluster-networksetup: passed
cluster-networksetup: test ssh server ips on admin network
cluster-networksetup: passed
cluster-networksetup: run connected network post script on each server
cluster-networksetup: post network setup for 10.100.100.101
cluster-networksetup: post network setup for 10.100.100.102
cluster-networksetup: post network setup for 10.100.100.103
cluster-networksetup: post network setup for 10.100.100.104
cluster-networksetup: post network setup for 10.100.100.105
cluster-networksetup: post network setup for this node
cluster-networksetup: passed
cluster-networksetup: verify infiniband topology
cluster-networksetup: passed
cluster-networksetup: start setup client network (10gigE over Infiniband)
cluster-networksetup: ping both gtw leaf switches
cluster-networksetup: passed
cluster-networksetup: confirm switches occur in ib fabric
cluster-networksetup: switch crosscheck failed matching all switches:
cluster-networksetup: -> BdaDeploy switch key values: leaf1: bda1sw-ib2, leaf2: bda1sw-ib3, spine: bda1sw-ib1
cluster-networksetup: -> ib switch values: bda1sw-ib1 bdasw-ib3 bda1sw-ib2
cluster-networksetup: passed
cluster-networksetup: verify existence of gateway ports
cluster-networksetup: passed
cluster-networksetup: ping server ips on admin network
cluster-networksetup: passed
cluster-networksetup: ping servers by name on admin network
cluster-networksetup: passed
cluster-networksetup: test ssh server ips on admin network
cluster-networksetup: passed
cluster-networksetup: test unique gw instance id
cluster-networksetup: passed
cluster-networksetup: wait a few seconds for the network to restart on 10.100.100.101
cluster-networksetup: wait a few seconds for the network to restart on 10.100.100.102
.
.
.
7.6.6 仮想インタフェース・カード(VNIC)の確認
VNICが両方のゲートウェイ・スイッチに正しく作成されたことを確認します。
次の手順に従って、VNICを確認します。
-
SSHを使用してSun Network QDR Infiniband Gateway Switchに接続し、
ilom-admin
ユーザーとしてログインします。 -
ファブリック管理シェルを起動します。
-> show /SYS/Fabric_Mgmt
-
アクティブ・ポートがデフォルトのVLAN (0)に割り当てられていることを確認します。
FabMan@bda1sw-ib2-> showvlan Connector/LAG VLN PKEY ------------- --- ---- 0A-ETH-1 0 ffff 0A-ETH-3 0 ffff 1A-ETH-1 0 ffff 1A-ETH-3 0 ffff
-
VNICがラウンドロビン方式で各サーバーと10GbEインタフェースに作成されたことを確認します。
FabMan@hostname-> showvnics ID STATE FLG IOA_GUID NODE IID MAC VLN PKEY GW --- -------- --- ----------------------- -------------------------------- ---- ----------------- --- ---- -------- 561 UP N 0021280001CF4C23 bda1node12 BDA 192.168.41.31 0000 CE:4C:23:85:2B:0A NO ffff 0A-ETH-1 . . .
-
10GBインタフェースと相互にpingできることを確認します。
7.6.7 ネットワーク・サービスへのアクセスの確認
すべてのネットワーク・サービスが正しく実行されていることを確認します。
ネットワーク・サービスへのアクセスを確認するには、次の手順を実行します。
-
dcliコマンドが動作していることを確認します。
# cd /opt/oracle/bda # dcli "hostname ; date"
-
パスワードの入力を求められた場合、[Ctrl]+[C]を複数回押します。求められなかった場合は、setup-root-sshユーティリティを使用して新しいSSHキーを作成します。「setup-root-ssh」を参照してください。
-
date
コマンドの出力を確認して、サーバーが数秒以内に同期されているどうかをチェックします。されていない場合は、各デバイスを再起動します。時間の違いにより、ソフトウェアのインストールが失敗する場合があります。NTPクライアントも確認できます。
# ntpq -p 127.0.0.1
-
ネットワークの接続を確認します。
[root@node01 network]# bdachecknet-rack bdachecknet-rack: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json bdachecknet-rack: passed bdachecknet-rack: checking for rack-expansion.json bdachecknet-rack: ping test private infiniband ips (bondib0 40gbs) bdachecknet-rack: passed bdachecknet-rack: ping test admin ips (eth0 1gbs) bdachecknet-rack: passed bdachecknet-rack: test client network (eoib) resolve and reverse resolve bdachecknet-rack: passed bdachecknet-rack: test client name array matches ip array bdachecknet-rack: passed bdachecknet-rack: ping servers on client network by ip bdachecknet-rack: passed bdachecknet-rack: test ntp servers bdachecknet-rack: passed bdachecknet-rack: ping client gateway bdachecknet-rack: passed bdachecknet-rack: test arp -a bdachecknet-rack: passed bdachecknet-rack: all checks succeeded
-
ネットワークでDNS名とIPアドレスのいずれも解決できなかった場合は、
/etc/resolv.conf
ファイルを修正します。修正しないと、ソフトウェアのインストールが失敗します。 -
IPアドレスかホスト名をアドレスとしてブラウザに入力して、PDUのアクセシビリティを確認します。
正常に接続されると、「Current Measurement」ページが表示されます。
7.7 Oracle Big Data Applianceの複数のラックの構成
複数のラックを設置する一般的な手順は、個々のラックを構成し、ラックをケーブルで接続して、複数ラックのネットワークを検証することです。
7.7.1 複数ラックの構成およびケーブル配線
次のいずれかの手順を実行します。これらの手順は、新しいラックを設置するのか、すでに設置されて稼働中のものにラックを追加するのかによって異なります。また、Oracle Exadata Database Machineなどの別のエンジニアド・システムがあるかどうかによっても異なります。
複数のラックを設置するには、次の手順を実行します。
-
各ラックの構成ステップを個々に実行します。
-
Oracle Big Data Applianceのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。
-
インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。
Oracle Big Data Applianceの稼働中のラックに1つ以上のラックを追加するには、次の手順を実行します。
-
新しいOracle Big Data Applianceの各ラックの構成ステップを個々に実行します。
-
新しいラックのインフィニバンド・スイッチの電源をオフにします。
-
Oracle Big Data Applianceのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。
-
インフィニバンド・スイッチの電源をオンにします。サブネット・マネージャのファブリックが更新されるまで、スイッチ間で5分間待機します。
-
インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。
Oracle Big Data Applianceのラックを新しいOracle Exadata Database MachineやOracle Exalogic Elastic Cloud Machineのラックに接続するには、次の手順を実行します。
-
Oracle Big Data Applianceの各ラックの構成ステップを個々に実行します。
-
Oracle Big Data Applianceのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。
-
インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。
Oracle Exadata Database MachineやOracle Exalogic Elastic Cloud Machineの稼働中のラックに1つ以上のラックを追加するには、次の手順を実行します。
-
新しいOracle Big Data Applianceの各ラックの構成ステップを個々に実行します。
-
新しいラックのインフィニバンド・スイッチの電源をオフにします。
-
Oracle Big Data Appliance、Oracle Exadata Database MachineまたはOracle Exalogic Elastic Cloud Machineのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。
-
インフィニバンド・スイッチの電源をオンにします。サブネット・マネージャのファブリックが更新されるまで、スイッチ間で5分間待機します。
-
サブネット・マネージャが、最上位のファームウェア・バージョンのスイッチでのみ実行されていることを確認します。
たとえば、Oracle Big Data Applianceが最高のファームウェア・バージョンである場合、そのスパイン・スイッチをマスター用にし、そのゲートウェイ・スイッチをフェイルオーバー用にします。ラックのファームウェア・バージョンがOracle Big Data Applianceのインフィニバンド・スイッチより低い(スパインとゲートウェイの両方)場合は、サブネット・マネージャを無効にします。
-
Exadataのマスター・スイッチに
root
としてログインします。 -
Oracle Big Data Applianceのスイッチが表示されていることを確認します。
# ibswitches
-
Oracle Exadata Database Machineのサブネット・マネージャを無効にします。
# disablesm
-
追加のより低いバージョンの各インフィニバンド・スイッチにログインし、マスター・スイッチをOracle Big Data Applianceのスパイン・スイッチに変更することを確認します。
# getmaster
-
より低いバージョンの各インフィニバンド・スイッチのサブネット・マネージャを無効にします。
# disablesm
-
-
インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。
7.7.2 マルチラック・インフィニバンド・ネットワークの検証
ラックのケーブル配線が完了したら、インフィニバンド・ネットワークが正しく稼働していることを確認します。
ノート:
bdacheckibユーティリティは、Oracle Big Data ApplianceのラックとOracle Exadata Database Machineのラックの接続を検証します。他のタイプのラック(Oracle Exalogic Elastic Cloud Machine)はチェックしません。
インフィニバンド・ネットワークを検証するには、次の手順を実行します。
-
ネットワークのトポロジ・ファイルを生成します。
# bdacheckib -g
生成されたファイルの名前は「sample-multi-rack.json」です。
-
「sample-multi-rack.json」をテキスト・エディタで開きます。
-
左のラックから開始して右のラックで終了するように、要素を並べ替えます。ファイルを保存します。
-
構成を検証します。
# bdacheckib sample-multi-rack.json Verifing rack #1 leaf: bda1sw-ib2 LINK ... to rack2 UP LINK ... to rack2 UP LINK ... to rack1 UP LINK ... to rack2 UP LINK ... to rack3 UP LINK ... to rack3 UP LINK ... to rack1 UP LINK ... to rack1 UP leaf: bda1sw-ib3 LINK ... to rack2 UP LINK ... to rack2 UP LINK ... to rack1 UP . . .
例7-3は、サンプルの構成ファイルを示します。
例7-3 マルチラック構成ファイル「sample-multi-rack.json」
# cat sample-multi-rack.json # This json multirack spec is generated. The array elements are sorted # alphabetically. A proper arranged json spec representing racks from left to right # can be used as input mr.json to bdacheckib (bdacheckib mr.json) # Commas separating rack elements are optional. [{"SPINE_NAME": "bda1sw-ib1", "LEAF1_NAME": "bda1sw-ib2", "LEAF2_NAME": "bda1sw-ib3"} {"SPINE_NAME": "bda2sw-ib1", "LEAF1_NAME": "bda2sw-ib2", "LEAF2_NAME": "bda2sw-ib3"} {"SPINE_NAME": "exa1sw-ib1", "LEAF1_NAME": "exa1sw-ib2", "LEAF2_NAME": "exa01sw-ib3"}]