1. オーナーズ・ガイド
  2. ハードウェアのインストールおよび構成
  3. Oracle Big Data Applianceのフル・ラックまたはスタータ・ラックの構成

7 Oracle Big Data Applianceのフル・ラックまたはスタータ・ラックの構成

この章では、Oracle Big Data Applianceのフル・ラックまたはスタータ・ラックのシステム、アカウントおよびソフトウェアを構成する方法について説明します。

この章の内容は次のとおりです。

関連項目:

注意:

  • これらの手順を実行するときに、bda-install-preview.htmlファイルを使用可能にしておくことをお薦めします。「構成ファイルについて」を参照してください。

  • この章に説明されている構成ステップの実行は、オラクル社のフィールド・エンジニアに任せることをお薦めします。

7.1 KVMスイッチの構成

KVMスイッチは、Sun Fire X4270 M2サーバーを搭載したOracle Big Data Applianceラックにのみ含まれます。

KVMの構成には、次の手順が含まれます。

7.1.1 KVMスイッチの起動

KVMスイッチを起動するには、次の手順を実行します。

  1. 接続されているすべてのコンポーネントの電源がオフになっていることを確認します。

  2. ラックの前面からKVMトレイを引き出し、ハンドルを使用して開きます。

  3. タッチ・パッドに触れます。

  4. マウスでダブルクリックするように、左側の[Ctrl]キーを2回押して、ホストとKVMインタフェースを切り替えます。メインのユーザー・インタフェース・ページが表示されます。

  5. 左側のナビゲータで、「Unit View」の下の「Target Devices」を選択します。メインの表示領域で、「Action」が「KVM Session」に設定された状態で18のターゲット・デバイスがリストされていることを確認します。

    セッションは、ラックの一番下から一番上に向かって番号が付けられています。

  6. 18のセッションが表示されない場合:

    1. 「Appliances」の下のナビゲータで、「Ports」を開き、「IQ Adaptors」を選択します。

    2. メインの表示領域で、「Port」表見出しを選択してポート番号でセッションをソートします。

    3. 後で修正できるように、欠落しているセッションを書き留めます。

    4. ナビゲータで、「Target Devices」を選択して「Target Devices」ページに戻ります。

7.1.2 管理ネットワークへのKVMスイッチの接続

KVMスイッチを管理ネットワークに接続するには、次の手順を実行します。

  1. 「User Accounts」の下のナビゲータで、「Local」を選択します。
  2. 「Users」の下で、「Admin」を選択します。
  3. 管理アカウントのパスワードを、Oracle Install Coordinatorによって提供されたパスワードに設定し、「Save」を選択します。他のパラメータは何も変更しないでください。
  4. 「Appliance Settings」の下で、「Network」を開き、「IPv4」を選択します。「Network Information」ページが表示されます。
  5. 「Address」、「Subnet」および「Gateway」の値を入力し、「Save」を選択します。
  6. 「Appliance Settings」の下で、「DNS」を選択して「DNS Information」ページを表示します。
  7. DNSサーバーのIPアドレスを入力し、「Save」を選択します。
  8. 「Network」の下で、「General」を選択して「Appliance General Network Settings」ページを表示します。
  9. KVM LAN1イーサネット・ポートを管理ネットワークに接続します。
  10. ポートが正しく構成されていることを確認するには、「Network Settings」ページのメディア・アクセス制御(MAC)アドレスが、KVMスイッチの背面のLAN1/LAN2ポートの横にあるラベルと一致していることを確認します。
  11. 「Users」の下で、「Overview」を選択して「Unit Maintenance」ページを表示します。
  12. KVMスイッチの名前を入力し、「Save」を選択します。
  13. KVMスイッチを再起動するには、「Overview」の下で「Reboot」を選択し、「Yes」を選択して確定します。

7.1.3 サーバーにアクセスするためのKVMスイッチの構成

サーバーにアクセスするためにKVMスイッチを構成するには、次の手順を実行します。

  1. 「Unit View」の下で、「Target Devices」を選択して「Target Devices」ページを表示します。
  2. サーバーを起動します。電源ボタンは前面パネルにあります。
  3. 「Name」列のサーバー名をクリックして「Unit Overview」ページを表示します。
  4. 「Overview」をクリックして、カスタマ接頭辞、ノード・タイプおよび番号のOracle標準ネーミング形式で名前を上書きします。たとえば、bda1node03は、bda1ラックの一番下から3番目のサーバーを示します。
  5. 「Save」をクリックします。
  6. ラックの各サーバーでステップ2から5までを繰り返します。各サーバーがBIOSを通じて起動し、デフォルトの工場出荷時のIP構成を使用してオペレーティング・システムが起動します。

7.1.4 KVMスイッチを使用したサーバーへのアクセス

KVMスイッチを使用してサーバーにアクセスするには、次の手順を実行します。

  1. 「Unit View」の下で、「Target Devices」を選択して「Target Devices」ページを表示します。
  2. 「Name」列のシステム名をクリックします。
  3. 「KVM Session」をクリックしてサーバーでセッションを開きます。

7.2 イーサネット・スイッチの構成

Oracle Big Data X7ラックには、Cisco Nexus 93108-1Gイーサネット・スイッチが付属しています。それよりも前のラックには、Cisco Catalyst 4948イーサネット・スイッチが付属しています。

7.2.1 Cisco Nexus 93108-1Gイーサネット・スイッチの構成

Oracle Big Data Applianceラックに付属するCisco Nexus 93108-1Gイーサネット・スイッチは、インストール中に最低限の構成が行われます。

スイッチを初めて構成する場合も、交換スイッチを構成する場合も、次の手順を使用します。

7.2.1.1 Cisco Nexus 93108-1Gイーサネット・スイッチの初期スイッチ構成の実行

初期構成中に、スイッチをリセットし、「Basic System Configuration Dialog」を使用してスイッチを構成します。

スイッチを構成する前に、次の点に注意してください。

  • ネットワーク管理者が実行中の構成を検証して必要な変更を加えるまでは、Cisco社製イーサネット・スイッチに接続しないでください。

  • すべてのコンポーネントのIPアドレスがOracle Big Data Applianceラックで構成されるまで、Ciscoイーサネット・スイッチをカスタマ・ネットワークに接続しないでください。これは、出荷時にコンポーネントに設定されているデフォルトのアドレスによって、重複するIPアドレスの競合が発生するのを防ぐためです。

構成はネットワーク管理者と一緒に行う必要があります。

  1. 使用可能なRJ45ケーブルを使用して、Ciscoスイッチ・シリアル・コンソールからラップトップなどのデバイスに接続します。
  2. ターミナル・セッションが出力のロギングによってラップトップに記録されることを確認します。
    出力は、スイッチが正しく構成されたことを示す参照として使用できます。デフォルトのシリアル・ポートの速度は9600ボー、8ビット、パリティなし、1ストップ・ビットおよびハンドシェイクなしです。
  3. スイッチの電源を投入します。
  4. adminユーザーとしてログインします。
    User Access Verification
bda1sw-ip login: admin
Password: ********

    注意:

    adminユーザーのパスワードを持っていない場合は、Oracleサポート・サービスに連絡してください。

  5. 既存の構成を消去します。
    bda1sw-ip# write erase

Warning: This command will erase the startup-configuration.

Do you wish to proceed anyway? (y/n)  [n] y
  6. 自動設定を実行できるようにシステムを再起動します。
    bda1sw-ip# reload

This command will reboot the system. (y/n)?  [n] y

2017 Aug 31 01:09:00 bda1sw-ip %$ VDC-1 %$ %PLATFORM-2-PFM_SYSTEM_RESET: Manual system restart from Command Line Interface


CISCO SWITCH Ver7.59
Device detected on 0:1:2 after 0 msecs  
...
  7. 通常設定に切り替えて、セキュア・パスワード標準を強制するかどうかを尋ねられたらnoと入力し、adminユーザーの新しいパスワードを入力します。
    Running S93thirdparty-script...

Populating conf files for hybrid sysmgr ...
Starting hybrid sysmgr ...
inserting /isan/lib/modules/klm_cisco_nb.o ... done

Abort Auto Provisioning and continue with normal setup ? (yes/no) [n]: yes

         ---- System Admin Account Setup ----

Do you want to enforce secure password standard (yes/no) [y]: no

  Enter the password for "admin": 
  Confirm the password for "admin":
  8. 「Basic System Configuration Dialog」が表示されたら、基本構成ダイアログに入ることを選択します。
            ---- Basic System Configuration Dialog VDC: 1 ----

This setup utility will guide you through the basic configuration of
the system. Setup configures only enough connectivity for management
of the system.

Please register Cisco Nexus9000 Family devices promptly with your
supplier. Failure to register may affect response times for initial
service calls. Nexus9000 devices must be registered to receive 
entitled support services.

Press Enter at anytime to skip a dialog. Use ctrl-c at anytime
to skip the remaining dialogs.

Would you like to enter the basic configuration dialog (yes/no): yes
  9. 基本構成で、スイッチ名の入力を求められるまではデフォルトの入力を使用できます。

    この例では、スイッチはtest123sw-adm0という名前です。 

      Create another login account (yes/no) [n]: 
  Configure read-only SNMP community string (yes/no) [n]: 
  Configure read-write SNMP community string (yes/no) [n]: 
  Enter the switch name : test123sw-adm0
  10. アウトオブバンド管理構成の構成を要求されたら、noと応答します。
    Continue with Out-of-band (mgmt0) management configuration? (yes/no) [y]: no
  11. 拡張IPオプションの構成を要求されたら、yesと応答します。
    Configure advanced IP options? (yes/no) [n]: yes
  12. 静的ルートの構成を要求されたらnoと応答します(これは後で構成されます)。
    Configure static route? (yes/no) [n]: no
  13. 入力を求められたら、宛先の接頭辞とマスク、および他の値を入力します。
       Destination prefix : 10.100.100.0

   Destination prefix mask : 255.255.255.0

   Next hop IPv4 address : 10.100.100.1
  14. DNS IPv4アドレスの構成をスキップします(これは後で構成されます)。
    Configure the DNS IPv4 address? (yes/no) [n]: no
  15. デフォルト・ドメイン名の構成をスキップします(これは後で構成されます)。
    Configure the default domain name? (yes/no) [n]: no
  16. SSHおよびNTPサーバーの構成を要求されるまで、デフォルトの応答を受け入れます。
    Enable the telnet service? (yes/no) [n]: no
Enable the ssh service? (yes/no) [y]: yes
   Type of ssh key you would like to generate (dsa/rsa) [rsa]: rsa
   Number of rsa key bits <1024-2048> [1024]: 1024
 
Configure the ntp server? (yes/no) [n]: yes
     NTP server IPv4 address : 10.100.100.3
  17. CoPPシステム・プロファイルの指定を要求されるまで、デフォルトの応答を受け入れます。lenientと入力します。
     Configure default interface layer (L3/L2) [L2]: 
 Configure default switchport interface state (shut/noshut) [noshut]: 
 Configure CoPP system profile (strict/moderate/lenient/dense) [strict]: lenient
  18. 構成を確認してから保存します。
    The following configuration will be applied:
   no password strength-check
   switchname test123sw-adm0
  ...

Would you like to edit the configuration? (yes/no) [n]: 

Use this configuration and save it? (yes/no) [y]: yes

[########################################] 100%
Copy complete.
  19. VLAN 1 IPアドレスを追加します。
    test123sw-adm0(config)# feature interface-vlan
test123sw-adm0(config)# interface vlan 1
test123sw-adm0(config-if)# ip address 10.100.100.110/24
test123sw-adm0(config-if)# no shutdown
test123sw-adm0(config-if)# exit
  20. ポート1から47のスパニング・ツリー・ポート・タイプを設定します。
    test123sw-adm0(config)# interface E1/1-47
test123sw-adm0(config-if)# spanning-tree port type edge
test123sw-adm0(config-if)# exit
  21. 48個のすべてのポートでswitchportを設定し、ポート48を(ホスト・ポートのかわりに)ネットワーク・ポートに設定します。
    test123sw-adm0(config)# interface E1/1-48
test123sw-adm0(config-if)# switchport
test123sw-adm0(config-if)# exit
test123sw-adm0(config)# interface E1/48
test123sw-adm0(config-if)# spanning-tree port type network
test123sw-adm0(config-if)# ip route 0.0.0.0/0 10.100.100.1
  22. DNS情報を構成します。
    test123sw-adm0(config)# ip domain-name example.com
test123sw-adm0(config)# ip name-server 10.100.100.2
test123sw-adm0(config)# exit
  23. 現在の構成を保存します。
    test123sw-adm0# copy running-config startup-config
[########################################] 100%
Copy complete.
  24. オプション: 次のトピックの説明に従ってクロックを設定します。
7.2.1.2 Cisco 93108-1Gイーサネット・スイッチでのクロックの設定

初期構成を実行した後、スイッチで使用される時間を調整できます。

  1. adminユーザーとしてログインします。
  2. 現在の時間を表示します。
    test123sw-adm0(config)# show clock
20:44:52.986 UTC Thu Aug 31 2017
Time source is NTP
  3. タイムゾーンを適切に設定します。
    test123sw-adm0(config)# clock timezone PST -8 0
  4. 変更した時間を表示します。
    test123sw-adm0(config)# show clock
12:46:22.692 PST Thu Aug 31 2017
Time source is NTP
  5. 構成を保存します。
    test123sw-adm0# copy running-config startup-config 
[########################################] 100%
Copy complete.

7.2.2 Cisco Catalyst 4948イーサネット・スイッチの構成

Oracle Big Data Applianceに付属するCisco Catalyst 4948イーサネット・スイッチには、IPBASEK9-MZファームウェアがあります。インストール中にスイッチの最低限の構成が行われます。次の手順では、Ciscoイーサネット・スイッチを構成して1つの大規模な仮想LANにします。

Ciscoイーサネット・スイッチの構成の内容および手順は、次のとおりです。

7.2.2.1 構成の範囲

この構成では、IPルーティングを無効化して次の項目を設定します。

  • ホスト名

  • IPアドレス

  • サブネット・マスク

  • デフォルト・ゲートウェイ

  • ドメイン名

  • ネーム・サーバー

  • NTPサーバー

  • 時刻

  • タイムゾーン

7.2.2.2 イーサネット・スイッチを構成するための前提条件

カスタマ・ネットワークの切断を避けるため、次の前提条件を満たす必要があります。

  • ネットワーク管理者が実行構成を検証して必要な変更を行うまで、Ciscoイーサネット・スイッチを接続しないでください。

  • すべてのコンポーネントのIPアドレスがOracle Big Data Applianceで構成されるまで、Ciscoイーサネット・スイッチをカスタマ・ネットワークに接続しないでください。この順序を守ることで、出荷時のコンポーネントのデフォルト・アドレス・セットが原因で発生することのある重複IPアドレスの競合を避けることができます。

  • Ciscoイーサネット・スイッチはネットワーク管理者と一緒に構成してください。

関連項目:

7.2.2.3 カスタマ・ネットワークでのイーサネット・スイッチの構成

次の手順の<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。

カスタマ・ネットワークでイーサネット・スイッチを構成するには、次の手順を実行します。

  1. Ciscoスイッチ・コンソールからのシリアル・ケーブルをラップトップなどのデバイスに接続します。RJ45-DB9シリアル・ケーブルがCiscoドキュメント・パッケージに付属しています。

    ステータス・ランプがオンになり、次のメッセージが表示されます。

    Switch con0 is now available
Press RETURN to get started.

  2. イーサネット・スイッチにステータス・ランプおよびようこそメッセージが表示された場合、続行します。そうでない場合、「自動起動設定の修正」に移動します。

  3. ターミナル・セッションが出力のロギングによってラップトップに記録されることを確認します。出力は、スイッチが正しく構成されたという記録として使用できます。デフォルトのシリアル・ポートの速度は9600ボー、8ビット、パリティなし、1ストップ・ビットおよびハンドシェイクなしです。

  4. 次のコマンドを使用してenableモードに変更します。 

    Switch> enable
Password: <password>

  5. 単一のVLANのネットワークを構成します。次に、構成の例を示します。 

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Switch(config)# interface vlan 1
Switch(config-if)# ip address 10.7.7.34 255.255.255.0
Switch(config-if)# end
Switch# *Jan 23 15:54:00.506: %SYS-5-CONFIG_I:Configured from console by console
Switch# write memory
Building configuration...
Compressed configuration from 2474 bytes to 1066 bytes [OK ]

  6. ネットワークでスイッチのIPルーティングを必要としない場合、デフォルトのIPルーティング設定を無効化してデフォルト・ゲートウェイを構成します。この方法が推奨されます。確信が持てない場合は、ネットワーク管理者に連絡してください。 

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Switch(config)# no ip routing
Switch(config)# ip default-gateway 10.17.7.1
Switch(config)# end 
*Jan 23 15:54:00.506: %SYS-5-CONFIG_I:Configured from console by console
Switch# write memory
Building configuration...
Compressed configuration from 3600 bytes to 1305 bytes[OK]]

  7. ネットワークでスイッチのIPルーティングを必要とする場合、デフォルトのIPルーティング設定を維持し、次のようにデフォルト・ゲートウェイを構成します。 

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Switch(config)# ip route 0.0.0.0 0.0.0.0 10.7.7.1
Switch(config)# end
*Jan 23 15:55:02.506: %SYS-5-CONFIG_I:Configured from console by console
Switch# write memory
Building configuration...
Compressed configuration from 2502 bytes to 1085 bytes [OK ]

  8. スイッチのホスト名を、インストール・プレビューで指定されている名前に設定します。この例では、bda1sw-ipという名前を使用します。 

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Switch(config)# hostname bda1sw-ip
bda1sw-ip(config)# end
*Jan 23 15:57:50.886: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 3604 bytes to 1308 bytes[OK]
bda1sw-ip#

    システムのホスト名がプロンプトに表示されます。

  9. ここに示す例を使用するかわりに、インストール・プレビューで指定されているIPアドレスを使用して、最大で3つのDNSサーバーを構成します。DNSサービスを使用できない場合は、ドメインに任意の名前を設定し、SSHキーを構成できるようにします。

    bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# ip domain-name mydomain.com
bda1sw-ip(config)# ip name-server 10.7.7.3
bda1sw-ip(config)# ip name-server 129.148.5.5
bda1sw-ip(config)# ip name-server 10.8.160.1
bda1sw-ip(config)# end
*Sep 15 14:26:37.045: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 2603 bytes to 1158 bytes[OK]

自動起動設定の修正

Ciscoイーサネット・スイッチにリンクまたはステータス・ランプが表示されない場合、自動起動設定が適切でないために起動できない可能性があります。シリアル・コンソール・ポートにrommonプロンプトが表示された場合、次の手順を完了します。

Ciscoスイッチの自動起動設定を修正するには、次の手順を実行します。

  1. IPBASEおよびIPBASEK9ファームウェアの再起動ファイルが使用可能であることを確認します。

    rommon 1 >dir bootflash:
File Size (Bytes) File Name
------------------------------
25213107 cat4500e-ipbase-mz.150-2.SG2.bin
32288280 cat4500e-ipbasek9-mz.151-1.SG.bin
Total space = 128165888 bytes, Available = 60643328 bytes

  2. デフォルト・イメージを使用してスイッチを手動で再起動します。

    rommon 2 >boot
Rommon reg: 0x00004780
Reset2Reg: 0x00009EFF
##
Fortooine controller 0x0B5A753B..0x0B70B6CD original
size:0x001C3EA5
##################
diagsk5 version 5.0.1
     .
     .
     .

  3. [Enter]を押してSwitchプロンプトを取得します。

  4. enableモードを入力します。Oracle Install Coordinatorによって提供されたパスワードを入力し、[Enter]を押します。

    Switch>enable
Password:  The default password is  <password>
Switch#

  5. BOOT変数が設定されていないことを確認します。

    Switch# show bootvar
BOOT variable =
CONFIG_FILE variable does not exist
BOOTLDR variable does not exist
Configuration register is 0x2102

  6. ブート・ファイル・システムでIPBASEK9が使用可能であることを確認します。

    Switch# dir bootflash:
Directory of bootflash:/
6 -rw- 25213107 Dec 3 2012 17:27:38 +00:00 cat4500eipbase-mz.150-2.SG2.bin
7 -rw- 32288280 Apr 1 2013 11:41:54 +00:00 cat4500eipbasek9-mz.151-1.SG.bin
128165888 bytes total (60643328 bytes free)

  7. bootflashディレクトリにIPBASEK9がリストされていない場合、続行する前にインストールする必要があります。詳細は、My Oracle SupportのドキュメントID 1415044.1を参照してください。

  8. この例で示されているBOOT変数を設定します。 

    Switch# config term
Enter configuration commands, one per line. End with CNTL/Z.
Switch(config)# config-register 0x2102
Switch(config)# no boot system
Switch(config)# boot system bootflash:cat4500e-ipbasek9-mz.151-1.SG.bin
Switch(config)# end

  9. 新しいBOOT設定を確認します。 

    Switch# show running-config | include boot
boot-start-marker
boot system bootflash:cat4500e-ipbasek9-mz.151-1.SG.bin
boot-end-marker

  10. 変更を起動構成に保存します。

    Switch# copy running-config startup-config all
Destination filename [startup-config]? Enter
Switch# write memory
Building configuration...
Compressed configuration from 3628 bytes to 1281 bytes[OK]

  11. ファームウェアを再ロードします。 

    Switch# reload
Proceed with reload? [confirm] y
*Apr 24 09:31:32.887: %SYS-5-RELOAD: Reload requested by console. Reload reason: Reload command

    スイッチは自動的に再起動し、再ロード・プロセスを続行します。

7.2.2.4 イーサネット・スイッチでのTelnetアクセスの設定

Oracle Big Data Applianceには、TelnetとSSHの両方をサポートするバージョンのCiscoイーサネット・スイッチ・ソフトウェアが付属します。Telnetアクセスはオプションです。次の手順では、リモートTelnetアクセスを有効化および無効化する方法について説明します。

注意:

Telnetアクセスは安全ではありません。

イーサネット・スイッチに対するTelnetアクセスを設定するには、次の手順を実行します。

次の手順の<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。

  1. 必要に応じてTelnetアクセスのパスワードを設定します(通常はOracle Big Data Applianceの納品時にすでに設定されています)。 

    bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# enable password <password
bda1sw-ip(config)# enable secret <password 
The enable secret you have chosen is the same as your enable password.
This is not recommended. Re-enter the enable secret.
bda1sw-ip(config)# end
bda1sw-ip# write memory 
*Jan 23 15:57:50.886: %SYS-5-CONFIG_I:Configured from console by console
Building configuration...
Compressed configuration from 2502 bytes to 1085 bytes [OK ]

  2. Telnetアクセスを設定します。この例では、最初のlogin出力に、パスワードが設定されておらず、Telnetアクセスが無効であることが示されています。loginコマンドによって何も返されなければ、パスワードが設定されており、Telnetアクセスを使用できます。 

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# line vty 0 15
bda1sw-ip(config-line)# login
%Login disabled on line 1,until 'password' is set
%Login disabled on line 2,until 'password' is set
%Login disabled on line 3,until 'password' is set
...
bda1sw-ip(config-line)# password <password>
bda1sw-ip(config-line)# login
bda1sw-ip(config-line)# end
bda1sw-ip# write memory
*Jan 23 15:58:53.630: %SYS-5-CONFIG_I: Configured from console by console
Building configuration...
Compressed configuration from 3604 bytes to 1308 bytes[OK]

  3. 次の例のように、Telnetアクセスを無効化してリモート・アクセスを防止します。

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# line vty 0 15
bda1sw-ip(config-line)# no password
bda1sw-ip(config-line)# login
%Login disabled on line 1, until 'password' is set
%Login disabled on line 2, until 'password' is set
%Login disabled on line 3, until 'password' is set
...
bda1sw-ip(config-line)# end
bda1sw-ip# write memory
*Jan 23 15:58:53.630: %SYS-5-CONFIG_I: Configured from console by console
Building configuration...
Compressed configuration from 3786 bytes to 1468 bytes[OK]
7.2.2.5 イーサネット・スイッチでのSSHの構成

現在のファームウェアでは、SSHを使用したリモート接続がサポートされます。Ciscoイーサネット・スイッチでSSHを設定するには、次の例に従います。

この例で示されている<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。 

bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# crypto key generate rsa
% You already have RSA keys defined named bda1sw-ip.mydomain.com.
% Do you really want to replace them? [yes/no]: yes
Choose the size of the key modulus in the range of 360 to 2048 for
your General Purpose Keys. Choosing a key modulus greater than 512
may take a few minutes.
How many bits in the modulus [512]: 768
% Generating 768 bit RSA keys, keys will be non-exportable...[OK]
bda1sw-ip(config)# username admin password 0 <password>
bda1sw-ip(config)# line vty 0 15
bda1sw-ip(config-line)# transport input ssh
bda1sw-ip(config-line)# exit
bda1sw-ip(config)# aaa new-model
bda1sw-ip(config)# ip ssh time-out 60
bda1sw-ip(config)# ip ssh authentication-retries 3
Oracle Internal and Approved Partners Only Page 11 of 47 V 1.0 Created: 21. Dec. 2012
Task Comment Check
bda1sw-ip(config)# ip ssh version 2
bda1sw-ip(config)# end
*Sep 15 14:26:37.045: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 2603 bytes to 1158 bytes[OK]
7.2.2.6 イーサネット・スイッチでのクロックおよびタイムゾーンの設定

Ciscoイーサネット・スイッチでは、内部時間が協定世界時(UTC)の形式で維持されます。

ローカル時間とタイムゾーンを設定する場合、順序が重要です。次に、ローカル時間をアメリカ東部タイムゾーンに設定する例を示します。

bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# clock timezone EST -5
bda1sw-ip(config)# clock summer-time EDT recurring
bda1sw-ip(config)# end
bda1sw-ip# clock set 15:00:00 January 23 2012
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 3778 bytes to 1433 bytes[OK]
bda1sw-ip# show clock
15:00:18.819 EST Mon Jan 23 2012

クロックのコマンド

クロックとタイムゾーンを設定するためのコマンドの説明は次のとおりです。

  • UTCを使用するには、次のコマンドを入力します。

    no clock timezone global configuration

  • タイムゾーンを使用するには、次のようにします。

    clock timezone zone hours-offset [minutes-offset]

    このコマンドで、zoneは標準時が有効な場合に表示するタイムゾーン、hours-offsetはUTCからの時間数のオフセット、およびminutes-offsetはUTCからの分数のオフセットです。

  • 夏時間を設定するには、次のようにします。 

    clock summer-time zone recurring [week day month hh:mm week day month \
hh:mm [offset]]

    このコマンドで、zoneは夏時間(夏時間調整)が有効な場合に表示するタイムゾーン、weekは月の週(1から5、またはlast)、dayは曜日、monthは月、hh:mmは24時間形式の時刻、およびoffsetは夏時間中に追加する分数です。デフォルト・オフセットは60分です。夏時間はデフォルトでは無効です。

  • クロックを任意の時刻に手動設定するには、次のようにします。

    clock set hh:mm:ss month day year

    このコマンドで、hh:mm:ssは、24時間形式の時間、分、秒、dayは月の日にち、monthは月、およびyearは年です。指定された時刻は、構成済のタイムゾーンを基準とします。

関連項目:

『Cisco IOS Configuration Fundamentals Command Reference』: http://www.cisco.com/c/en/us/td/docs/ios/12_2/configfun/command/reference/ffun_r/frf012.html

7.2.2.7 イーサネット・スイッチでのNTPサーバーの構成

最大2つのNTPサーバーを構成できます。名前のかわりにIPアドレスを使用します。名前を使用すると、スイッチがネットワークに接続されていない場合に失敗します。名前を使用する必要がある場合は、スイッチがネットワークに接続された後にNTPサーバーを構成すると、DNSで名前が正しく解決されます。

次の例に、ローカル時間に同期されたNTPサーバーを示します(Ciscoスイッチがネットワークに接続され、NTPにアクセスできる場合)。 

bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip(config)# ntp server 10.196.23.254 prefer
bda1sw-ip(config)# ntp server 192.168.9.19
bda1sw-ip(config)# end
Jan 23 20:00:41.235: %SYS-5-CONFIG_I:Configured from console by console
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 3870 bytes to 1487 bytes [OK ]
bda1sw-ip# show ntp status
output varies by network
bda1sw-ip# show clock
15:00:57.919 EST Mon Jan 23 2012

show clockコマンドの出力の先頭に、次の記号が表示される場合があります。

  • * (アスタリスク): 時間は決定的ではありません。
  • . (ドット) 時間は決定的ですが、NTPは同期されません。
  • (ブランク) 例に示すように、時間は決定的です。
7.2.2.8 スパニング・ツリーの無効化

デフォルトでは、Ciscoのスイッチではスパニング・ツリーが有効ですが、1から47までのすべてのサーバー接続ポートのファクトリでは無効化されています。

スパニング・ツリーが有効なスイッチをスパニング・ツリーが意図的に無効化されているネットワークに追加すると、不具合が発生する可能性があります。事前対策として、カスタマ・ネットワークに接続する前に、アップリンク・ポートのVLANのスパニング・ツリーを無効にします。

接続前または接続後にスパニング・ツリーをオンにする必要がある場合、ネットワーク管理者はCiscoスイッチの構成に関するドキュメントの説明に基づいて、適切なプロトコル設定を指定します。

スパニング・ツリーを無効化するには、次の手順を実行します。

  1. ポートを無効にする必要がある場合、次のコマンドを入力します。

    bda1sw-ip# configure terminal
Enter configuration commands, one per line.  End with CNTL/Z.
Switch(config)# no spanning-tree vlan 1
Switch(config)# end
Jan 23 20:01:15.083: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
Building configuration...
Compressed configuration from 2654 bytes to 1163 bytes[OK]

  2. スパニング・ツリーの無効化を確認するには、次のようにします。

    bda1sw-ip# show spanning-tree vlan 1
Spanning tree instance(s) for vlan 1 does not exist.

  3. デフォルトのプロトコル設定を再度有効にする必要がある場合は、次の手順を実行します。

    Switch# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
Switch(config)# spanning-tree vlan 1
Switch(config)# end
Switch# write memory
7.2.2.9 イーサネット構成の確認

Ciscoイーサネット・スイッチ構成を確認するには、次の手順を実行します。

  1. 次のコマンドを入力して構成を確認します。
    bda1sw-ip# show running-config

    次に、出力の例を示します。

    Building configuration...
Current configuration :2654 bytes
!
version 15.0
no service pad
service timestamps debug datetime msec
service timestamps log datetime msec
no service password-encryption
service compress-config
.
.
.
  2. いずれかの設定が不適切な場合、適切なステップを繰り返してください。設定を消去するには、同じコマンドの前にnoを入力します。たとえば、デフォルト・ゲートウェイを消去するには、次のコマンドを入力します。
    bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.
bda1sw-ip# no ip default-gateway 10.7.7.1
bda1sw-ip# end
bda1sw-ip#
*Sep 15 14:13:26.013: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
  3. 次のコマンドを入力して現在の構成を保存します。
    bda1sw-ip# copy running-config startup-config
Destination filename [startup-config]?
Building configuration...
Compressed configuration from 2654 bytes to 1189 bytes[OK]
  4. 次のコマンドを使用してセッションを終了します。
    bda1sw-ip#exit
bda1sw-ip con0 is now available
Press RETURN to get started.
  5. Ciscoコンソールからケーブルを外します。
  6. 構成を確認するには、ラップトップをポート48に接続し、内部管理ネットワークのIPアドレスをpingします。

注意:

システムがユーザーのIPアドレスで構成され、スイッチ構成が完了するまで、Ciscoイーサネット・スイッチを管理ネットワークに接続しないでください。

7.3 インフィニバンドのリーフ・スイッチおよびスパイン・スイッチの構成

Oracle Big Data Applianceには、2つのSun Network QDR InfiniBand Gatewayリーフ・スイッチと、1つのSun Datacenter InfiniBand Switch 36スパイン・スイッチがあります。スイッチを構成するには、それぞれ次の手順を実行します。

注意:

Oracle Big Data Appliance InfiniBand NM2スイッチに接続できるのは、Oracle Big Data Applianceサーバーのみです。また、Oracleエンジニアド・システム・サーバー(Oracle Big Data ApplianceやExadata Database Machineなど)以外のシステムをインフィニバンド・ファブリックに相互接続することは許可されていません。インフィニバンド・ファブリックはオペレーティング・システムおよびカーネルに緊密に接続されており、Oracleエンジニアド・システム・サーバーのみをサポートするように設計されています。

7.3.1 インフィニバンド・スイッチの構成

作業を開始する前に:

インフィニバンド・スイッチを構成するには、次の手順を実行します。

  1. シリアル接続またはイーサネット接続を使用してスイッチに接続します。
  2. Oracle Install Coordinatorによって提供されたパスワードを使用して、ilom-adminとしてログインします。

    スイッチには、Linuxに似たオペレーティング・システムと、構成で使用するOracle ILOMインタフェースがあります。

  3. ファームウェアのバージョンを確認し、必要に応じてアップデートします。My Oracle Supportの次のノートから、最新の推奨されるインフィニバンド・ファームウェアに関する情報を取得できます。

    Oracle Big Data Applianceで、NM2-GW Sun Network QDR InfiniBand Gateway Switchのファームウェアをアップグレードする方法(Doc ID 1534255.1)

    Oracle Big Data Applianceで、NM2-36P Sun Datacenter InfiniBand Switch 36スイッチのファームウェアをアップグレードする方法(Doc ID 1543955.1)

  4. /SP/networkディレクトリに移動します。
    cd /SP/network
  5. 次のコマンドを入力してスイッチを構成します。
    set pendingipaddress=ip_address 
set pendingipnetmask=ip_netmask
set pendingipgateway=ip_gateway
set pendingipdiscovery=static
set commitpending=true

    これらのコマンドで、ip_address、ip_netmaskおよびip_gatewayは、ネットワークの適切な設定を示します。

  6. showコマンドを入力して変更を表示します。いずれかの値が間違っている場合、set commitpending=trueで終わるsetコマンドを再入力します。
    -> show

/SP/network
   Targets:
        interconnect
        ipv6
        test

   Properties:
        commitpending = (Cannot show property)
        dhcp_ser_ip = none
        ipaddress = 10.135.42.24
        ipdiscovery = static
        ipgateway = 10.135.40.1
        ipnetmask = 255.255.255.0
        macaddress = 00:21:28:E7:B3:34
        managementport = SYS/SP/NET0
        outofbandmacaddress = 00:21:28:E7:B3:33
        pendingipaddress = 10.135.42.23
        pendingipdiscovery = static
        pendingipgateway = 10.135.42.1
        pendingipnetmask = 255.255.248.0
        pendingmanagementport = /SYS/SP/NET0
        sidebandmacaddress = 00:21:28:E7:B3:35
        state = enabled

   Commands:
        cd
        set
        show

->
  7. hostnameをスイッチの有効な名前(bda1sw-ib2など)に置き換え、スイッチのホスト名を設定および確認します。ドメイン名は含めないでください。
    -> set /SP hostname=hostname
-> show /SP hostname

 /SP
    Properties:
        hostname = bda1sw-iba
  8. DNSサーバー名およびドメイン名を設定します。
    -> set /SP/clients/dns auto_dns=enabled
-> set /SP/clients/dns nameserver=ip_address
-> set /SP/clients/dns searchpath=domain_name

    これらのコマンドで、ip_addressは優先検索順序におけるネーム・サーバーの1から3のカンマ区切りのIPアドレスで、domain_nameはus.example.comなどの完全DNSドメイン名です。

  9. 設定を確認します。
    -> show /SP/clients/dns
 /SP/clients/dns
    Targets:
 
    Properties:
        auto_dns = enabled
        nameserver = 10.196.23.245, 172.32.202.15
        retries = 1
        searchpath = us.example.com
        timeout = 5
 
   Commands:
        cd
        set
        show

7.3.2 インフィニバンド・スイッチでのタイムゾーンおよびクロックの設定

インフィニバンド・スイッチでタイムゾーンを設定するには、次の手順を実行します。

  1. 現在の時間設定を確認します。
    -> show /SP/clock

    設定が正確ではない場合、次のステップに進みます。

  2. zone_identifierを構成テンプレートのタイムゾーン(America/New_Yorkなど)に置き換え、タイムゾーンを設定します。
    -> set /SP/clock timezone=zone_identifier
  3. 現在の時間設定を確認します。
    -> show /SP/clock

    設定が正確ではない場合、次のステップに進みます。

  4. MMDDHHmmCCyyを月、日、時間、分、世紀および年に置き換え、SPクロックを手動で設定します。
    -> set datetime=MMddHHmmCCyy
  5. 現在の時間設定を確認します。
    -> show /SP/clock
  6. ip_addressをサーバー・アドレスに置き換え、ネットワーク・タイム・プロトコル(NTP)を構成します。サーバー1はプライマリNTPサーバーであり、サーバー2はセカンダリ・サーバーです。
    -> set /SP/clients/ntp/server/1 address=ip_address
-> set /SP/clients/ntp/server/2 address=ip_address
  7. NTPサーバーを有効にします。
    -> set /SP/clock usentpserver=enabled

    注意:

    Mammothソフトウェアを正常にインストールするには、適切に同期されたクロックが必要です。管理ネットワーク上に使用できるNTPサーバーがない場合は、Oracle Big Data Applianceの最初のサーバーをNTPサーバーとして構成します。

  8. 設定を確認します。
    -> show /SP/clients/ntp/server/1
-> show /SP/clients/ntp/server/2
-> show /SP/clock

7.3.3 インフィニバンド・スイッチの健全性の確認

インフィニバンドのリーフ・スイッチまたはスパイン・スイッチの健全性を確認するには、次の手順を実行します。

  1. ファブリック管理シェルを開きます。 

    -> show /SYS/Fabric_Mgmt

    プロンプトが->からFabMan@hostname->に変更されます。

  2. ファームウェア・バージョンを確認します。ゲートウェイ・スイッチの場合は2.0.5-2以上、スパイン・スイッチの場合は2.1.8-1以上である必要があります。現在のバージョンは、My Oracle Support ID 1474875.1を確認してください。

    FabMan@bda1sw-02->version
SUN DCS gw version: 2.0.5-2
Build time: Nov 29 2011 16:05:05
FPGA version: 0x34
SP board info:
Manufacturing Date: 2011.05.31
Serial Number: "NCD6Q0126"
Hardware Revision: 0x0006
Firmware Revision: 0x0000
BIOS version: SUN0R100
BIOS date: 06/22/2010
FabMan@bda1sw-02->

  3. スイッチの全体的な健全性を確認し、問題があれば修正します。

    FabMan@bda1sw-ib2-> showunhealthy
OK - No unhealthy sensors

  4. 環境を確認します。すべてのテストでOKおよびPASSEDが返されることを確認し、問題があれば作業を続行する前に修正します。この例は、電源コードの緩みが原因でPSU1に問題が発生していることを示しています。WARNING PSUで始まる行を参照してください。

    FabMan@bda1sw-ib2-> env_test
Environment test started:
Starting Environment Daemon test:
Environment daemon running
Environment Daemon test returned OK
Starting Voltage test
Voltage ECB OK
Measured 3.3V Main = 3.28 
Measured 3.3V Standby = 3.39 V
Measured 12V = 11.97 V
Measured 5V = 4.99 V
Measured VBAT = 3.09 V
Measured 1.0V = 1.01 V
Measured I4 1.2V = 1.22 V
Measured 2.5V = 2.52 V
Measured V1P2 DIG = 1.19 V
Measured V1P2 ANG = 1.18 V
Measured 1.2V BridgeX = 1.22 V
Measured 1.8V = 1.78 V
Measured 1.2V Standby = 1.20 V
Voltage test returned OK
Starting PSU test:
PSU 0 present OK
WARNING PSU 1 present AC Loss
PSU test returned 1 faults
Starting Temperature test:
Back temperature 30
Front temperature 29
SP temperature 36
Switch temperature 52,
          .
          .
          .

  5. InfiniBand Gatewayリーフ・スイッチの優先度設定が5で、InfiniBand Switch 36スパイン・スイッチの優先度設定が8であることを確認します。 

    FabMan@bda1sw-ib2-> setsmpriority list
Current SM settings:
smpriority 5
controlled_handover TRUE
subnet_prefix 0xfe80000000000000

    smpriorityが正しい場合、次のステップは省略できます。

  6. 優先度設定を修正するには、次の手順を実行します。

    1. インフィニバンド・サブネット・マネージャを停止します。

      FabMan@bda1sw-ib2-> disablesm

    2. InfiniBand Gatewayリーフ・スイッチの優先度を5に、InfiniBand Switch 36スパイン・スイッチの優先度を8に設定します。次の例は、リーフ・スイッチ用です。

      FabMan@bda1sw-ib2-> setsmpriority 5

    3. インフィニバンド・サブネット・マネージャを再起動します。

      FabMan@bda1sw-ib2-> enablesm

  7. ファブリック管理シェルを終了します。

    FabMan@bda1sw-ib2-> exit
->

  8. Oracle ILOMシェルを終了します。

    -> exit

  9. rootとしてスイッチにログインし、すべての変更を反映するためにスイッチを再起動します。 

    # reboot

  10. 他のインフィニバンド・スイッチでこれらのステップを繰り返します。

7.3.4 Sun Network QDR Infiniband Gateway Switchの確認

ファブリック内のすべてのゲートウェイ・スイッチのインスタンス番号(NM2-GW)を確認し、自動設定によって各ラック内およびマルチラック環境のすべてのラック間の各スイッチに一意のインスタンス番号が割り当てられていることを確認する必要があります。

ファブリック内の2つのスイッチに同じインスタンス番号が割り当てられると、IB-10GbEポートが正常に動作しない可能性があります。

スイッチで連続する番号が使用されないようにする必要があります。偶数のみを使用することをお薦めします。工場出荷時の構成では、Oracle Big Data Applianceのゲートウェイ・スイッチで10と20の番号を使用しています。

Oracle Big Data ApplianceのラックがOracle Exalogic Elastic Cloud Machineのラックに接続されている場合、ファブリック内のインスタンス番号が偶数で、各スイッチで一意であることを確認します。

注意:

ファブリック内のすべてのSun Network QDR InfiniBand Gatewayスイッチのファームウェアが2.1.8-1以上のバージョンである必要があります。バージョン2.2.7-1をお薦めします。バージョン2.2.9もOracle Big Data Applianceラックで検証されていますが、より古いファームウェアを現在実行している大規模な本番クラスタの場合は、より保守的に、バージョン2.1.8-1または2.2.7-1にアップグレードすることをお薦めします。

次の手順に従って、ゲートウェイ・スイッチを確認します。

次の手順の<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。

  1. ユーザーilom-adminとしてラック1のゲートウェイ・スイッチ1にログインします。 

    localhost: ilom-admin
password:  <password>

  2. ファブリック管理シェルを起動します。

    -> show /SYS/Fabric_Mgmt
NOTE: show on Fabric_Mgmt will launch a restricted Linux shell.
User can execute switch diagnosis, SM Configuration and IB
monitoring commands in the shell. To view the list of commands,
use "help" at rsh prompt.
Use exit command at rsh prompt to revert back to
ILOM shell.
FabMan@hostname->

  3. 現在の番号が表示されます。

    FabMan@bda1sw-iba->setgwinstance --list
No BXM system name set, using 6 last bits of the ip-address, value: 24

    ここに示すようにNo BXM system name setが表示された場合、またはシステム名が0の場合は、インスタンス番号を手動で設定する必要があります。

  4. ラック1のゲートウェイ・スイッチ1が10に設定されていない場合は、次のようになります。

    FabMan@bda1sw-iba->setgwinstance 10
Stopping Bridge Manager..-. [ OK ]
Starting Bridge Manager. [ OK ]
FabMan@bda1sw-iba->setgwinstance --list
BXM system name set to 10

  5. ゲートウェイ・スイッチ2について、ステップ1から4を繰り返します。10のかわりに20に設定します。

  6. 複数のラック(Oracle Big Data ApplianceのラックとOracle Exalogic Elastic Cloud Machineのラック)がケーブルで接続されている場合は、各ラックでステップ1から5を繰り返します。一意の番号を割り当てるために、インスタンス番号に前のラックよりも2大きい番号を指定します。

    • ラック2のゲートウェイ・スイッチ1の場合は、12に設定します(10+2)。

    • ラック2のゲートウェイ・スイッチ2の場合は、22に設定します(20+2)。

    このようにして、0から63の間の偶数を割り当てます。

7.4 配電ユニットの構成

配電ユニット(PDU)の構成には、次の手順が含まれます。

7.4.1 ネットワークへのPDUの接続

配電ユニット(PDU)は、監視用のネットワークに接続するための静的IPアドレスで構成されます。PDUを接続する前に、次のネットワーク情報を確認してください。

  • 静的IPアドレス

  • サブネット・マスク

  • デフォルト・ゲートウェイ

PDUをネットワークに接続するには、次の手順を実行します。

  1. Webブラウザを使用してPDUメータリング・ユニットにアクセスするため、ユニットの工場出荷時のデフォルトIPアドレスを入力します。PDU Aのアドレスは192.168.1.210、PDU Bのアドレスは192.168.1.211です。

    「Current Measurement」ページが表示されます。PDUが応答しない場合は、別のIPアドレスが割り当てられている可能性があります。

    1. 赤色のリセット・ボタンを押し続けます。

    2. 約10秒から15秒後に表示がカウント・ダウンを始めたら、ボタンを放し、再度押します(押し続けません)。

    3. 監視の再起動時、現在のIP設定および動的ホスト構成プロトコル(DHCP)か静的アドレスかを控えておきます。これらのアドレスを使用して接続します。

  2. PDUメータリング・ユニットにadminユーザーとしてログインします。デフォルト・パスワードはadm1nまたはadminです。このパスワードは、ネットワークの構成後に変更してください。

  3. ファームウェア・バージョンを確認するには、「Module Info」を選択します。バージョンは1.06である必要があります。バージョンが低い場合は、ファームウェアをアップグレードできます。「PDUファームウェア・バージョンの更新」を参照してください。

  4. ページの左上の「Net Configuration」をクリックします。

  5. 「DHCP Enabled」オプションが選択されていないことを確認します。

  6. PDUメータリング・ユニットの次のネットワーク設定を入力します。

    • IPアドレス

    • サブネット・マスク

    • デフォルト・ゲートウェイ

  7. 「Submit」をクリックしてネットワーク設定を指定し、PDUメータリング・ユニットをリセットします。

  8. 2番目のPDUでステップ6および7を繰り返します。

7.4.2 PDUファームウェア・バージョンの更新

PDUファームウェア・バージョンを更新するには、次の手順を実行します。

  1. My Oracle Supportから最新のファームウェア・バージョンをダウンロードします。

    1. http://support.oracle.comでログインします。

    2. 「パッチと更新版」タブを選択します。

    3. 「パッチ検索」で、「製品またはファミリ(拡張検索)」をクリックします。

    4. 「製品」で、「Sun Rack II PDU」を選択します。

    5. 「リリース」で、「Sun Rack II PDU 1.0.6」を選択します。

    6. 「検索」をクリックして「パッチ検索結果」ページを表示します。

    7. 「16523441」などのパッチ名をクリックします。

    8. ファイルをダウンロードします。

  2. ローカル・システムにファイルを解凍します。ファイルは「p16523441_1060_Generic.zip」のような名前です。次にPDUファイルを解凍します。「OraclePDU_v1.0.6.zip」のような名前のファイルです。

  3. PDU Webインタフェースで、「Net Configuration」を選択して、adminとしてログインします(パスワードはadm1n)。

  4. 「Firmware Update」まで下にスクロールします。

  5. 「Browse」をクリックし、MKAPP_V1.06.DLファイルを選択して、「Submit」をクリックします。

  6. 「Browse」をクリックし、HTML_V1.06.DLファイルを選択して、「Submit」をクリックします。

  7. 「Module Info」をクリックして、ファームウェアのバージョン番号を確認します。

  8. 「Net Configuration」をクリックし、次に「Logout」をクリックします。

7.5 Oracle Big Data Applianceサーバーの構成

ネットワークを構成する前に、Oracle Big Data Applianceサーバーが正しく設定されていることを確認します。

注意:

Oracle ILOMシリアル管理ポートに接続する必要がある場合、サーバーのボー・レート設定は、デフォルトのOracle ILOM設定である9600から、115200ボー、8ビット、パリティなし、1ストップ・ビットに変更されます。サーバー・コンソールを表示するには、このコマンドを使用します。

start HOST/console

Oracle Big Data Applianceサーバーを確認するには、次の手順を実行します。

  1. 各サーバーの前面パネルの電源ボタンを押してすべてのサーバーに電源を投入します。サーバーが通常の起動テストを実行するのに5から10分かかります。

  2. ラップトップを使用してサーバーに接続します。

    1. PuTTYなどのユーティリティを使用してSSH接続を開きます。

    2. サーバーのデフォルトIPアドレスを入力します。

  3. rootユーザーとして第1サーバーにログインします。パスワードは、Oracle Install Coordinatorによって提供されます。

  4. 「パスワードなしSSHの設定」の説明に従ってsetup-root-sshコマンドを入力し、rootのパスワードなしSSHを設定します。

    スタータ・ラックの場合、拡張が組み込まれているかどうかにかかわらず、-jパラメータを使用する必要があります。「setup-root-ssh」を参照してください。 

    # setup-root-ssh -j "etho0_ips[range]"

  5. SSHキーがラック全体に配布されていることを確認します。 

    # cd /opt/oracle/bda
# dcli "hostname ; date"

  6. パスワードの入力を求められた場合、[Ctrl]+[C]を複数回押します。このプロンプトでキーの配布を確認することで、次のステップに進むことができます。確認できなかった場合は、passwordを有効なパスワードに置き換え、スタータ・ラックで使用するの-jパラメータを使用して、ラック全体のSSHルート・キーを生成します。 

    # setup-root-ssh -p password [-j "eth0_ips[range]"]

    ステップ5のdcliコマンドを再度入力し、キーを確認します。

  7. 前面のステッカのシステム・シリアル番号(S/N)と、ラックの一番下(1)から一番上(18)までのサーバーの割当てを比較して、それらが一致していることを確認します。

    # dcli "dmidecode -s "chassis-serial-number"
192.168.10.1: 1143FMM064
     .
     .
     .
192.168.10.18: 1144FMM1A0

  8. ラック前面のステッカのラック・マスター・シリアル番号とラックの割当てを比較して、それらが一致していることを確認します。

    # dcli "ipmitool sunoem cli 'show /SP system_identifier'" | grep =
192.168.10.1: system_identifier = Oracle Big Data Appliance AK00024695
     .
     .
     .
192.168.10.18: system_identifier = Oracle Big Data Appliance AK00024695

  9. ラック・マスター・シリアル番号が正しくない場合は、各システムのILOM内の番号をリセットします。次のコマンドを1行で続けて入力し、R-MSNをラック・マスター・シリアル番号(AK00024695など)で置き換えます。 

    # dcli -l root \"ipmitool sunoem cli' set /SP system_identifier=\"\"Oracle Big Data Appliance R-MSN\""'" \> /tmp/set-rack-csn.out

    前の構文のsystem_identifierには40文字の制限があります。

  10. インフィニバンドのポートが各サーバーで2つ(フル・ラックの場合は18サーバーで36のポート)稼働していることを確認します。

    # dcli ibstatus | grep phys
192.168.10.1: phys state: 5: LinkUp
192.168.10.1: phys state: 5: LinkUp
..
192.168.10.18: phys state: 5: LinkUp
192.168.10.18: phys state: 5: LinkUp

  11. インフィニバンド・ポートが40Gbps (4X QDR)で稼働していることを確認します。

    # dcli ibstatus | grep rate | more
192.168.10.1: rate: 40 Gb/sec (4X QDR)
192.168.10.1: rate: 40 Gb/sec (4X QDR)
..
192.168.10.18: rate: 40 Gb/sec (4X QDR)
192.168.10.18: rate: 40 Gb/sec (4X QDR)

  12. Oracle ILOMで何も障害が検出されないことを確認します。

    # dcli 'ipmitool sunoem cli "show faulty"'

    通常、各サーバーの出力は次のようになります。

    bda1node02-adm.example.com: Connected. Use ^D to exit.
bda1node02-adm.example.com: -> show faulty
bda1node02-adm.example.com: Target      | Property        | Value
bda1node02-adm.example.com:-------------+---------------------+-----------
bda1node02-adm.example.com:
bda1node02-adm.example.com: -> Session closed
bda1node02-adm.example.com: Disconnected

  13. 各サーバーの電源を投入し、BDA_IMAGING_SUCCEEDEDおよびBDA_REBOOT_SUCCEEDEDが各サーバーの/rootディレクトリにあることを確認します。 

    # dcli 'ls /root/BDA*'

  14. filenameを任意のファイル名に置き換え、確認用のファイルに各システムからのハードウェア・プロファイル出力を保存します。 

    # dcli bdacheckhw > filename

  15. 次のようなコマンドを使用してハードウェア・プロファイル出力ファイルを確認します。次の各例のファイル名は、all-bdahwcheck.outです。

    • ハードウェア・プロファイルに障害が存在しないことを確認するには、次のようにします。

      grep -vi SUCCESS ~/all-bdahwcheck.out

      このコマンドは、SUCCESSと表示されていないすべての行を返すため、返されなかった行には障害が存在しないことを意味します。

    • 32のコアを確認するには、次のようにします。

      grep cores  ~/all-bdahwcheck.out

    • 63GBのメモリーを確認するには、次のようにします。

      grep memory ~/all-bdahwcheck.out

    • 4つのファンを確認するには、次のようにします。

      grep fans ~/all-bdahwcheck.out

    • ステータスが両方の電源でOKであることを確認するには、次のようにします。

      grep supply ~/all-bdahwcheck.out

    • ディスク0から11がすべて同じモデルで、オンラインで回転しており、アラートがないことを確認するには、次のようにします。

      grep disk ~/all-bdahwcheck.out | grep "model\|status" | more

    • ホスト・チャネル・アダプタのモデルがMellanox Technologies MT26428 ConnectX VPI PCIe 2.0であることを確認するには、次のようにします。

      grep Host ~/all-bdahwcheck.out | grep model | more

  16. filenameを任意のファイル名に置き換え、ファイルにRAID構成を保存します。 

    dcli MegaCli64 -ldinfo -lall -a0 | grep "Virtual Drive\|State" > filename

  17. 12の仮想ドライブ(0から11)がサーバーごとにリストされることを確認します。この例では、RAID構成はall-ldstate.outというファイルに格納されます。 

    less ~/all-ldstate.out

  18. filenameを任意のファイル名に置き換え、確認用のファイルに各システムからのソフトウェア・プロファイル出力を保存します。 

    dcli bdachecksw > filename

  19. パーティション設定およびソフトウェア・バージョンが正しいことを確認します。この例では、ソフトウェア・プロファイルはall-bdaswcheck.outというファイルに格納されます。

    less ~/all-bdaswcheck.out

  20. システムのブート順序がUSB、RAIDスロット0、PXEであることを確認します。

    # dcli "ubiosconfig export all -x /tmp/bios.xml"
[# dcli "grep -m1 -A20 boot_order /tmp/bios.xml" | more
[root@bda01 bda]# dcli "ubiosconfig export all -x /tmp/bios.xml"
[root@bda01 bda]# dcli "grep -m1 -A20 boot_order /tmp/bios.xml" | more
<boot_order>
  <boot_device>
    <description>USB:USBIN:ORACLE UNIGEN-UFD PMAP</description>
    <instance>1</instance>
  </boot_device>
  <boot_device>
    <description>RAID:PCIE6:(Bus 50 Dev 00)PCI RAID Adapter</description>
    <instance>1</instance>
  </boot_device>
  <boot_device>
    <description>PXE:NET0:IBA XE Slot 4000 v2196</description>
    <instance>1</instance>
  </boot_device>
  <boot_device>
    <description>PXE:NET1:IBA XE Slot 4001 v2196</description>
    <instance>1</instance>
  </boot_device>
  <boot_device>
    <description>PXE:NET2:IBA XE Slot 8800 v2196</description>
    <instance>1</instance>
  </boot_device>

  21. ブート順序が正しくない場合は、次のようにします。

    1. 当該サーバーのILOMにログインして、次回の再起動時にBIOSの設定に入ります。

      # set /HOST boot_device=bios

    2. サーバーを再起動してBIOSを修正します。

7.6 ネットワークの構成

Oracle Big Data Appliance構成生成ユーティリティによって、3つすべてのネットワーク・インタフェースおよびすべてのOracle ILOMを構成するために使用されるcluster-network.jsonおよびrack-network.jsonファイルが生成されます。このファイルが存在しない場合、「構成ファイルの生成」を参照してください。

ネットワークの構成には、次の手順が含まれます。

7.6.1 Oracle Big Data Applianceへの構成ファイルのコピー

Oracle Big Data Applianceに構成ファイルをコピーするには、次の手順を実行します。

  1. USBフラッシュ・ドライブに構成ファイルをコピーします。
  2. ラップトップやKVMスイッチを使用して第1サーバーへのコンソール・セッションを開きます。第1サーバーは、ラック内の一番下のサーバーです。図E-1を参照してください。
  3. rootユーザーとして第1サーバーにログインします。Oracle Install Coordinatorによって提供されたパスワードを使用します。
  4. USBドライブを第1サーバーのUSBポートに接続します。ポートはサーバーの右前面にあります。次のような情報がコンソールに表示されます。
    # scsi 0:0:0:0: Direct-Access     CBM      USB 2.0
Q: 0 ANSI:2
sd 0:0:0:0: Attached scsi generic sg14 type 0
sd 0:0:0:0: [sdn] 7954432 512-byte logical blocks: (4.07 GB/3.79 GiB)
sd 0:0:0:0: [sdn] Write Protect is off
sd 0:0:0:0: [sdn] Assuming drive cache: write through
sd 0:0:0:0: [sdn] Assuming drive cache: write through
sd 0:0:0:0: [sdn] Assuming drive cache: write through
sd 0:0:0:0: [sdn] Attached SCSI removable disk
  5. showusbコマンドを入力してUSBドライブを検索します。コマンドによって、マップされたデバイスが返されますが、USBドライブが接続されていない場合は何も出力されません。
    # showusb
/dev/sdn1
  6. サーバーにディレクトリを作成します。
    # mkdir /mnt/usb
  7. ステップ5で示されたデバイス名を使用してデバイスをマウントします。次に、コマンドの例を示します。
    # mount -t vfat /dev/sdn1 /mnt/usb
  8. USBフラッシュ・ドライブ上のファイルの場所を確認します。
    # ls /mnt/usb
cluster-network.json
rack-network.json
bin
boot
.
.
.
  9. cluster-network.jsonおよびrack-network.json (またはnetworkexpansion.json)をUSBフラッシュ・ドライブからサーバーの/opt/oracle/bdaディレクトリにコピーします。
    network.jsonを引き続き使用できますが、cluster-network.jsonおよびrack-network.jsonをお薦めします。 
    # cd /mnt/usb
# cp *network.json /opt/oracle/bda

    注意:

    cluster_name-config.jsonもドライブ上にある場合は、これをサーバーにコピーして「Oracle Big Data Applianceソフトウェアのインストール」で使用できます。

  10. USBフラッシュ・ドライブをディスマウントして、デバイスを削除します。
    # umount /mnt/usb
# rmdir /mnt/usb
  11. サーバーからUSBフラッシュ・ドライブを取り外します。

7.6.2 ネットワーク構成の開始

注意:

前にOracle Big Data Applianceのリリースがインストールされている場合、設定スクリプトnetworksetup-one、networksetup-twoは非推奨です。

networksetup-oneのかわりにrack-networksetupを実行します。networksetup-twoのかわりにcluster-networksetupを実行します。

rack-networksetupスクリプトはrack-network.jsonを読み取り、すべてのサーバーのホスト名およびOracle ILOM名を設定し、管理ネットワークとプライベート・インフィニバンド・ネットワークを構成します。新しいラック(フル・ラックまたはスタータ・ラックのいずれか)を構成する場合と、スタータ・ラックのデプロイ後に追加サーバーを構成する場合では、手順が多少異なります。

新しいラックのネットワーク構成を開始するには、次の手順を実行します。

次の手順の<password>プレースホルダで、Oracle Install Coordinatorによって提供されたパスワードを入力します。

  1. rootユーザーとして第1サーバーにログインします。Oracle Install Coordinatorによって提供されたパスワードを使用します。 

    # ssh root@192.168.10.1
Password: <password>

  2. 新しいラックについて、/opt/oracle/bdaに新しいrack-network.jsonおよびcluster-network.jsonファイルが含まれていることを確認します。

    スタータ・ラックの追加のサーバーについては、/opt/oracle/bdaに既存のノードからの rack-network.jsonおよびcluster-network.json (またはnetwork.json)と、新しいnetworkexpansion.jsonファイルの両方が含まれていることを確認します。

  3. インフィニバンド・ネットワークが正常に稼働していることを確認します。

    # cd /opt/oracle/bda
# bdacheckib -s

LINK bdasw-ib1.0B ... bdasw-ib3.8B UP
LINK bdasw-ib1.1B ... bdasw-ib2.8B UP
LINK bdasw-ib3.15A ... bda2.HCA-1.2 UP
LINK bdasw-ib3.15B ... bda1.HCA-1.2 UP
LINK bdasw-ib3.14A ... bda4.HCA-1.2 UP
LINK bdasw-ib3.14B ... bda3.HCA-1.2 UP
LINK bdasw-ib3.13A ... bda6.HCA-1.2 UP
   .
   .
   .

    インフィニバンド・ネットワークはソフトウェアのインストール中に幅広く使用されます。ファブリックをより詳しくチェックするには、iblinkinfoユーティリティを実行します。

  4. パスワードなしSSHを削除します。「remove-root-ssh」を参照してください。

  5. SSHのかわりにILOMを使用してサーバーに再接続します。

    # ssh root@192.168.1.101
Password: <password>
-> start -f /HOST/console
bda1 login:
User: root
Password: <password>

    rack-networksetupスクリプトによってネットワーク・サービスが再開され、SSH接続を使用する出力はすべて表示されなくなります。

  6. ネットワーク構成を開始します。

    # cd /opt/oracle/bda/network
# ./rack-networksetup

例7-1に、rack-networksetupスクリプトによるサンプル出力を示します。

例7-1 rack-networksetupによるサンプル出力

# ./rack-networksetup
rack-networksetup: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster                   -network.json
rack-networksetup: passed
rack-networksetup: Found 6 node(s) accessible
rack-networksetup: If this number is not the total number of nodes,
rack-networksetup: please make sure that all nodes are ON and connected correctly

rack-networksetup: Type 'r' if you want to retry (If you are waiting for nodes to boot and become accessib                   le)
rack-networksetup: Type 'n' to abort network setup
rack-networksetup: Type 'y' to continue configuring 6 node(s)

Continue using 6 nodes? [r/n/y]:
y
rack-networksetup: checking for  rack-expansion.json
rack-networksetup: ping servers on ship admin network by ip
rack-networksetup: passed
rack-networksetup: test ssh to servers on ship admin network by ip
rack-networksetup: passed
rack-networksetup: verify servers on ship admin are BDA nodes
rack-networksetup: passed
rack-networksetup: copy /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json to servers
rack-networksetup: verify transfer of  /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json
rack-networksetup: passed
rack-networksetup: executing network settings on all servers
rack-networksetup: wait a few seconds for the network to restart on <IP address>
rack-networksetup: wait a few seconds for the network to restart on <IP address>
rack-networksetup: rack-networksetup: bdanetworktool.main: Start time                           = Sun Feb  6 14:33:30 PST 2017
rack-networksetup: rack-networksetup: bdanetworktool.main: Host                                 = bda02
rack-networksetup: rack-networksetup: bdanetworktool.main: Using deploy files /opt/oracle/bda/cluster-network.json and /opt/oracle/bda/rack-network.json
rack-networksetup: rack-networksetup: bdanetworktool.main: Using node nr                        = 2
rack-networksetup: rack-networksetup: bdanetworktool.main: Using local files                    = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply nws settings on usb            = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply dns settings                   = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply client nw settings             = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Remove client nw settings            = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply ntp settings                   = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply extra ib settings              = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply ssh settings                   = true
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply bondib0 settings               = false
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply eth0 settings                  = true
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply ilom settings                  = true
rack-networksetup: rack-networksetup: bdanetworktool.main: Apply /etc/hosts settings            = true
rack-networksetup: rack-networksetup: bdanetworktool.main: Set timezone                         = true
rack-networksetup: rack-networksetup: bdanetworktool.main: Set host name                        = true
rack-networksetup: rack-networksetup: bdanetworktool.main: Creating                             = /etc/sysconfig/network-scripts/ifcfg-eth0
rack-networksetup: rack-networksetup: bdanetworktool.main: Creating                             = /etc/sysconfig/network
rack-networksetup: rack-networksetup: bdanetworktool.main: Removing all from /etc/hosts
rack-networksetup: rack-networksetup: bdanetworktool.main: Removing known ip entries from /etc/hosts
.
.
.

7.6.3 管理ネットワークへの接続

ネットワーク構成を実行する前に、Oracle Big Data Applianceを1GbE管理ネットワークに接続する必要があります。

Oracle Big Data Applianceを管理ネットワークに接続するには、次の手順を実行します。

  1. Ciscoイーサネット・スイッチのポート48を管理ネットワークに接続します。

  2. Small Form-Factor Pluggable(SFP)ポートをポート48のファイバー・アップリンク(オプション)に使用するには、ポートを再構成します。

    bda1sw-ip# configure terminal
Enter configuration commands, one per line. End with CNTL/Z.

bda1sw-ip(config)# interface gigabitEthernet 1/48
bda1sw-ip(config-if)# media-type sfp
bda1sw-ip(config-if)# end
bda1sw-ip#
*Sep 15 14:12:06.309: %SYS-5-CONFIG_I: Configured from console by console
bda1sw-ip# write memory
bda1sw-ip# copy running-config startup-config

    関連項目:

    SFPポート構成の詳細は、『Cisco Catalyst 4948 Install Guide』(http://www.cisco.com/c/en/us/td/docs/switches/lan/catalyst4900/4948/4948_in/05modcfg.html)を参照してください

7.6.4 クライアント・ネットワークへの接続

Oracle Big Data Applianceも10GbEクライアント・ネットワークに接続する必要があります。

Oracle Big Data Applianceをクライアント・ネットワークに接続するには、次の手順を実行します。

  1. 2つのSun Network QDR InfiniBand Gatewayリーフ・スイッチをデータ・センターに接続します。

  2. ケーブルの配線後、ネットワーク管理者が、ネットワーク・スイッチ・エンド構成を変更してリンクが認識されるようにする必要がある場合があります。

  3. SSHを使用してSun Network QDR Infiniband Gateway Switchに接続し、ilom-adminユーザーとしてログインします。

  4. ファブリック管理シェルを起動します。

    -> show /SYS/Fabric_Mgmt

  5. Bridgeエントリに、リーフ・スイッチからカスタマ・ネットワーク・スイッチへのアクティブなリンクがあることを確認します。

    FabMan@bda1sw-iba-> listlinkup

    この出力では、各スイッチに接続された4つのポートを示しています。

    Connector 0A-ETH Present
Bridge-0 Port 0A-ETH-1 (Bridge-0-2) up (Enabled)
Bridge-0 Port 0A-ETH-2 (Bridge-0-2) down (Enabled)
Bridge-0 Port 0A-ETH-3 (Bridge-0-1) up (Enabled)
Bridge-0 Port 0A-ETH-4 (Bridge-0-1) down (Enabled)
Connector 1A-ETH Present
Bridge-1 Port 1A-ETH-1 (Bridge-1-2) up (Enabled)
Bridge-1 Port 1A-ETH-2 (Bridge-1-2) down (Enabled)
Bridge-1 Port 1A-ETH-3 (Bridge-1-1) up (Enabled)
Bridge-1 Port 1A-ETH-4 (Bridge-1-1) down (Enabled)

  6. 2番目のゲートウェイ・スイッチ(-ib3)について、ステップ3から5を繰り返します。

7.6.5 ネットワーク構成の完了

注意:

前にOracle Big Data Applianceのリリースがインストールされている場合、設定スクリプトnetworksetup-one、networksetup-twoは非推奨です。

構成を完了するには、networksetup-twoのかわりにcluster-networksetupを実行します。

cluster-networksetupスクリプトはcluster-network.jsonを読み取ります。これによって、rack-networksetup(ネットワーク接続を必要とするステップ)で開始されたいくつかのステップが完了します。これにより、10GbEクライアント・ネットワークのデフォルトのVLANおよび必要なすべてのVNICも構成されます。その後、すべてのネットワーク接続が確認され、予期しない障害(ケーブル配線の間違いを原因とする障害など)が検出された場合はメッセージが表示されます。

Sun Network QDR Infiniband Gateway Switchの10GbEポートは、データ・センターに接続されている必要があります。

ネットワーク構成を完了するには、次の手順を実行します。

  1. 管理ネットワークとクライアント・ネットワークの両方がOracle Big Data Applianceに接続されていることを確認します。

    注意:

    この手順は、ネットワークが接続されていないと失敗します。「管理ネットワークへの接続」を参照してください。

  2. 次のスクリプトを実行して、ネットワーク設定を完了します。

    ./cluster-networksetup | tee /tmp/network-conf.out

    前述のコマンドの結果は、/tmp/network-conf.outという名前のファイルに出力されます。

例7-2に、スクリプトによるサンプル出力を示します。

例7-2 cluster-networksetupによるサンプル出力

# ./cluster-networksetup
cluster-networksetup: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json
cluster-networksetup: passed
cluster-networksetup: checking for  rack-expansion.json
cluster-networksetup: ping server ips on admin network
cluster-networksetup: passed
cluster-networksetup: test ssh server ips on admin network
cluster-networksetup: passed
cluster-networksetup: run connected network post script on each server
cluster-networksetup: post network setup for 10.100.100.101
cluster-networksetup: post network setup for 10.100.100.102
cluster-networksetup: post network setup for 10.100.100.103
cluster-networksetup: post network setup for 10.100.100.104
cluster-networksetup: post network setup for 10.100.100.105
cluster-networksetup: post network setup for this node
cluster-networksetup: passed
cluster-networksetup: verify infiniband topology
cluster-networksetup: passed
cluster-networksetup: start setup client network (10gigE over Infiniband)
cluster-networksetup: ping both gtw leaf switches
cluster-networksetup: passed
cluster-networksetup: confirm switches occur in ib fabric
cluster-networksetup: switch crosscheck failed matching all switches:
cluster-networksetup:    -> BdaDeploy switch key values: leaf1: bda1sw-ib2, leaf2: bda1sw-ib3, spine: bda1sw-ib1
cluster-networksetup:    -> ib switch values: bda1sw-ib1 bdasw-ib3 bda1sw-ib2
cluster-networksetup: passed
cluster-networksetup: verify existence of gateway ports
cluster-networksetup: passed
cluster-networksetup: ping server ips on admin network
cluster-networksetup: passed
cluster-networksetup: ping servers by name on admin network
cluster-networksetup: passed
cluster-networksetup: test ssh server ips on admin network
cluster-networksetup: passed
cluster-networksetup: test unique gw instance id
cluster-networksetup: passed
cluster-networksetup: wait a few seconds for the network to restart on 10.100.100.101
cluster-networksetup: wait a few seconds for the network to restart on 10.100.100.102
.
.
.

7.6.6 仮想インタフェース・カード(VNIC)の確認

VNICが両方のゲートウェイ・スイッチに正しく作成されたことを確認します。

次の手順に従って、VNICを確認します。

  1. SSHを使用してSun Network QDR Infiniband Gateway Switchに接続し、ilom-adminユーザーとしてログインします。

  2. ファブリック管理シェルを起動します。

    -> show /SYS/Fabric_Mgmt

  3. アクティブ・ポートがデフォルトのVLAN (0)に割り当てられていることを確認します。

    FabMan@bda1sw-ib2-> showvlan
Connector/LAG VLN PKEY
------------- --- ----
0A-ETH-1       0  ffff
0A-ETH-3       0  ffff
1A-ETH-1       0  ffff
1A-ETH-3       0  ffff

  4. VNICがラウンドロビン方式で各サーバーと10GbEインタフェースに作成されたことを確認します。

    FabMan@hostname-> showvnics
ID STATE FLG IOA_GUID NODE
IID MAC VLN PKEY GW
--- -------- --- ----------------------- --------------------------------
---- ----------------- --- ---- --------
561 UP N 0021280001CF4C23 bda1node12 BDA 192.168.41.31 0000
CE:4C:23:85:2B:0A NO ffff 0A-ETH-1
     .
     .
     .

  5. 10GBインタフェースと相互にpingできることを確認します。

7.6.7 ネットワーク・サービスへのアクセスの確認

すべてのネットワーク・サービスが正しく実行されていることを確認します。

ネットワーク・サービスへのアクセスを確認するには、次の手順を実行します。

  1. dcliコマンドが動作していることを確認します。

    # cd /opt/oracle/bda
# dcli "hostname ; date"

  2. パスワードの入力を求められた場合、[Ctrl]+[C]を複数回押します。求められなかった場合は、setup-root-sshユーティリティを使用して新しいSSHキーを作成します。「setup-root-ssh」を参照してください。

  3. dateコマンドの出力を確認して、サーバーが数秒以内に同期されているどうかをチェックします。されていない場合は、各デバイスを再起動します。時間の違いにより、ソフトウェアのインストールが失敗する場合があります。

    NTPクライアントも確認できます。

    # ntpq -p 127.0.0.1

  4. ネットワークの接続を確認します。

    [root@node01 network]# bdachecknet-rack
 bdachecknet-rack: do basic sanity checks on /opt/oracle/bda/rack-network.json and /opt/oracle/bda/cluster-network.json
 bdachecknet-rack: passed
 bdachecknet-rack: checking for  rack-expansion.json
 bdachecknet-rack: ping test private infiniband ips (bondib0 40gbs)
 bdachecknet-rack: passed
 bdachecknet-rack: ping test admin ips (eth0 1gbs)
 bdachecknet-rack: passed
 bdachecknet-rack: test client network (eoib) resolve and reverse resolve
 bdachecknet-rack: passed
 bdachecknet-rack: test client name array matches ip array
 bdachecknet-rack: passed
 bdachecknet-rack: ping servers on client network by ip
 bdachecknet-rack: passed
 bdachecknet-rack: test ntp servers
 bdachecknet-rack: passed
 bdachecknet-rack: ping client gateway
 bdachecknet-rack: passed
 bdachecknet-rack: test arp -a
 bdachecknet-rack: passed
 bdachecknet-rack: all checks succeeded

  5. ネットワークでDNS名とIPアドレスのいずれも解決できなかった場合は、/etc/resolv.confファイルを修正します。修正しないと、ソフトウェアのインストールが失敗します。

  6. IPアドレスかホスト名をアドレスとしてブラウザに入力して、PDUのアクセシビリティを確認します。

    正常に接続されると、「Current Measurement」ページが表示されます。

7.7 Oracle Big Data Applianceの複数のラックの構成

複数のラックを設置する一般的な手順は、個々のラックを構成し、ラックをケーブルで接続して、複数ラックのネットワークを検証することです。

7.7.1 複数ラックの構成およびケーブル配線

次のいずれかの手順を実行します。これらの手順は、新しいラックを設置するのか、すでに設置されて稼働中のものにラックを追加するのかによって異なります。また、Oracle Exadata Database Machineなどの別のエンジニアド・システムがあるかどうかによっても異なります。

複数のラックを設置するには、次の手順を実行します。

  1. 各ラックの構成ステップを個々に実行します。

  2. Oracle Big Data Applianceのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。

  3. インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。

Oracle Big Data Applianceの稼働中のラックに1つ以上のラックを追加するには、次の手順を実行します。

  1. 新しいOracle Big Data Applianceの各ラックの構成ステップを個々に実行します。

  2. 新しいラックのインフィニバンド・スイッチの電源をオフにします。

  3. Oracle Big Data Applianceのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。

  4. インフィニバンド・スイッチの電源をオンにします。サブネット・マネージャのファブリックが更新されるまで、スイッチ間で5分間待機します。

  5. インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。

Oracle Big Data Applianceのラックを新しいOracle Exadata Database MachineやOracle Exalogic Elastic Cloud Machineのラックに接続するには、次の手順を実行します。

  1. Oracle Big Data Applianceの各ラックの構成ステップを個々に実行します。

  2. Oracle Big Data Applianceのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。

  3. インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。

Oracle Exadata Database MachineやOracle Exalogic Elastic Cloud Machineの稼働中のラックに1つ以上のラックを追加するには、次の手順を実行します。

  1. 新しいOracle Big Data Applianceの各ラックの構成ステップを個々に実行します。

  2. 新しいラックのインフィニバンド・スイッチの電源をオフにします。

  3. Oracle Big Data Appliance、Oracle Exadata Database MachineまたはOracle Exalogic Elastic Cloud Machineのラックをケーブルで接続します。「複数のOracle Big Data Applianceラックの接続」を参照してください。

  4. インフィニバンド・スイッチの電源をオンにします。サブネット・マネージャのファブリックが更新されるまで、スイッチ間で5分間待機します。

  5. サブネット・マネージャが、最上位のファームウェア・バージョンのスイッチでのみ実行されていることを確認します。

    たとえば、Oracle Big Data Applianceが最高のファームウェア・バージョンである場合、そのスパイン・スイッチをマスター用にし、そのゲートウェイ・スイッチをフェイルオーバー用にします。ラックのファームウェア・バージョンがOracle Big Data Applianceのインフィニバンド・スイッチより低い(スパインとゲートウェイの両方)場合は、サブネット・マネージャを無効にします。

    1. Exadataのマスター・スイッチにrootとしてログインします。

    2. Oracle Big Data Applianceのスイッチが表示されていることを確認します。

      # ibswitches

    3. Oracle Exadata Database Machineのサブネット・マネージャを無効にします。

      # disablesm

    4. 追加のより低いバージョンの各インフィニバンド・スイッチにログインし、マスター・スイッチをOracle Big Data Applianceのスパイン・スイッチに変更することを確認します。 

      # getmaster

    5. より低いバージョンの各インフィニバンド・スイッチのサブネット・マネージャを無効にします。

      # disablesm

  6. インフィニバンド・ネットワークを再検証します。「マルチラック・インフィニバンド・ネットワークの検証」を参照してください。

7.7.2 マルチラック・インフィニバンド・ネットワークの検証

ラックのケーブル配線が完了したら、インフィニバンド・ネットワークが正しく稼働していることを確認します。

注意:

bdacheckibユーティリティは、Oracle Big Data ApplianceのラックとOracle Exadata Database Machineのラックの接続を検証します。他のタイプのラック(Oracle Exalogic Elastic Cloud Machine)はチェックしません。

インフィニバンド・ネットワークを検証するには、次の手順を実行します。

  1. ネットワークのトポロジ・ファイルを生成します。

    # bdacheckib -g

    生成されたファイルの名前は「sample-multi-rack.json」です。

  2. 「sample-multi-rack.json」をテキスト・エディタで開きます。

  3. 左のラックから開始して右のラックで終了するように、要素を並べ替えます。ファイルを保存します。

  4. 構成を検証します。

    # bdacheckib sample-multi-rack.json
Verifing rack #1
leaf: bda1sw-ib2
LINK ... to rack2 UP
LINK ... to rack2 UP
LINK ... to rack1 UP
LINK ... to rack2 UP
LINK ... to rack3 UP
LINK ... to rack3 UP
LINK ... to rack1 UP
LINK ... to rack1 UP
leaf: bda1sw-ib3
LINK ... to rack2 UP
LINK ... to rack2 UP
LINK ... to rack1 UP
     .
     .
     .

例7-3は、サンプルの構成ファイルを示します。

例7-3 マルチラック構成ファイル「sample-multi-rack.json」

# cat sample-multi-rack.json
# This json multirack spec is generated. The array elements are sorted
# alphabetically. A proper arranged json spec representing racks from left to right
# can be used as input mr.json to bdacheckib (bdacheckib mr.json)
# Commas separating rack elements are optional.
[{"SPINE_NAME": "bda1sw-ib1", "LEAF1_NAME": "bda1sw-ib2", "LEAF2_NAME": "bda1sw-ib3"}
{"SPINE_NAME": "bda2sw-ib1", "LEAF1_NAME": "bda2sw-ib2", "LEAF2_NAME": "bda2sw-ib3"}
{"SPINE_NAME": "exa1sw-ib1", "LEAF1_NAME": "exa1sw-ib2", "LEAF2_NAME": "exa01sw-ib3"}]