ヘッダーをスキップ
Oracle® Exadata Database Machineメンテナンス・ガイド
12cリリース1 (12.1)
E56357-08
  目次へ移動
目次
索引へ移動
索引

前
 
次
 

4 Oracle Exadataラックの他のコンポーネントの保守

この章の内容は次のとおりです。


注意:

  • 読みやすさを考慮して、Oracle Exadata Database MachineとOracle Exadata Storage拡張ラックの両方に言及する場合、「Oracle Exadataラック」という名前を使用します。

  • この章のすべての手順は、Oracle Exadata Database MachineおよびOracle Exadata Storage拡張ラックに適用されます。


配電ユニットの交換

配電ユニット(PDU)は、Oracle Exadataラックがオンライン中に交換できます。ラック内の2番目のPDUは、Oracle Exadata Database Machine X2-2のLCDモニターを除き、ラック内のすべてのコンポーネントの電力を維持します。LCDモニターは、ラックのPDU-B側から電力が供給される非クリティカル・アイテムです。PDU-Aは、ラックを背面から見て左側、PDU-Bは右側にあります。

PDU交換のガイドラインの確認

手順を安全にし可用性を損なわないために、PDUを交換する前に、次のガイドラインを確認してください。

  • PDU-Aの取外しまたは挿入中に、InfiniBandケーブルのラッチを解除すると、ノードがクラスタから削除されるため、サービスが失われます。これにより、ラックが使用できなくなる場合があります。通常、InfiniBandケーブルはラッチでしっかりと固定されているため、取扱いには注意してください。InfiniBandケーブルを無理な力で引っ張らないでください。

  • 間違った電源フィードのフックを外すと、ラックが停止します。交換するPDUから伸びている電源ケーブルを電源までたどり、それらのフィードのみを抜いてください。

  • PDU交換部品の開封と再梱包は慌てずに行ってください。故障したユニットを同じように再梱包できるように、電源コードが梱包品の中でどのように巻かれているかに注意してください。

  • サイド・パネルを取り外しておくと、PDUの交換に必要な時間を短縮できます。ただし、PDUを交換する際にサイド・パネルを取り外す必要はありません。

  • コードレス・ドリルまたは電動ドライバを使用すると、PDUの交換に必要な時間を短縮できます。交換ラックに付属のハンド・レンチ・ツールを使用する場合は、交換に少し時間がかかります。ドライバを使用する場合は、Torx T30およびT25ビットを用意してください。

  • 電源ケーブルを移動するには、サーバーのケーブル・アームの取外しが必要になる場合があります。これが該当する場合、ケーブル・アームのクリップを外さなくても済むように、プラグ接続をねじり、ケーブル・アーム・コネクタを曲げます。ケーブル・アームのクリップを外す必要がある場合は、片方の手でケーブルを支えて電源コードを外し、ケーブル・アームをクリップで留めます。ケーブル・アームはつるしたままにしないでください。

  • T30ねじをL金具から外す場合は、PDUをラックから取り外すまで、PDUと金具を取り付けているT25ねじまたはナットを外さないでください。

PDUの交換

次の手順では、PDUの交換方法について説明します。

  1. PDUの交換の理由にならない場合は、PDUモニターを使用して、次のようにネットワーク設定を識別します。

    1. カウント(5から0)が開始されるまで、リセット・ボタンを押します。カウントダウン中にボタンを放し、再度押します。


      注意:

      カウントダウンを開始するには、リセット・ボタンを20秒押す必要があります。

    2. モニターが再起動したら、LCDに表示される設定やファームウェア・バージョンなどを記録します。


      注意:

      PDUモニターが機能していない場合は、ネットワーク経由でPDUに接続してネットワーク設定を取得するか、ネットワーク管理者から取得します。

  2. すべてのPDUブレーカをオフにします。

  3. PDUの電源プラグをACコンセントから抜きます。


    注意:

    • 電源コードが頭上の配線を使用している場合は、人に落ちたり当たったりしない場所に電源プラグを置きます。

    • 高くした床にラックがある場合は、床の切抜き部分から電源コードを出します。電源コードを出すには、ラックを切抜き部分の上に移動する必要が生じる場合があります。


  4. サイド・パネルにアクセスできず、ラックにInfiniBandケーブル・ハーネスがない場合は、PDU-Bの交換で次の手順を実行します。


    注意:

    ケーブル・アームに取り付けられているケーブルのストラップを外さないでください。

    1. 四角のケーブル・アームをラックに留めているT25ねじを外します。

    2. InfiniBandケーブルを邪魔にならないように中央に動かします。

  5. サーバーおよびスイッチからPDUに接続されているすべての電源ケーブルを外します。電源ケーブルをグループの束にしてまとめておきます。

  6. L金具の上部と下部からT30ねじを外し、ねじの位置をメモしておきます。

  7. ラック・フレーム内のPDUの設置位置をメモしておきます。ブレーカ・スイッチを使用できるようにするために、通常はラック・フレームから後ろに1インチの位置にします。

  8. PDUを斜めにしてラックから取り出します。

  9. PDUを持ったまま(十分な空間がある場合は下ろし)、AC電源コードをラックに通します。ACコード・フラッシュをPDUの下部に固定するケーブル・タイを切断する必要が生じる場合があります。

  10. ラックの下部または上部(サーバー間の空間のある場所)にできるだけ近くなるようにコードを引き、コンセントのプラグを配線用の穴に通します。

  11. 小さい方のTorx T25ねじを外し、上部および下部のナットを緩めてPDUをL金具から取り外します。ナットは外す必要はありません。

  12. L金具を新しいPDUに取り付けます。

  13. 新しいPDUをラックの横に置きます。

  14. ACコードをラックに通してコンセントまで配線します。


    注意:

    この時点では、ACコードを新しいPDUにケーブル・タイしないでください。

  15. L金具が上部および下部のレールの上に来るまで、確度と位置を調整して、新しいPDUをラック内に置きます。

  16. 穴とスロットの位置を整列し、PDUがラック・フレームの後ろ約1インチの位置になるようにします。

  17. コードのラベルに従って、電源コードを取り付けます。たとえば、G5-0は、PDUのPDUグループ5のコンセント0を示しています。

  18. 手順4でInfiniBandケーブル・ホルダを取り外した場合は、取り付けます。ねじがすり減らないようにするには、ホルダのねじを手で締めることをお薦めします。

  19. AC電源コードをコンセントに接続します。

  20. ブレーカをオンにします。

  21. PDUモニターのケーブルを配線し、必要に応じてネットワークをプログラムします。


    関連項目:

    • PDUモニターのプログラミングの詳細は、次のWebサイトのOracle Sun Rack II配電ユニット・ユーザーズ・ガイドを参照してください。

      http://docs.oracle.com/cd/E19844-01/E23956/index.html

    • PDUファームウェアの詳細は、My Oracle Supportノート888828.1を参照してください。


無反応になったILOMのリセット

Integrated Lights Out Manager (ILOM)が無反応になる場合があります。その場合は、手動の操作によってILOMのサービス・プロセッサ(SP)をリセットする必要があります。次の手順では、ILOMをリセットする方法について説明します。


関連項目:

次のWebサイトのOracle Integrated Lights Out Manager (ILOM) 3.0のドキュメント

http://docs.oracle.com/cd/E19860-01/E21549/bbgiedhj.html#z4000b491400243">>http://docs.oracle.com/cd/E19860-01/E21549/bbgiedhj.html#z4000b491400243


SSHを使用したILOMのリセット

次の手順では、SSHを使用してILOMに接続してリセットする方法について説明します。

  1. SSHを使用して、別のマシンからILOMに接続します。

  2. ILOMプロンプトで次のコマンドを入力します。

    reset /SP
    

ILOMリモート・コンソールを使用したILOMのリセット

SSHを使用してILOMに接続できない場合は、ILOMリモート・コンソールにログインします。次の手順では、リモート・コンソールを使用してILOMをリセットする方法について説明します。

  1. ILOMリモート・コンソールにログインします。

  2. 「メンテナンス」タブからSPのリセットを選択します。

  3. 「SPのリセット」をクリックします。

IPMItoolを使用したILOMのリセット

SSHまたはリモート・コンソールを使用してILOMに接続できない場合は、ローカル・ホストまたはILOMネットワーク上の別のホストにログインして、IPMItoolを使用します。次の手順では、IPMItoolを使用してILOMをリセットする方法について説明します。

  1. ローカル・ホストまたはILOMネットワーク上の別のホストにログインします。

  2. 次のIPMItoolコマンドを実行します。

    • ローカル・ホストを使用する場合:

      $ ipmitool mc reset cold
      Sent cold reset command to MC
      
    • 別のホストを使用する場合:

      $ ipmitool -H ILOM_host_name -U ILOM_user mc reset cold
      Sent cold reset command to MC
      

      前述のコマンドのILOM_host_nameは使用中のホスト名、ILOM_userはILOMのユーザー名です。

Oracle Exadata Database Machine X2-2 ServerおよびExadata Storage ServerでのSPリセット・ピンを使用したILOMのリセット

SSH、リモート・コンソール、またはOracle Exadata Database Machine X2-2サーバーまたはExadata Storage ServerのIPMItoolを使用してILOMに接続できない場合は、SPリセット・ピンを押します。次の手順では、SPリセット・ピンを使用してILOMをリセットする方法について説明します。

  1. 非導電性の小さい棒を用意します。

  2. ラックの背面に移動します。

  3. SPリセット・ピンの開口部を特定します。SPリセット・ピンの開口部は、NET MGTポートの右側にある最初の開口部です。

  4. 開口部に棒を挿入し、ピンを押します。

Sun Fire X4800 Oracle Database ServerおよびSun Server X2-8 Oracle Database ServerからのSPの取り外し

SSH、リモート・コンソールまたはIPMItoolを使用して、Sun Fire X4800 Oracle Database ServerまたはSun Server X2-8 Oracle Database ServerでILOMをリセットできない場合は、サーバーからSPを取り外して、再度取り付けます。オペレーティング・システム・レベルでメッセージが表示されます。これらのメッセージは無視できます。ファンの制御がないため、ファンの速度が上がります。


関連項目:

次のWebサイトの『Sun Fire X4800 Server Service Manual』

http://docs.oracle.com/cd/E19140-01/html/821-0282/index.html


ILOM電源からプラグを抜く

前述のオプションを使用してILOMをリセットできない場合は、電源のプラグを抜いて、再度差し込みます。この処置により、サーバーおよびILOMの電源が入れ直されます。

サービス・プロセッサおよびILOMネットワーク設定の構成

次の手順では、サービス・プロセッサ(SP)およびILOMネットワーク設定を構成する方法について説明します。

  1. SSHを使用してrootユーザーとしてSPにログインします。

  2. versionコマンドを使用して、SP/ILOMファームウェア・リリースを確認します。次に、コマンドの出力例を示します。

    -> version
    SP firmware 3.2.4.10
    SP firmware build number: 93199
    SP firmware date: Sat Oct  4 18:42:56 EDT 2014
    SP filesystem version: 0.2.10
    

    注意:

    ipmitoolを使用して、サーバーSPにログインします。この方法は、管理ネットワークからSP/ILOMにアクセスできない場合に便利です。次のコマンドを使用して、SPに接続します。
    # ipmitool sunoem cli
    Connected. Use ^D to exit.
    -> version
    SP firmware 3.2.4.10
    SP firmware build number: 93199
    SP firmware date: Sat Oct  4 18:42:56 EDT 2014
    SP filesystem version: 0.2.10
    

  3. 次のようにsetコマンドを使用して、DNSサーバーを構成します。

    cd /SP/clients/dns/  
        /SP/clients/dns
    show
         /SP/clients/dns
            Targets:
            Properties:
                auto_dns = enabled
                nameserver = 0.0.0.0
                retries = 1
                searchpath =
                timeout = 5
            Commands:
                cd
                set
                show
    set nameserver=192.68.0.2
    set searchpath=yourdomain.com
    
  4. 次のようにsetコマンドを使用して、NTPサーバーを構成します。

    cd /SP/clients/ntp/server/1/
    /SP/clients/ntp/server/1
    show
     /SP/clients/ntp/server/1
        Targets:
        Properties:
            address = 0.0.0.0
        Commands:
            cd
            set
            show
    set address=192.68.0.1
    

    注意:

    2つのNTPサーバーを構成できます。最初のNTPサーバーをsetコマンドを使用して設定し、それから、もう1つのサーバーをパスSP/clients/ntp/server/2 to configureを使用して設定します。

  5. 次のようにsetコマンドを使用して、ネットワーク設定を構成します。

    cd /SP/network
       /SP/network
    show
       /SP/network
        Targets:
            interconnect
            ipv6
            test
        Properties:
            commitpending = (Cannot show property)
            dhcp_clientid = none
            dhcp_server_ip = none
            ipaddress = 0.0.0.0
            ipdiscovery = dhcp
            ipgateway = 0.0.0.0
            ipnetmask = 0.0.0.0
            managementport = MGMT
            pendingipaddress = 0.0.0.0
            pendingipdiscovery = dhcp
            pendingipgateway = 0.0.0.0
            pendingipnetmask = 0.0.0.0
            pendingmanagementport = MGMT
            pendingvlan_id = (none)
            state = enabled
            vlan_id = (none)
        Commands:
            cd
            set
            show
    
  6. ipaddress、ipdiscovery、ipgateway、ipnetmaskおよびvlan_idのそれぞれのpendingip*設定を構成し、次のコマンドを使用して保留中の設定をコミットします。

    set commitpending=true
    
  7. ネットワーク構成が完了した後、コマンド・ライン・インタフェースの接続を解除します。


    注意:

    ipmitoolを使用している場合、^Dでセッションを終了します。

1GbE接続から10GbE接続への変更

Sun Server X4-2 Oracle Database Server、Sun Server X3-2 Oracle Database Server、Sun Fire X4170 M2 Oracle Database Server、Oracle Server X6-8 Database Server、Oracle Server X5-8 Database Server、Sun Server X4-8 Oracle Database Server、Sun Server X3-8 Oracle Database Server、Sun Fire X4800 Oracle Database Serverには、10ギガビット・イーサネット(GbE)ネットワーク・カードが搭載されています。1GbE接続は10GbE接続に変更できます。接続を変更するときは、次の点に注意してください。

  • Oracle Exadata Database Machine X2-8フル・ラックに接続された10GbEインタフェースの単一障害点を避けるために、NEM0 NET1およびNEM1 NET0などの2枚のカードのNetwork Express Module(NEM)で異なるポートを使用します。

  • 10GbEインタフェースは、Sun Fire X4170 M2 Oracle Database Serverではeth4およびeth5として、Sun Fire X4800 Oracle Database Serverではeth8からeth15として識別されます。Oracle Exadata Database Machine X2-8フル・ラックでは、次を使用することをお薦めします。

    • インタフェースeth9およびeth15を使用したBONDETH0

    • 10GbE NEM0(左)/NET1

    • 10GbE NEM1(右)/NET3

  • この手順の実行中に、Oracle Clusterwareがシャットダウンし、データベース・サーバーが再起動されます。

この項の内容は次のとおりです。

作業1: ping機能の検証

次のコマンドを使用して、変更する前にpingコマンドの機能を検証します。変更前にpingコマンドを検証すると、インタフェース変更後の結果がどのようになるかがわかります。同様のコマンドを使用して、Oracle Exadata Database Machineに接続する他のサーバーをチェックできます。

# grep "^nameserver" /etc/resolv.conf
nameserver ip_address_1
nameserver ip_address_2

# ping -c 2 ip_address_1
PING ip_address_1 (ip_address_1) 56(84) bytes of data.
64 bytes from ip_address_1: icmp_seq=1 ttl=57 time=1.12 ms
64 bytes from ip_address_1: icmp_seq=2 ttl=57 time=1.05 ms
 
--- ip_address_1 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms

テストに失敗すると100%パケット損失と表示され、これと同じ検証を「作業4: 10GbEインタフェースの検証」で実行したときにも、同じ結果になることが想定されます。テストが成功すると0%パケット損失と表示され、10GbE接続を変更後、同様の結果が表示されます。

作業2: 現在のインタフェース・ファイルのバックアップ

次の手順は、現在のインタフェース・ファイルのバックアップ方法を示しています。

  1. rootユーザーとしてログインします。

  2. 次のように、/etc/sysconfig/network-scriptsディレクトリに現在のファイルと新しい10GbEファイル用の非表示ディレクトリを作成します。

    # cd /etc/sysconfig/network-scripts
    # mkdir .Pre_10GigE_Settings
    # mkdir .Post_10GigE_Settings
    

    注意:

    Linuxのスタートアップ・スクリプトによりifcfgで始まるファイルが検索され、ifcfgで始まるファイルがネットワーク設定に使用されます。バックアップ・ファイルを非表示ディレクトリに置くと、ネットワーク・インタフェースの設定に使用されないようにできます。

  3. 次のコマンドを使用して、接続された10GbEインタフェースを識別します。各10GbEインタフェースに対して、このコマンドを実行します。

    # ethtool interface
    

    前述のコマンドのinterfaceは、10GbEインタフェースです。Sun Fire X4170 M2 Oracle Database Serverのインタフェースはeth4およびeth5、Sun Fire X4800 Oracle Database Serverのインタフェースはeth8からeth15です。

    次に、コマンドの出力例を示します。速度は10000Mb/s、リンク検出はありで、二重化はフルです。

    # ethtool eth9
    Settings for eth9:
            Supported ports: [ FIBRE ]
            Supported link modes:  1000baseT/Full 
                                   10000baseT/Full 
            Supports auto-negotiation: No
            Advertised link modes:  1000baseT/Full 
                                    10000baseT/Full 
            Advertised auto-negotiation: No
            Speed: 10000Mb/s
            Duplex: Full
            Port: FIBRE
            PHYAD: 0
            Transceiver: external
            Auto-negotiation: on
            Supports Wake-on: umbg
            Wake-on: umbg
            Current message level: 0x00000007 (7)
            Link detected: yes
    
  4. 次のコマンドを使用して現行の結合インタフェースを検証します。コマンドからの出力例も示しています。

    # grep -i bondeth0 ifcfg-eth*
    
    ifcfg-eth1:MASTER=bondeth0
    ifcfg-eth2:MASTER=bondeth0
    
  5. 次のようなコマンドを使用して、1GbEインタフェース・ファイルを.Pre_10GigE_Settingsディレクトリにコピーします。

    # cp -p ifcfg-eth1 ifcfg-eth2 ./.Pre_10GigE_Settings/.
    
  6. 次のようなコマンドを使用して、10GbEインタフェース・ファイルを.Pre_10GigE_Settingsディレクトリにコピーします。

    # cp -p ifcfg-eth9 ifcfg-eth15 ./.Pre_10GigE_Settings/.
    
  7. 次のようなコマンドを使用して、ファイルを.Pre_10GigE_Settingsディレクトリから.Post_10GigE_Settingsディレクトリにコピーします。

    # cp -p ./.Pre_10GigE_Settings/* ./.Post_10GigE_Settings/.
    

作業3: 10GbEインタフェース設定の編集

次の手順は、ifcfg構成ファイルの編集方法を示しています。

  1. 次の表に示すように、ifcfg構成ファイルを編集します。ファイルは./Post_10GigE_Settings/.ディレクトリで編集する必要があります。

    ファイル名 変更前 変更後
    ifcfg-eth1
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth1
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:5e
    MASTER=bondeth0
    SLAVE=yes
    
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth1
    USERCTL=no
    ONBOOT=no 
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:5e
    
    ifcfg-eth2
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth2
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:f2
    MASTER=bondeth0
    SLAVE=yes
    
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth2
    USERCTL=no
    ONBOOT=no 
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:f2
    
    Oracle Exadata Database Machine X2-2のifcfg-eth4

    Oracle Exadata Database Machine X2-8フル・ラックのifcfg-eth9

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface
    ONBOOT=no
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:1b:21:66:4b:c0
    
    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth4で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth9です。
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:1b:21:66:4b:c0
    MASTER=bondeth0
    SLAVE=yes
    
    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth4で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth9です。
    Oracle Exadata Database Machine X2-2のifcfg-eth5

    Oracle Exadata Database Machine X2-8フル・ラックのifcfg-eth15

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface2
    ONBOOT=no 
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:1b:21:66:4b:c1
    
    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth5で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth15です。
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface2
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    MASTER=bondeth0
    SLAVE=yes
    HWADDR=00:1b:21:66:4b:c1
    
    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth5で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth15です。

  2. 次のコマンドを使用して、編集済ファイルを/etc/sysconfig/network-scriptsディレクトリにコピーします。

    # cp -fp /etc/sysconfig/network-scripts/.Post_10GigE_Settings/ifcfg-eth* \
      /etc/sysconfig/network-scripts/.
    
  3. コンソールを使用して、データベース・サーバーを再起動します。

  4. 起動シーケンスを監視し、bondeth0初期化中にエラーが発生しなかったことを確認します。

作業4: 10GbEインタフェースの検証

次の手順は、10GbEインタフェースの検証方法を示しています。

  1. rootユーザーとしてログインします。

  2. catコマンドを使用して、/proc/net/bonding/bondeth0ファイルを確認します。次に、コマンドとコマンドの出力例を示します。

    # cat /proc/net/bonding/bondeth0
    
    Ethernet Channel Bonding Driver: v3.4.0 (October 7, 2008)
     
    Bonding Mode: fault-tolerance (active-backup)
    Primary Slave: None
    Currently Active Slave: eth9
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 5000
    Down Delay (ms): 5000
     
    Slave Interface: eth9
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:1b:21:66:4b:c0
     
    Slave Interface: eth15
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:1b:21:66:4b:c1
    

    出力結果で、スレーブ・インタフェースが正しく、スレーブ・インタフェースのMIIステータスがアップであることを確認します。

  3. netstat -nrコマンドを使用して、ルーティング表をチェックします。ルーティング表は変更できません。このコマンドと出力例を次に示します。

    # netstat -nr
    
    Kernel IP routing table
    Destination   Gateway      Genmask         Flags   MSS Window  irtt Iface
    scan_subnet 0.0.0.0        255.255.255.0   U         0 0          0 bondeth0
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib0
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib1
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib2
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib3
    mgmt_subnet 0.0.0.0        255.255.254.0   U         0 0          0 eth0
    0.0.0.0       scan_gw      0.0.0.0         UG        0 0          0 bondeth0
    
  4. 次のコマンドを使用して、デフォルト・ゲートウェイをチェックします。ゲートウェイはSCANネットワーク・ゲートウェイで、10GbEインタフェースでbondeth0を使用します。

    # grep GATEWAY /etc/sysconfig/network
    GATEWAY=gw_address
    GATEWAYDEV=bondeth0 
    
    # ping -c 2 gw_address
    PING gw_address (gw_address) 56(84) bytes of data.
    64 bytes from gw_address: icmp_seq=1 ttl=57 time=1.12 ms
    64 bytes from gw_address: icmp_seq=2 ttl=57 time=1.05 ms
    
    --- gw_address ping statistics ---
    2 packets transmitted, 2 received, 0% packet loss, time 1002ms
    rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms
    

    前述のコマンドと出力で、gw_addressはデフォルト・ゲートウェイのIPアドレスです。

  5. 「作業1: ping機能の検証」でネーム・サーバーがpingコマンドに応答していた場合は、次のコマンドを使用してネーム・サーバーをチェックします。同様のコマンドを使用して、Oracle Exadata Database Machineに接続する他のサーバーをチェックできます。

    # grep "^nameserver" /etc/resolv.conf
    nameserver ip_address_1
    nameserver ip_address_2
    
    # ping -c 2 ip_address_1
    PING ip_address_1 (ip_address_1) 56(84) bytes of data.
    64 bytes from ip_address_1: icmp_seq=1 ttl=57 time=1.12 ms
    64 bytes from ip_address_1: icmp_seq=2 ttl=57 time=1.05 ms
     
    --- ip_address_1 ping statistics ---
    2 packets transmitted, 2 received, 0% packet loss, time 1002ms
    rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms
    

InfiniBandネットワークの保守

InfiniBandネットワークは、データベース・サーバーおよびExadata Storage ServerをラックのInfiniBandスイッチにBONDIB0インタフェースを介して接続します。この項では、InfiniBandスイッチの保守を実行する方法について説明します。

この項の内容は次のとおりです。

スイッチ設定のバックアップおよびリストア

スイッチ設定をバックアップおよびリストアする手順は、スイッチのファームウェアによって異なります。1.1.3-2ファームウェアには、バックアップおよびリストア機能を提供するIntegrated Lights Out Manager (ILOM)があります。1.0.1ファームウェアにILOMは含まれません。1.1.3-2ファームウェアにアップグレードして「2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ」の手順を使用するか、各ファイルのバックアップおよびリストアを手動で実行します。

この項の内容は次のとおりです。


関連項目:

新しいリリースのスイッチ・ファームウェアの場合は、次を参照してください。

2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ

次の手順は、2.1.3-4ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。

  1. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。

  2. ilom-adminユーザーとしてログインします。

  3. 「メンテナンス」タブを選択します。

  4. 「バックアップ/リストア」タブを選択します。

  5. バックアップ操作およびブラウザ方法を選択します。

  6. パスフレーズを入力します。これは、ユーザー・パスワードなどのバックアップの機密情報を暗号化するために使用されます。

  7. 「実行」をクリックして、結果のXMLファイルを安全な場所に保存します。

  8. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。

  9. scpコマンドを使用して、次のファイルをコピーします。

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

    • host file: /etc/hosts

  10. versionコマンドの出力を保存します。

1.1.3-2ファームウェアを使用したスイッチの設定のバックアップ

次の手順は、1.1.3-2ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。

  1. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。

  2. ilom-adminユーザーとしてログインします。

  3. 「メンテナンス」タブを選択します。

  4. 「バックアップ/リストア」タブを選択します。

  5. バックアップ操作およびブラウザ方法を選択します。

  6. パスフレーズを入力します。これは、ユーザー・パスワードなどのバックアップの機密情報を暗号化するために使用されます。

  7. 「実行」をクリックして、結果のXMLファイルを安全な場所に保存します。

  8. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。

  9. scpコマンドを使用して、次のファイルをコピーします。

    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  10. hostnameコマンドを実行して、出力を保存します。これは、ホスト名が/etc/sysconfig/networkファイルに設定されない場合に備えて実行されます。

  11. rootおよびnm2userアカウントのパスワードを保存します。

  12. nm2versionコマンドを実行して、出力を保存します。

1.0.1ファームウェアを使用したスイッチの設定のバックアップ

次の手順は、1.0.1ファームウェアを使用したスイッチの設定のバックアップ方法を示しています。

  1. rootユーザーとしてスイッチにログインします。rootユーザーのパスワードがない場合は、Oracleサポート・サービスにお問い合せください。

  2. 次のファイルのコピーを作成します。

    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  3. ホスト名が/etc/sysconfig/networkファイルに設定されない場合に備えて、hostnameコマンドを実行して出力を保存します。

  4. rootおよびnm2userアカウントのパスワードを保存します。

  5. nm2versionコマンドを実行して、出力を保存します。

2.1.3-4ファームウェアを使用したスイッチの設定のリストア

次の手順は、2.1.3-4ファームウェアを使用したスイッチの設定のリストア方法を示しています。

  1. versionコマンドを実行して、スイッチが適切なファームウェア・レベルであることを確認します。適切ではない場合、スイッチを正しいファームウェア・レベルにアップグレードします。

  2. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。

  3. ilom-adminユーザーとしてログインします。

  4. 「メンテナンス」タブを選択します。

  5. 「バックアップ/リストア」タブを選択します。

  6. リストア操作およびブラウザ方法を選択します。

  7. 「参照」をクリックして、スイッチ構成バックアップを含むXMLファイルを選択します。

  8. バックアップ中に使用されたパスフレーズを入力します。

  9. 「実行」をクリックして、構成をリストアします。

  10. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。

  11. バックアップから次のファイルをリストアします。

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

    • host file: /etc/hosts

  12. 次のコマンドを使用して、スイッチCLIからopenSMを再起動します。

    disablesm
    enablesm
    
  13. rootユーザーとしてログインします。

  14. スイッチを再起動します。

1.1.3-2ファームウェアを使用したスイッチの設定のリストア

次の手順は、1.1.3-2ファームウェアを使用したスイッチの設定のリストア方法を示しています。

  1. versionコマンドを実行して、スイッチが適切なファームウェア・レベルであることを確認します。適切ではない場合、スイッチを正しいファームウェア・レベルにアップグレードします。

  2. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。

  3. ilom-adminユーザーとしてログインします。

  4. 「メンテナンス」タブを選択します。

  5. 「バックアップ/リストア」タブを選択します。

  6. リストア操作およびブラウザ方法を選択します。

  7. 「参照」をクリックして、スイッチ構成バックアップを含むXMLファイルを選択します。

  8. バックアップ中に使用されたパスフレーズを入力します。

  9. 「実行」をクリックして、構成をリストアします。

  10. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。

  11. バックアップから次のファイルをリストアします。

    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  12. ホスト名が存在しない場合、次の行を/etc/sysconfig/networkファイルに追加して、ホスト名をリストアします。

    HOSTNAME=switch_host_name
    
  13. passwdコマンドを使用して、rootおよびnm2userユーザーのパスワードをリストアします。

  14. 示されている順番で次のコマンドを実行して、サービスおよびopenSMを再起動します。

    service network restart 
    service ntpd restart 
    disablesm 
    enablesm 
    
  15. rootユーザーとしてログインします。

  16. スイッチを再起動します。

1.0.1ファームウェアを使用したスイッチの設定のリストア

次の手順は、1.0.1ファームウェアを使用したスイッチの設定のリストア方法を示しています。

  1. rootユーザーとしてスイッチにログインします。rootユーザーのパスワードがない場合は、Oracleサポート・サービスにお問い合せください。

  2. スイッチが適切なファームウェア・レベルであることを確認します。適切ではない場合、スイッチを正しいファームウェア・レベルにアップグレードします。

  3. バックアップから次のファイルをリストアします。

    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  4. ホスト名が存在しない場合、HOSTNAME=switch_host_name行を/etc/sysconfig/networkファイルに追加して、ホスト名をリストアします。

  5. passwdコマンドを使用して、rootおよびnm2userユーザーのパスワードをリストアします。

  6. 示されている順番で次のコマンドを実行して、サービスおよびopenSMを再起動します。

    service network restart 
    service ntpd restart 
    disablesm 
    enablesm 
    
  7. rootユーザーとしてログインします。

  8. スイッチを再起動します。

Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックのデータベース・サーバーのInfiniBandカード障害の修正

Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックのデータベース・サーバーのInfiniBandボンディング(BONDIB0からBONDIB3)は、4枚の各InfiniBandカードで1つのカードの両ポートを使用します。ポートで障害が発生したり、ケーブルが取り外された場合など、1枚のカードの2つのポートが無効になると、Oracle Clusterwareスタックが停止します。次の手順は、InfiniBandカードの問題を修正した後にカードを切り離してOracle Clusterwareを再起動する方法を示しています。

  1. 次に示すように、障害が発生したInfiniBandカードを切り離します。

    1. 次のコマンドを使用して、rootユーザーとしてOracle Clusterwareを停止します。Oracle Clusterwareがすでに停止している場合、手順1bに移動します。

      # crsctl stop crs
      
    2. cellinit.oraファイルを編集して、影響するIPアドレスを削除します。

    3. 次のコマンドを使用して、rootユーザーとしてOracle Clusterwareを起動します。

      # crsctl start crs
      
  2. InfiniBandカードの問題を修正します。

  3. 次に示すように、カードを使用可能な状態に戻します。

    1. 次のコマンドを使用して、rootユーザーとしてOracle Clusterwareを停止します。

      # crsctl stop crs
      
    2. IPアドレスをcellinit.oraファイルに追加します。

    3. 次のコマンドを使用して、rootユーザーとしてOracle Clusterwareを起動します。

      # crsctl start crs
      

障害が発生したSun Datacenter InfiniBand Switch 36スイッチの交換

次の手順は、障害が発生したSun Datacenter InfiniBand Switch 36スイッチの交換方法を示しています。

  1. 電源プラグを取り外して、スイッチの2つの電源を切断します。

  2. スイッチからケーブルを取り外します。すべてのInfiniBandケーブルの両端に、場所を示すラベルがあります。ラベルのないケーブルが存在する場合は、ケーブルを取り外す前にラベルを付けてください。


    関連項目:


  3. ラックからスイッチを取り外します。

  4. ラックに新しいスイッチを設置します。


    関連項目:

    Sun Datacenter InfiniBand Switch 36スイッチの設置に関する詳細は、『Oracle Exadata Database Machine拡張およびマルチラック・ケーブリング・ガイド』を参照してください。

  5. 電源プラグを差し込んで、スイッチの電源を接続します。

  6. 「スイッチ設定のバックアップおよびリストア」に示されているように、バックアップを使用してスイッチ設定をリストアします。

  7. disablesmコマンドを使用して、サブネット・マネージャを無効化します。

  8. ケーブルを新しいスイッチに接続します。各ケーブルが正しいポートに接続されていることを確認します。

  9. すべてのサーバーで次のコマンドを実行します。

    # /opt/oracle.SupportTools/ibdiagtools/verify-topology
    

    前述のコマンドにより、適切な数のデータベース・サーバーが適切な数のExadata Storage Serverに接続されていることを確認します。

  10. ホストで次のコマンドを実行して、ファブリックのリンクにエラーがないことを確認します。

    ibdiagnet -c 5000 -r
    
  11. enablesmコマンドを使用して、サブネット・マネージャを有効化します。


    注意:

    交換されたスイッチがスパイン・スイッチの場合、スパイン・スイッチがマスターになるまで他のスイッチのサブネット・マネージャを無効化して手動でマスター・サブネット・マネージャをそのスイッチまでフェイルバックして、他のすべてのスイッチのサブネット・マネージャを再有効化します。『Oracle Exadata Database Machineインストレーションおよび構成ガイド』を参照してください。

InfiniBandネットワーク構成の確認

次の手順は、InfiniBandネットワーク構成の確認方法を示しています。

  1. 適切なOpenFabrics Enterprise Distribution(OFED)ソフトウェアおよびInfiniBand HCAファームウェアのバージョンがデータベース・サーバーで使用されていることを確認します。

    OFEDソフトウェアおよびInfiniBand HCAファームウェアのバージョンは、Exadataセルで自動的に保守されます。


    関連項目:

    現在のリリースおよびインストールされているリリースの確認方法の手順は、My Oracle Supportノート888828.1を参照してください。

  2. データベース・サーバーまたはExadata Storage Serverから次のコマンドを使用して、InfiniBandトポロジを確認します。

    # /opt/oracle.SupportTools/ibdiagtools/verify-topology
    

    エラーが発生した場合は、Oracleサポート・サービスに問い合せてください。


    関連項目:

    トポロジ検証ユーティリティの詳細は、「トポロジ検証ユーティリティの使用」を参照してください。

トポロジ検証ユーティリティの使用

Oracle Exadata Database Machineは、トポロジ検証ユーティリティを備えています。このユーティリティを使用すると、次のネットワーク接続問題を特定できます。

  • 欠落しているInfiniBandケーブル

  • 欠落しているInfiniBand接続

  • 誤った位置に取り付けられているケーブル

  • 誤ったエンドポイントに接続されているケーブル

このユーティリティは、すべてのサーバーのibdiagtoolsディレクトリにあります。トポロジ検証ユーティリティのオプションを表示するには、次のコマンドを使用します。

./verify-topology -h

[ DB Machine Infiniband Cabling Topology Verification Tool ]
Usage: ./verify-topology 
    [-v|--verbose]
    [-r|--reuse (cached maps)]
    [-m|--mapfile]
    [-ibn|--ibnetdiscover (specify location of ibnetdiscover output)]
    [-ibh|--ibhosts (specify location of ibhosts output)]
    [-ibs|--ibswitches (specify location of ibswitches output)]
    [-t|--topology [torus | fattree | halfrack] default is fattree]

verify-topologyユーティリティを使用した場合の出力例を次に示します。このエラー例では、ケーブルの接続が正しくないことが示されています。サーバーからのケーブルは、どちらも同じInfiniBandスイッチに接続されています。スイッチに障害が発生すると、サーバーからInfiniBandネットワークへの接続が失われます。

[ DB Machine Infiniband Cabling Topology Verification Tool ]

Bad link:Switch 0x21283a8371a0a0 Port 11A - Sun Port 11B
        Reason : 2.5 Gbps Speed found. Could be 10 Gbps
        Possible cause : Cable isn't fully seated in

Bad link:Switch 0x21283a89eba0a0 Port 11B - Sun Port 11A
        Reason : 2.5 Gbps Speed found. Could be 10 Gbps
        Possible cause : Cable isn't fully seated in

Is every external switch connected to every internal switch..........[SUCCESS]
Are any external switches connected to each other....................[SUCCESS]
Are any hosts connected to spine switch..............................[SUCCESS]
Check if all hosts have 2 CAs to different switches..................[ERROR]
Node trnA-db01 has 1 endpoints. (Should be 2)
Port 2 of this node is not connected to any switch

--------fattree End Point Cabling verifation failed-----

Leaf switch check: cardinality and even distribution.................[ERROR]

Internal QDR Switch 0x21283a8371a0a0 has fewer than 4 compute nodes
It has only 3 links belonging to compute nodes
Check if each rack has an valid internal ring........................[SUCCESS]

InfiniBandネットワーク動作の確認

サーバーのInfiniBand HCA、InfiniBandスイッチまたはInfiniBandケーブルの交換を含むInfiniBandネットワークのコンポーネントのハードウェア保守を行う場合またはInfiniBandネットワークの動作が標準以下の可能性がある場合、InfiniBandネットワークが正しく動作していることを確認します。次の手順は、ネットワーク動作の確認方法を示しています。


注意:

InfiniBandネットワークが予測を下回るパフォーマンスの場合は、常に次の手順を使用できます。

  1. 「InfiniBandネットワーク構成の確認」の手順を実行します。

  2. 次のように、ibdiagnetコマンドを実行して、InfiniBandネットワーク品質を確認します。

    # ibdiagnet -c 1000
    

    このコマンドで報告されるすべてのエラーが調査されます。このコマンドにより生成されるネットワーク・トラフィックは少量であるため、通常のワークロードの実行中に実行してもかまいません。

  3. 次のように、ibqueryerrors.plコマンドを実行して、スイッチ・ポート・エラー・カウンタおよびポート構成情報を報告します。

    #  ibqueryerrors.pl -rR -s RcvSwRelayErrors,XmtDiscards,XmtWait,VL15Dropped
    

    前述のコマンドを使用すると、LinkDownedRcvSwRelayErrorsXmtDiscardsおよびXmtWaitなどのエラーが無視されます。


    注意:

    • InfiniBandカウンタは累積的であり、過去のいずれかの時点でエラーが発生している可能性があります。エラーが報告された場合は、ibclearcountersコマンドを使用してInfiniBandカウンタをクリアすることをお薦めします。コマンドの実行後、負荷の下で数分間システムを動作させてから、ibquerryerrorsコマンドを実行してください。

    • サーバーを再起動すると、SymbolErrorsまたはRcvErrorsなどのカウンタにより数値が変更される場合があります。これらのカウンタの値がLinkDownedカウンタよりも少ない場合、一般的に問題はありません。LinkDownedカウンタは、通常、再起動などの有効な理由でポートが停止した回数を表し、これ自体がエラー・インジケータとなることはありません。

    • 多量で永続的なエラーならどれでも、特にSymbolErrorsLinkRecoversRcvErrorsまたはLinkIntegrityErrorsは、ケーブルまたはポートが壊れているまたは緩んでいることを示します。

    • 多量で永続的なInfiniBandネットワーク・エラー・カウンタがある場合は、問題を調査して修正してください。


  4. 実行中のデータベースがないなど、InfiniBandネットワークの一部で実行されるロードがない場合は、infinicheckコマンドを実行して、完全なInfiniBandネットワーク構成、接続およびパフォーマンス評価を行います。


    注意:

    このコマンドは、完全なネットワークの最大スループットを評価します。InfiniBandネットワークのシステムで実行されているワークロードがある場合は実行しないでください。

    このコマンドは、完全に構成されたシステムに依存します。最初のコマンドを実行して、最後のコマンドの実行中に作成されたファイルをクリアします。

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -z 
    
    # /opt/oracle.SupportTools/ibdiagtools/infinicheck
    

    次に、コマンドの出力例を示します。

    Verifying User Equivalance of user=root to all hosts.
    (If it isn't setup correctly, an authentication prompt will appear to push keys
     to all the nodes)
     
     Verifying User Equivalance of user=root to all cells.
    (If it isn't setup correctly, an authentication prompt will appear to push keys
     to all the nodes)
     
     
                        ####  CONNECTIVITY TESTS  ####
                        [COMPUTE NODES -> STORAGE CELLS]
                               (30 seconds approx.)
    [SUCCESS]..............Connectivity verified
     
    [SUCCESS]....... All hosts can talk to all storage cells
     
            Verifying Subnet Masks on Hosts and Cells
    [SUCCESS] ......... Subnet Masks is same across the network
     
            Checking for bad links in the fabric
    [SUCCESS].......... No bad fabric links found
     
                        [COMPUTE NODES -> COMPUTE NODES]
                               (30 seconds approx.)
    [SUCCESS]..............Connectivity verified
     
    [SUCCESS]....... All hosts can talk to all other nodes
     
     
                        ####  PERFORMANCE TESTS  ####
     
                        [(1) Every COMPUTE NODE to its STORAGE CELL]
                              (15 seconds approx.)
    [SUCCESS]........ Network Bandwidth looks OK.
    .......... To view only performance results run ./infinicheck -d -p
     
                        [(2) Every COMPUTE NODE to another COMPUTE NODE]
                              (10 seconds approx.)
    [SUCCESS]........ Network Bandwidth looks OK.
    ...... To view only performance results run ./infinicheck -d -p
     
                        [(3) Every COMPUTE NODE to ALL STORAGE CELLS]
                      (45 seconds approx.) (looking for SymbolErrors)
     
    [SUCCESS]....... No port errors found
    

ネットワーク・サブネット・マネージャ・マスターの理解

サブネット・マネージャは、次に示すようなInfiniBandネットワークのすべての運用上の特性を管理します。

  • ネットワーク・トポロジの検出

  • ネットワークに接続されるすべてのポートへのローカル識別子の割当て

  • スイッチ転送表の計算およびプログラム

  • ファブリックの変更の監視

InfiniBandネットワークに1つ以上のサブネット・マネージャを保有できますが、アクティブにできるのは一度に1つのサブネット・マネージャのみです。アクティブなサブネット・マネージャは、マスター・サブネット・マネージャです。他のサブネット・マネージャは、スタンバイ・サブネット・マネージャです。マスター・サブネット・マネージャが停止または失敗すると、スタンバイ・サブネット・マネージャが自動的にマスター・サブネット・マネージャになります。

各サブネット・マネージャには構成可能な優先度があります。InfiniBandネットワークに複数のサブネット・マネージャがある場合は、最高優先度のサブネット・マネージャがマスター・サブネット・マネージャになります。Oracle Exadata Database Machineでは、リーフ・スイッチのサブネット・マネージャは優先度5として、スパイン・スイッチのサブネット・マネージャは優先度8として構成する必要があります。

次のガイドラインにより、Oracle Exadata Database Machineで実行されるサブネット・マネージャの場所が決定されます。

  • Oracle Exadata Database MachineのSun Datacenter InfiniBand Switch 36スイッチのサブネット・マネージャのみを実行します。その他のデバイスでのサブネット・マネージャの実行はサポートされていません。

  • Exadataのみの構成で、1つ、2つまたは3つのラックを配線してInfiniBandネットワークを構成している場合、すべてのスイッチでサブネット・マネージャを実行する必要があります。スパイン・スイッチでマスター・サブネット・マネージャを実行する必要があります。Oracle Exadata Database Machineクオータ・ラックのように、ネットワークにリーフ・スイッチのみが存在する場合、サブネット・マネージャ・マスターがリーフ・スイッチで実行されます。

    ExadataとExalogicなどのように、異なる種類のラックを使用したマルチラック構成では、My Oracle Supportノート1682501.1を参照してください。

  • 4つ以上のラックを配線してInfiniBandネットワークを構成している場合、スパイン・スイッチでのみ、サブネット・マネージャを実行する必要があります。リーフ・スイッチのサブネット・マネージャは無効化してください。


関連項目:


InfiniBandスイッチのファームウェアのアップグレード

InfiniBandスイッチのアップグレードとダウングレードには、patchmgrユーティリティを使用します。patchmgrユーティリティを使用できる最小スイッチ・ファームウェア・リリースは1.3.3-2です。スイッチのファームウェアはローリング形式でアップグレードします。ラックにスパイン・スイッチが存在する場合は、スパイン・スイッチを最初にアップグレードします。ラックにスパイン・スイッチが存在しない場合は、サブネット・マネージャが実行されているスイッチをアップグレードします。スイッチでサブネット・マネージャが実行されていない場合は、任意の順序でアップグレードを実行できます。

ファイルを作成し、更新対象のInfiniBandスイッチを1行に1スイッチずつリストします。このファイルの例を次に示します。

# cat ibswitches.lst
myibswitch-01
myibswitch-02

InfiniBandスイッチをアップグレードするには、スイッチのファームウェアがリリース1.3.3-2以上である必要があります。スイッチのファームウェアがそれより前のリリースである場合は、My Oracle Supportノート888828.1の説明に従って、ファームウェアをリリース1.3.3-2にアップグレードする必要があります。

  1. スイッチへのrootユーザーによるSSHアクセスを持つOracle Exadata Database Machineのデータベース・サーバーに、rootユーザーとしてログインします。データベース・サーバーは、スイッチと同じInfiniBandネットワークに属している必要があります。

  2. データベース・サーバーに適切なパッチ・ファイルをダウンロードします。パッチ情報は、My Oracle Supportノート888828.1を参照してください。

  3. パッチ・ファイルを解凍します。ファイルはpatch_release.dateディレクトリに解凍されます。

  4. ファイルを作成し、更新する必要があるInfiniBandスイッチを1行に1スイッチずつリストします。このファイルの例を次に示します。

    # cat ibswitches.lst
    myibswitch-01
    myibswitch-02
    
  5. patch_release.dateディレクトリに移動します。

  6. 次のコマンドを使用して、前提条件チェックを実行します。

    # ./patchmgr -ibswitches ibswitches.lst -upgrade -ibswitch_precheck [-force] [-unkey]
    

    注意:

    • -unkeyオプションは、終了する前に、InfiniBandスイッチへのパスワードなしのSSHアクセスを削除します。

    • -forceオプションを指定すると、InfiniBandトポロジの障害とサーバーからスイッチへの接続がオーバーライドされます。スイッチのアップグレードには影響しません。


    コマンドの出力で全体的なステータスがSUCCESSになった場合は、アップグレードに進みます。コマンドの出力で全体的なステータスがFAILになった場合は、出力でエラーのサマリーを確認し、どのチェックが失敗したかを特定して、エラーを修正します。エラーを修正したら、前提条件チェックを再実行し、成功するまでこれを繰り返します。

  7. 次のコマンドを使用して、スイッチをアップグレードします。

    # ./patchmgr -ibswitches ibswitches.lst -upgrade [-force] [-unkey]
    
  8. コマンドの出力をチェックし、アップグレードを検証します。出力はSUCCESSになる必要があります。エラーが存在する場合は、それらのエラーを修正し、アップグレード・コマンドを再実行してください。

スイッチ・ソフトウェアのダウングレード

リリース2.1.6-2へのダウングレードのみが含まれます。ファームウェアをダウングレードするには、次のコマンドを使用します。

# ./patchmgr -ibswitches ibswitches.lst -downgrade -ibswitch_precheck [-force] [-unkey]
# ./patchmgr -ibswitches ibswitches.lst -downgrade [-force] [-unkey]

InfiniBand IPアドレスおよびホスト名の変更

既存のOracle ExadataラックのInfiniBandネットワーク情報の変更が必要になることがあります。複数のInfiniBandカードを使用してメディア・サーバーをサポートするか、同じラックの本番、テストおよびQA環境などの個別のInfiniBandネットワークのInfiniBandトラフィックを維持するため、変更が必要になる場合があります。

すべてのInfiniBandアドレスに同じサブネット内のアドレスを使用し、最小のサブネット・マスク255.255.240.0(または/20)を使用する必要があります。サブネット・マスクは、将来Oracle ExadataラックおよびInfiniBandネットワークが拡張されたときにも対応できる程度のものを選択する必要があります。


関連項目:

Oracle Exalogicシステムに接続するようにSDPリスナーを構成する方法の詳細は、Oracle Fusion Middleware Exalogic Enterprise開発ガイドを参照してください。

InfiniBandネットワーク情報の変更

この項に示される手順は、次の前提条件に基づいています。

  • すべての変更は、ILOMインタフェースを使用してilom-adminユーザーとして実行する必要があります。

  • NET1およびNET2インタフェースを結合してBONDETH0を作成するため、クライアント・アクセス・ネットワークにチャネル・ボンディングが使用されます。チャネル・ボンディングを使用しない場合、手順のBONDETH0をNET1に置き換えてください。

  • X4-2以降のハードウェアでは、リリース11.2.3.3.0より、InfiniBandボンディングに使用される名前は、BONDIB0からIB0およびIB1に変更されました。

  • リリース11.2.2.1.0の時点で、ボンディングに使用される名前が変更されました。InfiniBandボンディングにBONDIB0、イーサネット・ボンディングにBONDETH0という名前を使用します。以前のリリースでは、それぞれBOND0およびBOND1という名前でした。

  • 手順には、dcliユーティリティおよびrootユーザーを使用します。これにより、データベース・サーバーのコマンドをパラレルに実行して、手順を完了する全体の時間を大幅に短縮します。

  • dcliユーティリティには、SSHユーザー等価が必要になります。SSHユーザー等価が構成されない場合、一部のコマンドを各データベース・サーバーで明示的に実行する必要があります。

  • データベース・グループ・ファイルdbs_group/rootディレクトリに格納する必要があります。

  • InfiniBandネットワーク情報を変更する前に、Oracle Cluster Registry (OCR)の最新のバックアップが存在することを確認してください。OCRバックアップは$GRID_HOME/cdata/cluster-nameディレクトリにあります。

  • Oracle Database 11gリリース2 (11.2)以上のグリッド・インフラストラクチャでは、プライベート・ネットワーク構成がグリッド・プラグ・アンド・プレイ(gpnp)プロファイルとOCRの両方に格納されます。gpnpの定義が正しくない場合は、Oracle Clusterware CRSが起動しません。InfiniBandネットワーク情報を変更する前に、次のコマンドを使用して、すべてのノードのgpnpプロファイルのバックアップを作成してください。

    $ cd $GRID_HOME/gpnp/hostname/profiles/peer/
    $ cp -p profile.xml profile.xml.bk
    

次の手順は、InfiniBandネットワーク情報の変更方法を示しています。

  1. 次のコマンドを使用して、CLUSTER_INTERCONNECTパラメータがOracle DatabaseおよびOracle ASMインスタンスで使用されているか確認します。

    SELECT inst_id, name,value FROM gv$parameter WHERE name = \
    'cluster_interconnects'
    

    CLUSTER_INTERCONNECTパラメータがOCRに設定されている場合、値は返されません。CLUSTER_INTERCONNECTパラメータがサーバー・パラメータ・ファイル(SPFILE)に定義されている場合は、各インスタンスのIPアドレスが返されるため、新しいIPアドレスに変更する必要があります。

    次に、Oracle ASMインスタンスのIPアドレスを変更するコマンドの例を示します。この例では、IPアドレス192.168.10.1は+ASM1インスタンスを実行するサーバーのBONDIB0に割り当てられる新しいIPアドレスとなり、192.168.10.2は+ASM2インスタンスを実行するサーバーのBONDIB0のIPアドレスとなり、それ以降も同様です。

    ALTER SYSTEM SET CLUSTER_INTERCONNECTS='192.168.10.1' SCOPE=SPFILE SID='+ASM1';
    ALTER SYSTEM SET CLUSTER_INTERCONNECTS='192.168.10.2' SCOPE=SPFILE SID='+ASM2';
    ALTER SYSTEM SET CLUSTER_INTERCONNECTS='192.168.10.3' SCOPE=SPFILE SID='+ASM3';
    ...
    

    同様のコマンドを使用して、戻された各Oracle DatabaseインスタンスのIPアドレスを変更します。

  2. すべてのサーバーの新しいInfiniBandネットワーク情報の割当てを確認します。InfiniBand IPアドレス、ネットマスク、ブロードキャストおよびネットワークIP情報を確認する必要があります。

  3. 次のコマンドを使用して、oracleユーザーとして各データベース・サーバーのすべてのクラスタ管理サービスを停止します。

    $ srvctl stop home -o db_home -s state_filename -n node_name
    

    前述のコマンドのdb_homeはOracle Databaseホーム・ディレクトリの完全なディレクトリ名、state_filenameは状態ファイルを書き込む場合のパス名、node_nameはデータベース名です。このコマンドの例を次に示します。

    $ srvctl stop home -o /u01/app/oracle/product/11.2.0.3/dbhome_1 -s \
    /tmp/dm02db01_dbhome -n dm02db01
    

    前述の例の/u01/app/oracle/product/11.2.0.3/dbhome_1はOracle Databaseホーム・ディレクトリ、/tmp/dm02db01_dbhomeは状態ファイル名、dm02db01はデータベース・サーバー名です。


    関連項目:

    Server Control Utility(SRVCTL)コマンドの詳細は、Oracle Real Application Clusters管理およびデプロイメント・ガイドを参照してください。

  4. 次に示すように、最初のデータベース・サーバーのクラスタ相互接続インタフェースを変更して、BONDIB0インタフェースを使用します。


    注意:

    この時点で、Oracle Clusterware、Oracle Clusterware CRSおよびOracle ASMインスタンスのみ起動しています。

    1. oracleユーザーとしてログインします。

    2. ORACLE_HOMEをグリッド・インフラストラクチャ・ホームに設定します。

    3. 次のコマンドを使用して、ORACLE_SID環境変数のベースを設定します。ORACLE_HOME環境変数はGrid Infrastructureのホームに設定する必要があります。

      ORACLE_SID=+ASM1
      
    4. 次のコマンドを使用して、使用できるクラスタ・インタフェースをリストします。

      $ oifcfg iflist
      

      次に、出力の例を示します。

      eth0     10.204.78.0
      bondeth0 10.204.76.0
      bondib0  192.168.16.0
      
    5. 次のコマンドを使用して、現在割り当てられているクラスタ・インタフェースをリストします。

      $ oifcfg getif
      

      次に、出力の例を示します。

      bondeth0 10.204.76.0 global public
      bondib0 192.168.16.0 global cluster_interconnect
      
    6. 次のコマンドを使用して、BONDIB0およびグローバル・クラスタ相互接続インタフェースとして新しいIPアドレスを割り当てます。

      $ oifcfg setif -global c_interface/c_IP_subnet:cluster_interconnect
      

      前述のコマンドのc_interfaceはクラスタ相互接続に使用されるインタフェース、c_IP_subnetはクラスタ相互接続のIPアドレスです。このコマンドの例を次に示します。

      $ oifcfg setif -global bondib0/192.168.8.0:cluster_interconnect
      
    7. 次のコマンドを使用して、現在のインタフェースをリストします。

      $ oifcfg getif
      

      次に、出力の例を示します。

      bondeth0  10.204.76.0    global public
      bondib0   192.168.16.0   global cluster_interconnnect
      bondib0   192.168.8.0    global cluster_interconnnect
      

      古いプライベート・インタフェースは後で削除します。

  5. 次に示すように、各データベース・サーバーのOracle ClusterwareおよびOracle Clusterware CRSを停止します。

    1. rootユーザーとしてログインします。

    2. 次のコマンドを使用して、各データベース・サーバーのOracle Clusterware CRSを停止します。

      # GRID_HOME/grid/bin/crsctl stop crs -f
      
    3. 次のコマンドを使用して、各データベース・サーバーのOracle Clusterware CRSの自動的な再起動を無効化します。

      # GRID_HOME/grid/bin/crsctl disable crs
      
  6. 次に示すように、各Exadata Storage ServerのInfiniBand IPアドレスを変更します。

    1. rootユーザーとしてログインします。

    2. 次のコマンドを実行します:

      # cellcli -e alter cell shutdown services all
        Stopping the RS, CELLSRV, and MS services...  The SHUTDOWN of services was successful.
      
      # service ocrvottargetd stop
      
      # ipconf
      

      serviceコマンドのプロンプトに応答して、BONDIB0情報を変更します。次に、ipconfコマンドのプロンプトおよび応答の例を示します。変更は、基本ILOM設定のプロンプトの後に適用されます。

      Logging started to /var/log/cellos/ipconf.log
      Interface ib0 is Linked.  hca: mlx4_0
      Interface ib1 is Linked.  hca: mlx4_0
      Interface eth0 is Linked.  driver/mac: ixgbe/00:00:00:00:cd:01
      Interface eth1 is ... Unlinked.  driver/mac: ixgbe/00:00:00:00:cd:02
      Interface eth2 is ... Unlinked.  driver/mac: ixgbe/00:00:00:00:cd:03
      Interface eth3 is ... Unlinked.  driver/mac: ixgbe/00:00:00:00:cd:04
       
      Network interfaces
      Name     State      IP address      Netmask         Gateway         Net type     Hostname
      ib0      Linked
      ib1      Linked
      eth0     Linked
      eth1     Unlinked
      eth2     Unlinked
      eth3     Unlinked
      Warning. Some network interface(s) are disconnected. Check cables and swicthes and retry
      Do you want to retry (y/n) [y]: n
       
      The current nameserver(s): 192.0.2.10 192.0.2.12 192.0.2.13
      Do you want to change it (y/n) [n]:
      The current timezone: America/Los_Angeles
      Do you want to change it (y/n) [n]:
      The current NTP server(s): 192.0.2.06 192.0.2.12 192.0.2.13
      Do you want to change it (y/n) [n]:
       
      Network interfaces
      Name     State           IP address    Netmask        Gateway       Net type            Hostname
      eth0     Linked       192.0.2.151  255.255.252.0 192.0.2.15    Management   myg.example.com
      eth1     Unlinked
      eth2     Unlinked
      eth3     Unlinked
      bondib0  ib0,ib1      192.168.13.101 255.255.252.0  Private             myg-priv.example.com
      Select interface name to configure or press Enter to continue: bondib0
      Selected interface. bondib0
      IP address or none [192.168.13.101]: 192.168.10.3
      Netmask [255.255.252.0]:255.255.248.0
      Fully qualified hostname or none [myg-priv.example.com]:
      Continue configuring or re-configuring interfaces? (y/n) [y]: n
       
      Select canonical hostname from the list below
      1: myg.example.com
      2: myg-priv.example.com 
      Canonical fully qualified domain name [1]:
       
      Select default gateway interface from the list below
      1: eth0
      Default gateway interface [1]:
       
      Canonical hostname: myg.example.com
      Nameservers: 192.0.2.10 192.0.2.12 192.0.2.13
      Timezone: America/Los_Angeles
      NTP servers: 192.0.2.06 192.0.2.12 192.0.2.13
      Default gateway device: eth0
      Network interfaces
      Name     State      IP address      Netmask         Gateway         Net type     Hostname
      eth0     Linked     192.0.2.151   255.255.252.0 192.0.2.15     Management   myg.example.com
      eth1     Unlinked
      eth2     Unlinked
      eth3     Unlinked
      bondib0  ib0,ib1    192.168.10.3    255.255.248.0                   Private      myg-priv.example.com
      Is this correct (y/n) [y]:
       
      Do you want to configure basic ILOM settings (y/n) [y]: n
      
      Starting the RS services...
      Getting the state of RS services...  running
       
      Starting MS services...
      The STARTUP of MS services was successful.
      A restart of all services is required to put new network configuration into
      effect. MS-CELLSRV communication may be hampered until restart.
      Cell myg successfully altered
       
      Stopping the RS, CELLSRV, and MS services...
      The SHUTDOWN of services was successful.
      ipaddress1=192.168.10.3/21
      
    3. 次のコマンドを使用して、Exadata Storage Serverを再起動します。

      # reboot
      

    関連項目:

    ipconfコマンドの詳細は、『Oracle Exadata Storage Server Softwareユーザーズ・ガイド』を参照してください。

  7. 次のコマンド使用して、セル・サービスを再起動します。

    # cellcli -e alter cell restart services all
    
  8. 次のコマンドを使用して、Exadata Storage Serverに新しく割り当てられたInfiniBandアドレスを確認します。

    # cellcli -e list cell detail | grep ipaddress1
    

    次に、出力の例を示します。

    ipaddress1: 192.168.10.3/21
    
  9. 次に示すように、各データベース・サーバーのInfiniBand IPアドレスを変更します。

    1. rootユーザーとしてログインします。

    2. /etc/sysconfig/network-scriptsディレクトリに変更します。

    3. ifcfg-bondib0ファイルをコピーします。コピーしたファイル名の先頭にifcfgを使用しないでください。次に、コピー・コマンドの例を示します。

      # cp ifcfg-bondib0 orig_ifcfg-bondib0
      
    4. ifcfg-bondib0ファイルを編集して、IPADDR、NETMASK、NETWORKおよびBROADCASTフィールドを更新します。次に、元のファイルおよび更新されたファイルの例を示します。

      元のifcfg-bondib0ファイルの例:

      #### DO NOT REMOVE THESE LINES ####
      #### %GENERATED BY CELL% ####
      DEVICE=bondib0
      USERCTL=no
      BOOTPROTO=none
      ONBOOT=yes
      IPADDR=192.168.20.8
      NETMASK=255.255.248.0
      NETWORK=192.168.16.0
      BROADCAST=192.168.23.255
      BONDING_OPTS="mode=active-backup miimon=100 downdelay=5000 updelay=5000"
      IPV6INIT=no
      MTU=65520
      

      更新後のifcfg-bondib0ファイルの例:

      #### DO NOT REMOVE THESE LINES ####
      #### %GENERATED BY CELL% ####
      DEVICE=bondib0
      USERCTL=no
      BOOTPROTO=none
      ONBOOT=yes
      IPADDR=192.168.10.8
      NETMASK=255.255.248.0
      NETWORK=192.168.8.0
      BROADCAST=192.168.15.255
      BONDING_OPTS="mode=active-backup miimon=100 downdelay=5000 updelay=5000"
      IPV6INIT=no
      MTU=65520
      

      注意:

      データベース・サーバーのInfiniBandインタフェースのMTUサイズは、次のように設定する必要があります。
      • Oracle Exadata Storage Server Softwareリリース11.2.3.3以上では、MTUサイズを7000に設定します。

      • Oracle Exadata Storage Server Softwareリリース11.2.3.3より前のリリースでは、MTUサイズを65520に設定し、メディア・サーバーまたはNFSサーバーなどのInfiniBand経由のTCP/IPを使用して外部デバイスへの高速転送を実現します。


    5. 次のコマンドを使用して、データベース・サーバーを再起動します。

      # reboot
      
    6. 次のコマンドを使用して、InfiniBand IPアドレス情報を確認します。

      # ifconfig -a
      

      次に、BONDIB0情報の例を示します。更新されたInfiniBandネットワーク情報が表示されます。

      inet addr:192.168.10.8 Bcast:192.168.15.255 Mask:255.255.248.0
      
  10. 次に示すように、各データベース・サーバーのcellinit.oraおよびcellip.oraファイルを更新します。


    注意:

    データベースまたはOracle ASMインスタンスを実行中は、cellinit.oraまたはcellip.oraファイルは編集しないでください。ファイルを変更するには、次のような手順を実行します。
    1. 次のようにファイルのコピーを作成します。

      cp cellinit.ora cellinit.new
      
    2. テキスト・エディタでcellinit.newファイルを編集します。

    3. 次のように、更新したcellinit.newファイルで古いcellinit.oraファイルを置換します。

      mv cellinit.new cellinit.ora
      

    1. rootユーザーとしてログインします。

    2. /etc/oracle/cell/network-configディレクトリに変更します。

    3. cellip.oraファイルのバックアップ・コピーを作成します。このコマンドの例を次に示します。

      # cp cellip.ora orig_cellip.ora
      

      注意:

      SSHユーザー等価を使用する場合、dcliユーティリティを使用できます。次に、dcliコマンドの例を示します。
      # dcli -l root -g /root/dbs_group "cp cellip.ora orig_cellip.ora"
      

    4. cellinit.oraファイルのバックアップ・コピーを作成します。このコマンドの例を次に示します。

      # cp cellinit.ora orig_cellinit.ora
      

      注意:

      SSHユーザー等価を使用する場合、dcliユーティリティを使用できます。次に、dcliコマンドの例を示します。
      # dcli -l root -g /root/dbs_group "cp cellinit.ora \
      orig_cellinit.ora"
      

    5. cellip.oraファイルのInfiniBand IPアドレスを変更します。次に、元のファイルおよび更新されたファイルの例を示します。

      元のファイルの例

      cell="192.168.20.1"
      cell="192.168.20.2"
      cell="192.168.20.3"
      cell="192.168.20.4"
      cell="192.168.20.5"
      cell="192.168.20.6"
      cell="192.168.20.7"
      

      更新されたファイルの例

      cell="192.168.10.1"
      cell="192.168.10.2"
      cell="192.168.10.3"
      cell="192.168.10.4"
      cell="192.168.10.5"
      cell="192.168.10.6"
      cell="192.168.10.7"
      

      注意:

      SSHユーザー等価を使用する場合、dcliユーティリティを使用して、最初のデータベース・サーバーから他のデータベース・サーバーに更新されたファイルをコピーできます。次に、dcliコマンドの例を示します。
      # dcli -l root -g /root/dbs_group -f \
      /etc/oracle/cell/network-config/cellip.ora 
      
      # dcli -l root -g /root/dbs_group "mv /root/cellip.ora \
      /etc/oracle/cell/network-config/"
      

    6. cellinit.oraファイルのInfiniBand IPアドレスを変更します。次に、元のファイルおよび更新されたファイルの例を示します。

      元のファイルの例

      ipaddress="192.168.20.8/21"
      

      更新されたファイルの例

      ipaddress="192.168.10.8/21"
      

      各データベース・サーバーのcellinit.oraファイルを更新します。ファイルの内容は、データベース・サーバーに固有です。この手順にdcliユーティリティは使用できません。

    7. 各データベース・サーバー上でALTER DBSERVERコマンドを実行して/etc/oracle/cell/network-config/cellinit.oraファイルを更新します。次に例を示します。

      # dbmcli -e alter dbserver interconnect1 = "ib0"
      # dbmcli -e alter dbserver interconnect2 = "ib1"
      # dbmcli -e alter dbserver interconnect3 = "ib2"
      # dbmcli -e alter dbserver interconnect4 = "ib3"
      
  11. 次に示すように、各データベース・サーバーおよびExadata Storage Serverの/etc/hostsファイルを更新して、新しいInfiniBand IPアドレスを使用します。

    1. rootユーザーとしてログインします。

    2. /etc/hostsファイルのバックアップ・コピーを作成します。このコマンドの例を次に示します。

      # cp /etc/hosts /etc/orig_hosts
      
    3. データベース・サーバーおよびExadata Storage ServerファイルのInfiniBand IPアドレスを変更します。

  12. 次のコマンドを使用して、各サーバーのOracle Clusterwareを起動します。

    /u01/app/11.2.0.3/grid/bin/crsctl start crs
    
  13. Oracle ASMのalert.logを確認して、各データベース・サーバーのクラスタ相互接続にRDSプロトコルが使用されていることを確認します。ログは/u01/app/oracle/diag/asm/+asm/+ASM1/traceディレクトリにあります。最新のOracle ASMの再起動に次のようなエントリが示されます。

    CELL interconnect IPC version: Oracle RDS/IP (generic)
    

    注意:

    リリース11.2.0.2以降の場合は、次のコマンドを使用してクラスタ相互接続を確認できます。コマンドは各データベース・サーバーのoracleユーザーとして実行します。
    $ORACLE_HOME/bin/skgxpinfo
    

    コマンド出力はrdsとなります。


    インスタンスがInfiniBandでRDSプロトコルを使用していない場合は、次のようにOracleバイナリを再リンクします。


    注意:

    Oracleバイナリの再リンクにrelink allコマンドを使用しないでください。

    1. oracleユーザーとして、Oracleバイナリを使用してすべてのプロセスをシャットダウンします。

    2. グリッド・インフラストラクチャのホームを再リンクするには、rootユーザーとして、次のコマンドを実行します。グリッド・インフラストラクチャのホームを再リンクしない場合は、この手順は実行しないでください。

      # GRID_HOME/crs/install/rootcrs.pl -unlock
      
    3. oracleユーザーとして、ORACLE_HOME/rdbms/libディレクトリに変更します。

    4. oracleユーザーとして、次のコマンドを実行します。

      $ make -f ins_rdbms.mk ipc_rds ioracle
      
    5. グリッド・インフラストラクチャのホームを再リンクするには、rootユーザーとして、次のコマンドを実行します。グリッド・インフラストラクチャのホームを再リンクしない場合は、この手順は実行しないでください。

      # GRID_HOME/crs/install/rootcrs.pl -patch
      
  14. 次に示すように、SRVCTLユーティリティを使用して、すべてのクラスタ管理サービスを起動します。

    1. oracleユーザーとしてログインします。

    2. 次のコマンドを使用して、データベースを起動します。

      $ srvctl start home -o /u01/app/oracle/product/11.2.0/dbhome_1 \
      -s /tmp/dm02db01_dbhome -n dm02db01
      
    3. 次のコマンドを使用して、データベース・インスタンスが実行されていることを確認します。

      $ srvctl status database -d dbm
      
  15. 次のように、Oracle ASMおよびデータベース・インスタンスで新しいネットワーク設定が使用されていることを確認します。

    1. Oracle ASMおよびデータベース・インスタンスにログインします。

    2. 次のコマンドを実行します。

      $ SELECT inst_id, name,value FROM gv$parameter WHERE name = \
      'cluster_interconnects'
      
  16. 次のコマンドを使用して、古いプライベート・ネットワークを削除します。

    $ oifcfg delif -global bondib0/192.168.16.0
    
  17. 次のコマンドを使用して、古いインタフェースが存在しないことを確認します。

    $ oifcfg getif
    

    次に、出力の例を示します。

    bondeth0  10.204.76.0  global public
    bondib0   192.168.8.0  global cluster_interconnect
    
  18. 次に示すように、各データベース・サーバーのOracle Clusterware CRSの自動的な再起動を有効化します。

    1. rootユーザーとしてログインします。

    2. 次のコマンドを使用して、Oracle Clusterware CRSを有効化します。

      # GRID_HOME/grid/bin/crsctl enable crs
      

      注意:

      dcliユーティリティを使用してOracle Clusterware CRSを有効化するには、次のコマンドを使用します。
      # dcli -l root -g dbs_group "GRID_HOME/grid/bin/crsctl \
      enable crs"
      

  19. すべてのノードでOracle Clusterwareの完全再起動を実行します。

  20. My Oracle Supportノート1070954.1の手順を使用して、Oracle Exadataラックのヘルス・チェックを実行します。


    注意:

    Oracle ExadataラックのHealthCheckユーティリティは、Oracle Exadataラックの主要なソフトウェア、ハードウェア、ファームウェア・リリースおよび構成ベスト・プラクティスのデータを収集します。

    Oracle Exadataラックの主要なコンポーネントの現在のデータを定期的に確認して、サポートされているリリース・レベルおよび推奨されているベスト・プラクティスと比較することをお薦めします。

    Oracle ExadataラックのHealthCheckは、データベース、ネットワークまたはSQLパフォーマンス分析ツールではありません。連続監視ユーティリティではなく、Integrated Lights Out Manager(ILOM)またはOracle Enterprise Manager Grid Controlなどのその他のモニタリング・ツールまたはアラート・ツールとは重複しません。


  21. クラスタウェア検証ユーティリティを使用してプライベート・ネットワーク構成を検証します。


    関連項目:

    cluvfyの詳細は、My Oracle Supportノート316817.1を参照してください。

データベース・サーバーでのネットワーク・ルーティングの構成

データベース・サーバーには3つの論理ネットワーク・インタフェースが構成されています。これらのインタフェースは、管理ネットワーク(eth0)、クライアント・アクセス・ネットワーク(BOND1またはBONDETH0)およびプライベートInfiniBandネットワーク(BOND0、BONDIB0またはIB0およびIB1)です。


注意:

この項の作業は、リリース11.2.3.2.1以前に構成されたデータベース・サーバーを対象にしています。

リリース11.2.2.3.0以上では、管理ネットワークへの接続の応答は管理ネットワーク・インタフェース上で送信され、クライアント・アクセス・ネットワークへの接続の応答はクライアント・アクセス・ネットワーク・インタフェース上で送信されます。プライベートInfiniBandネットワーク・トラフィックは2つのエンドポイント間での直接通信であり、ルーターは通信に関与しません。

Oracle Exadata Storage Server Softwareリリース11.2.2.3.0より前のリリースでは、管理ネットワーク上またはプライベートInfiniBandネットワーク上のIPアドレス以外を宛先としたアウトバウンド・トラフィックはデフォルト・ルートとしてクライアント・アクセス・ネットワークを使用して送信されます。この項の作業ではルーティングを変更するため、管理ネットワークに着信するトラフィックの応答は、管理ネットワークで送信されます。同様に、クライアント・ネットワークに着信するトラフィックの応答は、クライアント・ネットワークで送信されます。

ネットワーク・ルーティングの作業は、ブート時ルーティングかリアルタイム・ルーティングかによって異なります。次の点はどちらのタイプのルーティングにも当てはまります。

  • これらの作業は、Oracle Exadata Storage Server Softwareリリース11.2.2.3.0より前のリリースを実行しているデータベース・サーバーを対象としています。

  • これらの作業では次のサンプルIPアドレス、ネットマスクおよびゲートウェイを使用します。

    • 管理ネットワークのIPアドレスは10.149.49.12、ネットマスクは255.255.252.0 (ネットワーク10.149.48.0/22)、ゲートウェイは10.149.48.1です。

    • クライアント・アクセス・ネットワークのIPアドレスは10.204.78.15、ネットマスクは255.255.255.0 (ネットワーク10.204.78.0/24)、ゲートウェイは10.1.78.1です。


注意:

データベース・サーバーに他のネットワークが構成されている場合は、それらのネットワークにファイルを設定してください。

作業1: ブート時ルーティングのための構成

ネットワーク・ルーティングとしてブート時ルーティングを行うように構成するには、各データベース・サーバーにルールおよびルーティング・ファイルを作成する必要があります。ルールおよびルーティング・ファイルは、各データベース・サーバーの/etc/sysconfig/network-scriptsディレクトリに配置する必要があります。構成済のIPアドレスを持つ管理ネットワーク上のイーサネット・インタフェースごとに、データベース・サーバーにroute-ethnおよびrule-ethnファイルが必要です。結合イーサネット・インタフェースごとに、データベース・サーバーにroute-bondethnおよびrule-bondethnファイルが必要です。次に、ファイルの内容の例を示します。

ファイル 内容
/etc/sysconfig/network-scripts/rule-eth0
from 10.149.49.12 table 220
to 10.149.49.12 table 220
/etc/sysconfig/network-scripts/route-eth0
10.149.48.0/22 dev eth0 table 220
default via 10.149.48.1 dev eth0 table 220
/etc/sysconfig/network-scripts/rule-bondeth0
from 10.204.78.0/24 table 210
to 10.204.78.0/24 table 210
/etc/sysconfig/network-scripts/route-bondeth0
10.204.78.0/24 dev bondeth0 table 210
default via 10.204.78.1 dev bondeth0 table 210

作業2: リアルタイム・ルーティングのための構成

実行中のシステムでルールを構成するには、/sbin/ipコマンドを使用して、起動時に実行されるものと同じ構成を作成します。次のコマンドを使用すると、ブート時ファイルと同じ構成が得られます。

/sbin/ip rule add from 10.149.49.12 table 220
/sbin/ip rule add to 10.149.49.12 table 220
/sbin/ip route add 10.149.48.0/22 dev eth0 table 220
/sbin/ip route add default via 10.149.48.1 dev eth0 table 220

/sbin/ip rule add from 10.204.78.0/24 table 210
/sbin/ip rule add to 10.204.78.0/24 table 210
/sbin/ip route add 10.204.78.0/24 dev bondeth0 table 210
/sbin/ip route add default via 10.204.78.1 dev bondeth0 table 210

コマンドの実行後にデータベース・サーバーを再起動して、ブート時構成が正しいことを検証することをお薦めします。

作業3: ネットワーク・ルーティング・ルールおよびルートの検証

次のコマンドを使用して、ネットワーク・ルーティング・ルールを検証します。コマンドの出力には、システム上のすべてのルールが表示されます。

# /sbin/ip rule list
0:      from all lookup 255 
32762:  from all to 10.204.78.0/24 lookup 210 
32763:  from 10.204.78.0/24 lookup 210 
32764:  from all to 10.149.49.12 lookup 220 
32765:  from 10.149.49.12 lookup 220 
32766:  from all lookup main 
32767:  from all lookup default 

前述の作業を行うときに2つの新しいルーティング表が作成されるため、デフォルトのルーティング表は変更されません。新しいルーティング表が使用されるのは、ルールで指定した場合のみです。次のコマンドは、デフォルトのルーティング表と新しいルーティング表をチェックする方法を示しています。

  • デフォルトのルーティング表をチェックする場合。次に、コマンドと出力の例を示します。

    # /sbin/ip route list
    10.204.78.0/24 dev bondeth0  proto kernel  scope link  src 10.204.78.15
    192.168.10.0/24 dev bondib0  proto kernel  scope link  src 192.168.10.8 
    10.149.48.0/22 dev eth0  proto kernel  scope link  src 10.149.49.12 
    default via 10.149.52.1 dev bondeth0
    
  • 追加された表にコマンドで指定する表名が含まれているかどうかをチェックする場合。次に、コマンドと出力の例を示します。

    # /sbin/ip route list table 220
    10.149.48.0/22 dev eth0  scope link 
    default via 10.149.48.1 dev eth0 
    root@dbhost# ip route list table 210
    10.204.78.0/24 dev bondeth0  scope link 
    default via 10.204.78.1 dev bondeth0
    

トラブルシューティングのためのネットワーク・ルーティング構成の削除

ネットワーク・ルーティング構成は、Oracle Exadata Database Machineを構成またはトライブシューティングするときに削除できます。ルールおよびルートを削除するには、次のコマンドを使用します。

/sbin/ip route del default via 10.149.48.1 dev eth0 table 220
/sbin/ip route del 10.149.48.0/22 dev eth0 table 220
/sbin/ip rule del to 10.149.49.12 table 220
/sbin/ip rule del from 10.149.49.12 table 220

/sbin/ip route del default via 10.204.78.1 dev bondeth0 table 210
/sbin/ip route del 10.204.78.0/24 dev bondeth0 table 210
/sbin/ip rule del to 10.204.78.0/24 table 210
/sbin/ip rule del from 10.204.78.0/24 table 210

デフォルトのルーティングへの再設定

デフォルトのネットワーク・ルーティングに戻すには、追加ファイルを/etc/sysconfig/network-scriptsディレクトリから削除し、サーバーを再起動します。次に、ファイルを削除してサーバーを再起動するコマンドの例を示します。

/bin/rm -f /etc/sysconfig/network-scripts/rule-eth0
/bin/rm -f /etc/sysconfig/network-scripts/route-eth0
/bin/rm -f /etc/sysconfig/network-scripts/rule-bondeth0
/bin/rm -f /etc/sysconfig/network-scripts/route-bondeth0
reboot

DNSサーバーの変更

ドメイン・ネーム・システム(DNS)サーバーの構成設定は、初期設定後に変更できます。Oracle Exadata Database Machineのすべてのサーバーおよびスイッチは、同じDNSサーバーを参照する必要があります。Oracle Exadata Database Machineが参照するすべてのドメインは、個々のDNSサーバーを介して解決される必要があります。この項では、Oracle Exadata Database Machineサーバーおよびスイッチを同じDNSサーバーに設定する作業および手順について説明します。各サーバーは1つずつ変更することをお薦めします。

作業1: Sun Datacenter InfiniBand Switch 36スイッチでのDNSサーバー・アドレスの変更

すべての構成手順は、ILOMインタフェースを使用してilom-adminユーザーとして実行する必要があります。ファームウェア・リリースに応じて、次のいずれかの手順を実行してDNSサーバーを変更します。

  • 2.0.4より前のファームウェア:

    1. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。

    2. viなどのエディタを使用して/etc/resolv.confファイルを編集し、DNSサーバーおよびドメイン名を設定します。各DNSサーバーに行があります。

    3. ファイルを保存します。

  • 2.0.4以降のファームウェア:

    1. ilom-adminユーザーとしてログインします。

    2. 次のいずれかのオプションを使用して、DNSアドレスを設定します。

      • ILOM Webインタフェースを使用する場合:

        「構成」タブをクリックして、DNSサーバー・アドレスを設定します。

      • コマンドライン・インタフェースを使用する場合は、次のコマンドを使用してDNSサーバーを設定します。

        set /SP/clients/dns nameserver=dns_ip
        

        前述のコマンドで、dns_ipはDNSサーバーのIPアドレスです。DNSサーバーが複数ある場合は、set /SP/clients/dns nameserver=dns_ip1,dns_ip2,dns_ip3などのカンマ区切りのリストを入力します。

作業2: Ciscoイーサネット・スイッチでのDNSサーバー・アドレスの変更

次の手順では、Ciscoイーサネット・スイッチでDNSサーバー・アドレスを変更する方法について説明します。

  1. ファームウェア・リリースに基づいて、次のいずれかの方法を使用してスイッチにアクセスします。

    • リリース12.2より前のファームウェア:

      Telnetを使用してスイッチにアクセスし、管理パスワードを使用して管理者としてログインします。

    • リリース12.2以降のファームウェア:

      SSHを使用してスイッチにアクセスし、管理者のパスワードを使用してadminユーザーとしてログインします。


      注意:

      SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。

  2. 次のコマンドを使用して、enableモードに変更します。パスワードを要求されたら、監理者のパスワードを使用します。

    Switch> enable
    
  3. 次のコマンドを使用して、現在の構成を確認します。

    Switch# show running-config
    
  4. 次のコマンドを使用して、現在のDNSサーバーの情報を消去します。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ip name-server 10.7.7.2
    Switch(config)# no ip name-server 129.148.5.4
    Switch(config)# no ip name-server 10.8.160.2
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
    

    注意:

    変更する現在の各DNS IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。

  5. 最大3つのDNSサーバーを構成します。次に、例を示します。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# ip name-server 10.7.7.3
    Switch(config)# ip name-server 129.148.5.5
    Switch(config)# ip name-server 10.8.160.1
    Switch(config)# write memory 
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
    
  6. 次のコマンドを実行して出力を確認し、変更を検証します。

    Switch# show running-config
    

    次に、コマンドの出力例を示します。

    Building configuration...
    ...
    ip domain-name example.com
    ip name-server 192.168.10.2
    ip name-server 192.168.10.3
    ip name-server 192.168.10.4
    ...
    
  7. 次のコマンドを使用して、構成を保存します。

    Switch# copy running-config startup-config
    Destination filename [startup-config]? 
    Building configuration...
    Compressed configuration from 14343 bytes to 3986 bytes[OK]
    
  8. 次のコマンドを使用して、セッションを終了します。

    Switch# exit
    

作業3: データベース・サーバーでのDNSサーバー・アドレスの変更

次の手順では、データベース・サーバーでDNSサーバー・アドレスを変更する方法について説明します。

  1. rootユーザーとしてログインします。

  2. viなどのエディタを使用して/etc/resolv.confファイルを編集し、DNSサーバーおよびドメイン名を設定します。各DNSサーバーにネーム・サーバー行があります。次に、更新されたファイルの例を示します。

    search        example.com
    nameserver    10.7.7.3
    
  3. データベース・サーバーで次のコマンドを使用して、サーバーILOMのDNSサーバーを設定します。

    ipmitool sunoem cli 'set /SP/clients/dns nameserver=dns_ip'
    

    前述のコマンドで、dns_ipはDNSサーバーのIPアドレスです。DNSサーバーが複数ある場合は、set /SP/clients/dns nameserver=dns_ip1,dns_ip2,dns_ip3などのカンマ区切りのリストを入力します。

  4. データベース・サーバーごとに、この手順を繰り返します。

作業4: Exadata Storage ServerでのDNSサーバーの変更

次の手順では、Exadata Storage ServerでDNSサーバーを変更する方法について説明します。


注意:

この手順では、NTPも設定できます。

  1. rootユーザーとしてログインします。

  2. 次のようにして、ディスクを修復しオンラインに戻す時間の間隔を指定します。デフォルトのDISK_REPAIR_TIME属性値、3.6時間は、ほとんどの環境で十分な長さです。

    1. Oracle ASMインスタンスにログインして次の問合せを実行し、マウントされたすべてのディスク・グループの修復時間を確認します。

      SQL> select dg.name,a.value from v$asm_diskgroup dg, v$asm_attribute \
      a where dg.group_number=a.group_number anda.name='disk_repair_time';
      
    2. 次のコマンドを使用して、必要に応じパラメータを調整します。

      SQL> ALTER DISKGROUP DATA SET ATTRIBUTE 'DISK_REPAIR_TIME'='h.nH';
      

      上記のコマンドで、h.nは、たとえば4.6などの時間を表す値です。

  3. 次のコマンドを使用して、グリッド・ディスクをオフラインにした場合、Oracle ASMに問題が発生しないか確認します。

    cellcli -e list griddisk attributes name,asmmodestatus,asmdeactivationoutcome
    

    グリッド・ディスクでYesが戻ります。Yes値が戻らないディスクが1つでもある場合、ディスク・グループのデータ冗長性をリストアして、すべてのディスク・グループでYes値が戻るまでコマンドを繰り返します。

  4. 次のコマンドを使用して、セルのグリッド・ディスクをすべて非アクティブ化します。

    # cellcli -e alter griddisk all inactive
    

    このコマンドは、終了するまで10分以上かかります。グリッド・ディスクを非アクティブ化すると、Oracle ASMインスタンスで自動的にディスクがofflineに設定されます。

  5. 次のようにして、グリッド・ディスクがオフラインであることを確認します。

    1. 次のコマンドを使用して、グリッド・ディスクのステータスをチェックします。

      # cellcli -e list griddisk attributes name, asmmodestatus,    \
      asmdeactivationoutcome
      

      出力には、asmmodestatus=OFFLINEまたはasmmodestatus=UNUSEDが表示され、asmdeactivationoutcome=Yesがすべてのグリッド・ディスクに表示されます。

    2. 次のコマンドを使用して、グリッド・ディスクの一覧を表示し、オフラインであることを確認します。

      # cellcli -e list griddisk
      
  6. 次のコマンドを使用して、セル・サービスおよびocrvottargetdサービスを停止します。

    # cellcli -e alter cell shutdown services all
    # service ocrvottargetd stop
    

    注意:

    一部のリリースには、ocrvottargetdサービスは含まれません。

  7. ipconfユーティリティで次のコマンドを使用して、DNS設定を変更します。

    # /usr/local/bin/ipconf
    
  8. 次のコマンドを使用して、サーバーを再起動します。サーバーを再起動する必要はありません。

    # service ocrvottargetd start
    # cellcli -e alter cell startup services all
    
  9. 次のコマンドを使用して、セルがオンラインになったグリッド・ディスクをアクティブ化します。

    # cellcli -e alter griddisk all active
    
  10. 次のコマンドを使用して、ディスクがアクティブであることを確認します。出力には、activeと表示されます。

    # cellcli -e list griddisk
    
  11. 次のようにして、グリッド・ステータスを確認します。

    1. 次のコマンドを使用して、すべてのグリッド・ディスクがオンラインであることを確認します。

      # cellcli -e list griddisk attributes name, asmmodestatus
      
    2. Oracle ASM同期化が、すべてのグリッド・ディスクで完了するまで待機します。すべてのディスクは、最初にSYNCING状態になり、次にONLINE状態になります。次に、出力の例を示します。

      DATA_CD_00_dm01cel01 ONLINE
      DATA_CD_01_dm01cel01 SYNCING
      DATA_CD_02_dm01cel01 OFFLINE
      DATA_CD_03_dm01cel01 OFFLINE
      DATA_CD_04_dm01cel01 OFFLINE
      DATA_CD_05_dm01cel01 OFFLINE
      DATA_CD_06_dm01cel01 OFFLINE
      DATA_CD_07_dm01cel01 OFFLINE
      DATA_CD_08_dm01cel01 OFFLINE
      DATA_CD_09_dm01cel01 OFFLINE
      DATA_CD_10_dm01cel01 OFFLINE
      DATA_CD_11_dm01cel01 OFFLINE
      

      すべてのグリッド・ディスクがasmmodestatus=ONLINEを示す場合のみ、Oracle ASMの同期化が完了します。

  12. Exadata Storage Serverごとに、この手順を繰り返します。

作業5: KVMスイッチでのDNSサーバーの変更

次の手順では、KVMスイッチを使用してDNSサーバー構成を変更する方法について説明します。


注意:

  • KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  • KVMスイッチはNTPをサポートしていません。


  1. KVMスイッチにログインします。インターネットでホスト名またはIPアドレスを使用すると、KVMに直接ログインしたり。スイッチにアクセスできます。

  2. ユニット・ビューから「アプライアンス」を選択します。

  3. アプライアンス設定から「DNS」を選択します。

  4. 「DNS構成」を選択します。

  5. DNS構成を入力します。次の構成オプションを利用できます。

    • DNSモード(手動、DHCP、DHCPv6)

    • DNSサーバー・アドレス(1次、2次、3次)

  6. 「Save」をクリックします。

NTPサーバーの変更

ネットワーク・タイム・プロトコル(NTP)サーバーの構成設定は、初期設定後に変更できます。サーバーが同じ時刻に同期されるように、Oracle Exadata Database Machineのすべてのサーバーおよびスイッチは、同じNTPサーバーを参照する必要があります。この項では、Oracle Exadata Database Machineサーバーおよびスイッチを同じNTPサーバーに設定する作業および手順について説明します。各サーバーは1つずつ変更することをお薦めします。

この項の内容は次のとおりです。


注意:

  • これらの作業を完了したら、Oracle Exadata Database Machineを再起動する必要があります。

  • Oracle Exadata Database Machineで使用するために構成可能なNTPサーバーは最大2台です。


作業1: データベース・サーバーでのNTPサーバー・アドレスの設定

次の手順では、データベース・サーバーでNTPサーバー・アドレスを設定する方法について説明します。

  1. 次のコマンドを使用して、データベース・サーバー上のNTPサービスを停止します。

    service ntpd stop
    
  2. 次のコマンドを使用して、次のファイルを新しいNTPサーバーのIPアドレスで更新します。

    /etc/ntp.conf
    
  3. 次のコマンドを使用して、データベース・サーバー上のNTPサービスを開始します。

    service ntpd start
    
  4. 各データベース・サーバーに対して、手順1から3を繰り返します。

作業2: Sun Datacenter InfiniBand Switch 36スイッチでのNTPサーバー・アドレスの設定

次の手順では、Sun Datacenter InfiniBand Switch 36スイッチでNTPサーバー・アドレスを設定する方法について説明します。


注意:

InfiniBandスイッチのファイルは手動で編集しないでください。

  1. ilom-adminユーザーとしてログインします。

  2. 次のいずれかの方法を使用して、日付、タイムゾーン、ネットワーク・タイム・プロトコル(NTP)を設定します。

    • ILOMグラフィカル・インタフェースの「構成」ページを使用:

    • 次のコマンドを使用:

      set /SP/clock timezone=preferred_tz
      set /SP/clients/ntp/server/1 address=ntp_ip1
      set /SP/clients/ntp/server/2 address=ntp_ip2
      set /SP/clock usentpserver=enabled 
      

      前述のコマンドで、preferred_tzは優先されるタイムゾーン、ntp_ip1およびntp_ip2はNTPサーバーのIPアドレスです。両方のNTPサーバーを構成する必要はありませんが、少なくとも1つを構成する必要があります。

作業3: Ciscoイーサネット・スイッチでのNTPサーバー・アドレスの設定

次の手順では、Ciscoイーサネット・スイッチでNTPサーバーを設定する方法について説明します。

  1. ファームウェア・バージョンに基づいて、次のいずれかの方法を使用してスイッチにアクセスします。

    • バージョン12.2より前のファームウェア・バージョン: Telnetを使用してスイッチにアクセスし、管理パスワードを使用して管理者としてログインします。

    • バージョン12.2以降のファームウェア: SSHを使用してスイッチにアクセスし、管理パスワードを使用してadminユーザーとしてログインします。


      注意:

      SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。

  2. 次のコマンドを使用して、有効モードに変更します。パスワードを要求されたら、監理者のパスワードを使用します。

    Switch> enable
    
  3. 次のコマンドを使用して、現在の構成を確認します。

    Switch# show running-config
    
  4. 次のようなコマンドを使用して、現在のNTPサーバー構成を消去します。この例では、現在のIPアドレスは10.10.10.1および10.8.8.1です。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ntp server 10.10.10.1
    Switch(config)# no ntp server 10.8.8.1
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
    

    注意:

    変更対象の現在の各NTP IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。

  5. 最大2台のNTPサーバーを構成します。次に、例を示します。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# ntp server 10.7.7.1 prefer
    Switch(config)# ntp server 10.9.9.1
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
    
  6. 次のコマンドを実行して出力を確認し、変更を検証します。

    Switch# show running-config
    

    次に、コマンドの出力例を示します。

    Building configuration...
    ...
    ntp server 192.168.10.10 prefer
    ...
    
  7. 次のコマンドを使用して、構成を保存します。

    Switch# copy running-config startup-config
    Destination filename [startup-config]? 
    Building configuration...
    Compressed configuration from 14343 bytes to 3986 bytes[OK]
    
  8. 次のコマンドを使用して、セッションを終了します。

    Switch# exit
    

作業4: Exadata Storage ServerでのNTPサーバーの設定

次の手順では、Exadata Storage ServerでNTPサーバーを設定する方法について説明します。


注意:

この手順では、DNSも設定できます。

  1. rootユーザーとしてログインします。

  2. 「作業4: Exadata Storage ServerでのDNSサーバーの変更」の手順2から5を実行します。

  3. 次のコマンドを使用して、セル・サービスおよびocrvottargetdサービスを停止します。

    # cellcli -e alter cell shutdown services all
    # service ocrvottargetd stop
    

    注意:

    一部のリリースには、ocrvottargetdサービスは含まれません。

  4. ipconfユーティリティで次のコマンドを使用して、NTP設定を変更します。

    # /usr/local/bin/ipconf
    
  5. 次のコマンドを使用して、サーバーを再起動します。サーバーを再起動する必要はありません。

    # service ocrvottargetd start
    # cellcli -e alter cell startup services all
    
  6. 「作業4: Exadata Storage ServerでのDNSサーバーの変更」の手順9から11を実行します。

作業5: Oracle Exadata Database Machineの再起動

サーバーとスイッチを変更後、Oracle Exadata Database Machineを再起動します。

タイムゾーン設定の変更

この項では、初期構成およびデプロイメントの終了後にOracle Exadata Database Machineでタイムゾーンを変更する方法について説明します。タイムゾーン設定を変更する場合は、次のコンポーネントを変更する必要があります。

  • Exadata Storage Server

  • データベース・サーバー

  • Sun Datacenter InfiniBand Switch 36スイッチ

  • Ciscoスイッチ


注意:

Exadata Storage Serverでタイムゾーン設定を変更する前に、セル・サービスを停止する必要があります。タイムゾーン設定を変更する前に、Oracle Clusterwareサービスを停止する必要があります。

次の作業では、コンポーネントでタイムゾーン設定を変更する方法について説明します。

作業1: Exadata Storage Serverでのタイムゾーン設定の変更

次の手順では、Exadata Storage Serverでタイムゾーン設定を変更する方法について説明します。すべてのストレージ・サーバーに対する設定変更を完了してから、データベース・サーバーの設定を変更してください。

  1. ストレージ・サーバーにrootユーザーとしてログインします。

  2. 次のコマンドを使用して、セルのプロセスを停止します。

    # cellcli -e alter cell shutdown services all
    
  3. 次のコマンドを使用して、ipconfスクリプトを実行します。

    # /opt/oracle.cellos/ipconf
    
  4. タイムゾーン・プロンプトが表示されるまで、スクリプト・プロンプトに従います。その他の設定は変更しないでください。次に、タイムゾーンを南極大陸から米国に変更する場合のタイムゾーン・プロンプトの例を示します。米国の番号は230です。

    The current timezone: Antarctica/McMurdo
    Do you want to change it (y/n) [n]: y
     
    Setting up local time...
     
    1) Andorra
    2) United Arab Emirates
    3) Afghanistan
    .
    .
    .
    15) Aruba
    16) Aaland Islands
    Select country by number, [n]ext, [l]ast: 230
    
    Selected country: United States (US). Now choose a zone
     
    1) America/New_York
    2) America/Detroit
    3) America/Kentucky/Louisville
    .
    .
    .
    15) America/North_Dakota/New_Salem
    16) America/Denver
    Select zone by number, [n]ext: 1
    
    Selected timezone: America/New_York
    Is this correct (y/n) [y]:
    
  5. 残りのスクリプト・プロンプトに従いますが、他の値は変更しないでください。

  6. 次のファイルでタイムゾーンの変更を確認します。これらのファイルの変更を例を示します。

    • /opt/oracle.cellos/cell.confファイル

      $VAR1 = {
                'Hostname' => 'xdserver.us.example.com',
                'Ntp servers' => [
                                   '10.141.138.1'
                                 ],
                'Timezone' => 'America/New_York',
      
    • /etc/sysconfig/clockファイル

      ZONE="America/New_York"
      UTC=false
      ARC=false
      #ZONE="Antarctica/McMurdo"
      #ZONE="America/New_York"
      #ZONE="America/Los_Angeles"
      

      コメント化されていない値(先頭に#が付いていない値)が現在の設定です。

    • /etc/localtime command

      strings /etc/localtimeコマンドを実行して変更を検証します。最後の行がタイムゾーンを示しています。

      ~^Ip
      EST5EDT,M3.2.0,M11.1.0
      
  7. サーバーを再起動します。

  8. dateコマンドを使用して、現在のタイムゾーンを表示します。次に、コマンドの出力例を示します。

    # date
    Tue Jan 29 17:37:01 EDT 2013
    
  9. $ADR_BASE/diag/asm/cell/host_name/alert.logファイルを確認します。プロセスが再起動された時刻が現在の正しい時刻と一致する必要があります。

作業2: データベース・サーバーでのタイムゾーン設定の変更

次の手順では、データベース・サーバーでタイムゾーン設定を変更する方法について説明します。

  1. データベース・サーバーにrootユーザーとしてログインします。

  2. 次のコマンドを使用して、Oracle Clusterwareサービスを停止します。

    # GI/bin/crsctl stop crs
    
  3. 次のコマンドを使用して、Exadata Storage Serverのいずれかから/etc/sysconfig/clockファイルをコピーします。

    # scp root@storage_cell:/etc/sysconfig/clock /etc/sysconfig/clock
    
  4. 次のコマンドを使用して、サーバーの再起動後にCRSが起動されないようにOracle Clusterware設定を変更します。

    # GI/bin/crsctl disable crs
    
  5. データベース・サーバーを再起動します。

  6. dateコマンドを使用して、タイムゾーンの変更を検証します。

  7. 次のコマンドを使用して、サーバーの再起動後に起動されるようにOracle Clusterware設定を変更します。

    # GI/bin/crsctl enable crs
    
  8. 次のコマンドを使用して、サーバーでCRSを起動します。

    # GI/bin/crsctl start crs
    

作業3: Sun Datacenter InfiniBand Switch 36スイッチでのタイムゾーン設定の変更

次の手順では、Sun Datacenter InfiniBand Switch 36スイッチでタイムゾーン設定を変更する方法について説明します。

  1. SSHを使用してrootユーザーとしてスイッチにログインします。

  2. nm2versionコマンドを使用して、スイッチ・ソフトウェアのバージョンをチェックします。次に、コマンドの出力例を示します。

    # version
    SUN DCS 36p version: 1.3.3-2
    Build time: Apr  4 2011 11:15:19
    SP board info:
    Manufacturing Date: 2013.02.19
    Serial Number: "ABCDE1234"
    Hardware Revision: 0x0007
    Firmware Revision: 0x0000
    BIOS version: SUN0R100
    BIOS date: 06/22/2010
    
  3. ソフトウェアのバージョンに応じて、次のようにスイッチを管理します。

    • ソフトウェアのバージョンが1.1.3-2以上である場合は、次のようにILOMを使用してスイッチを管理します。

      1. Webアドレスhttp://switch_aliasを使用して、ILOMにログインします。

      2. 「構成」タブを選択します。

      3. クロック・タブを選択します。

      4. NTPを使用して時刻を同期フィールドが有効になっていることを確認します。

      5. サーバーの正しいIPアドレスを入力します。

      6. 「Save」をクリックします。

    • ソフトウェアのバージョンが1.1.3-2より前である場合は、次のようにSSHを使用してスイッチにログインします。

      1. 次のコマンドを使用して、スイッチにログインします。

        #ssh -l root {switch_ip | switch_name}
        
      2. 次のコマンドを使用して、ntpdデーモンを停止します。

        # service ntpd stop
        
      3. 次のコマンドを使用して、/etc/localtimeファイルのコピーを保存します。

        # cp /etc/localtime /etc/localtime.backup
        
      4. /usr/share/zoneinfoディレクトリでタイムゾーンのファイルを特定します。次に、米国の例を示します。

        #cd /usr/share/zoneinfo/US
        #ls 
        Alaska  Aleutian  Arizona  Central  Eastern  East-Indiana  Hawaii 
        Indiana-Starke  Michigan  Mountain  Pacific  Samoa
        
      5. 該当するファイルを/etc/localtimeディレクトリにコピーします。このコマンドの例を次に示します。

        # cp /usr/share/zoneinfo/US/Eastern /etc/localtime
        
      6. 現在の日時として現在の時刻に近い値を手動で設定します。

      7. dateコマンドでMMddHHmmCCyy形式(月、日、時間、分、世紀、年)を指定して、新しいタイムゾーン用に時刻をNTPサーバーと同期します。このコマンドの例を次に示します。

        # date 013110452013
        # ntpd -q -g
        
      8. 次のコマンドを使用して、日付を検証します。

        # date
        
      9. 次のコマンドを使用して、nptdデーモンを再起動します。

        # service ntpd start
        

作業4: Ciscoスイッチでのタイムゾーン設定の変更

次の手順では、Ciscoスイッチでタイムゾーン設定を変更する方法について説明します。

  1. Telnetを使用してrootユーザーとしてCiscoスイッチに接続します。

  2. enableコマンドを使用して、特権モードを開始します。

  3. configure terminalコマンドを使用して、構成を開始します。

  4. 次のコマンドを使用して、クロックを設定します。

    clock timezone zone hours_offset [minutes_offset]
    

    前述のコマンドのzoneは標準時が有効の場合に表示するタイムゾーンの名前、hours_offsetはUTCからの時間オフセット、minutes_offsetはUTCからの分オフセットです。デフォルトのタイムゾーンはUTCです。

    サマータイム(Daylight Savings Time)を設定するには、次のコマンドを使用します。

    clock summer-time zone recurring [week day month hh:mm week day month   \
          hh:mm [offset]]
    

    前述のコマンドのweekは月単位の週(1から5の数値)、dayは曜日(Sunday、Mondayなど)、monthは月(January、Juneなど)、hh:mmは24時間形式の時間、offsetはサマータイム中に追加される分数です。hh:mmのデフォルト値は60です。サマータイムはデフォルトでは無効になっています。

    次に、タイムゾーンをアメリカ東部に設定し、サマータイムを有効にする場合の例を示します。

    $ telnet dmcisco-ip
    Connected to switch name
    Escape character is '^]'.
    
    User Access Verification
    
    Password: 
    dmcisco-ip>enable
    Password: 
    dmcisco-ip#configure terminal
    Enter configuration commands, one per line.  End with CNTL/Z.
    dmcisco-ip(config)#clock timezone EST -5
    dmcisco-ip(config)#clock summer-time EDT recurring
    dmcisco-ip(config)#end
    dmcisco-ip#write memory
    Building configuration...
    Compressed configuration from 6421 bytes to 2041 bytes[OK]
    dmcisco-ip#show clock
    12:03:43.516 EDT Wed May 12 2012
    dmcisco-ip#
    

KVMスイッチの構成

次の手順は、KVM(キーボード、ビデオ、マウス)スイッチの構成方法を示しています。接続されているすべてのコンポーネントの電源を切断して、スイッチを構成します。


注意:

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  1. ラックの前面からKVMトレイを引き出して、ハンドルを使用して開きます。

  2. タッチ・パッドに触れます。

  3. マウスのダブルクリックと同じように左側の[Ctrl]キーを2回押して、ホストとKVMインタフェースを切り替えます。

  4. ユーザー・インタフェースのユニット・ビューから「ターゲット・デバイス」を選択します。Oracle Exadata Database Machineフル・ラックに22、Oracle Exadata Database Machineハーフ・ラックに11、Oracle Exadata Database Machineクオータ・ラックに5のセッション数が表示されます。セッション数は、Oracle Exadata Storage Expansionフル・ラックは18、Oracle Exadata Storage拡張ハーフ・ラックは9、Oracle Exadata Storage拡張クオータ・ラックは4にする必要があります。


    注意:

    すべてのセッションが表示されない場合、ポート・ヘッダーからIQアダプタを選択します。表ヘッダー、「ポート」の順にクリックして、ポート番号でセッションをソートします。欠落している項目をメモします。ラックの下部から上部にセッションの番号が順番に付けられます。

  5. ターゲット・デバイス画面に戻ります。

  6. ユーザー・アカウントから「ローカル」を選択します。

  7. ユーザーの下の「管理」をクリックします。

  8. 管理アカウントのパスワードを設定します。他のパラメータを変更しないでください。

  9. 「Save」をクリックします。

  10. アプライアンス設定から「ネットワーク」を選択します。「ネットワーク情報」画面が表示されます。

  11. IPv4またはIPv6を選択します。

  12. DNSサーバーのアドレス、サブネット、ゲートウェイおよびIPアドレスの値を入力します。

  13. 「Save」をクリックします。

  14. KVM LAN1イーサネット・ポートを管理ネットワークに接続します。

  15. ネットワーク情報画面のMACアドレスを確認して、ポートが正しく構成されていることを確認します。アドレスは、KVMスイッチの背面のLAN1/LAN2ポートの横のラベルと一致する必要があります。

  16. アプライアンスから「概要」を選択します。

  17. KVMスイッチの名前を入力します。

  18. 「Save」をクリックします。

  19. 「概要」の下の「再起動」を選択して、KVMスイッチを再起動します。

  20. アプライアンス設定の「バージョン」を選択して、ファームウェア・バージョンのスイッチを確認します。次のようにアプリケーションとブートに2つのバージョン番号が表示されます。

    Required version is:
    Application 1.2.10.15038
    Boot  1.6.15020
    

    注意:

    推奨されているファームウェア・バージョンは、1.2.8以上です。

    ファームウェアが1.2.3以下の場合、ネットワーク・ブラウザからアップグレードできます。バージョン1.2.3以上の場合、KVM USBポートに接続されたフラッシュ・ドライブを使用してローカルのキーボードからアップグレードできます。ファームウェアをアップグレードするには、次の手順を実行します。

    1. アプライアンスから「概要」を選択します。

    2. 「ツール」リストから「ファームウェアのアップグレード」を選択します。

    3. アップグレード方法を選択します。

    4. 「アップグレード」をクリックします。

    5. ファームウェア・バージョンを確認します。

    ファームウェアは次のWebサイトから入手できます。

    http://www.avocent.com/Pages/GenericTwoColumn.aspx?id=12541


サーバーにアクセスするKVMスイッチの構成

次の手順は、サーバーにアクセスするKVMスイッチの構成方法を示しています。


注意:

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  1. ユニット・ビューから「ターゲット・デバイス」を選択します。

  2. サーバーの電源を投入します。前面パネルに電源ボタンがあります。ボタンが固定されている場合は、小さな工具を使用して緩めます。

  3. マウスの左ボタンを使用して、「名前」列のシステム名をクリックします。

  4. 「概要」をクリックし、顧客の接頭辞、ノード・タイプおよび番号のOracle標準命名形式で名前を上書きします。たとえば、trnacel03は接頭辞がtrnaで、次にラック下部のストレージ・セル3を表す名前が続き、trnadb02は接頭辞がtrnaで、ラック下部のデータベース・サーバー2を表す名前が続きます。

  5. 「保存」を押します。

  6. ラックの各サーバーに手順2から5を繰り返します。各サーバーをBIOSで起動して、デフォルトの工場出荷時のIP構成でオペレーティング・システムを起動します。

KVMスイッチを使用したサーバーのアクセス

次の手順は、KVMスイッチを使用してサーバーへアクセスする方法を示しています。


注意:

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  1. ユニット・ビューから「ターゲット・デバイス」を選択します。

  2. マウスの左ボタンを使用して、「名前」列のシステム名をクリックします。

  3. KVMセッションをクリックします。