4 その他のOracle Exadataコンポーネントの保守

データベース・サーバーとストレージ・サーバーに加えて、Oracle Exadataには、配電ユニット、ILOM、ネットワーク・スイッチなどが含まれています。

ノート:

  • この章のすべての手順は、Oracle ExadataおよびOracle Exadata Storage拡張ラックに適用されます。
  • 読みやすさを考慮して、Oracle ExadataOracle Exadata Storage拡張ラックの両方に言及する場合、「Oracle Exadataラック」という名前を使用します。

4.1 配電ユニットの交換

配電ユニット(PDU)は、Oracle Exadataラックがオンライン中に交換できます。PDU-Aは、ラックを背面から見て左側、PDU-Bは右側にあります。

4.1.1 PDU交換のガイドラインの確認

PDUの交換前に、次のガイドラインを確認して、安全な手順を実施し、可用性を損なわないようにしてください。

  • PDU-Aの取外しまたは挿入中に、RDMAネットワーク・ファブリックのケーブルのラッチを解除すると、ノードがクラスタから削除されるため、サービスが失われます。これにより、ラックが使用できなくなる場合があります。RDMAネットワーク・ファブリックのケーブルの取扱いには注意が必要です。通常、このケーブルはラッチで固定されています。RDMAネットワーク・ファブリックのケーブルは強い力で引張られないようにしてください。

  • 間違った電源フィードのフックを外すと、ラックが停止します。交換するPDUから伸びている電源ケーブルを電源までたどり、それらのフィードのみを抜いてください。

  • PDU交換部品の開封と再梱包は慌てずに行ってください。故障したユニットを同じように再梱包できるように、電源コードが梱包品の中でどのように巻かれているかに注意してください。

  • サイド・パネルを取り外しておくと、PDUの交換に必要な時間を短縮できます。ただし、PDUを交換する際にサイド・パネルを取り外す必要はありません。

  • コードレス・ドリルまたは電動ドライバを使用すると、PDUの交換に必要な時間を短縮できます。交換ラックに付属のハンド・レンチ・ツールを使用する場合は、交換に少し時間がかかります。ドライバを使用する場合は、Torx T30およびT25ビットを用意してください。

  • 電源ケーブルを移動するには、サーバーのケーブル・アームの取外しが必要になる場合があります。これが該当する場合、ケーブル・アームのクリップを外さなくても済むように、プラグ接続をねじり、ケーブル・アーム・コネクタを曲げます。ケーブル・アームのクリップを外す必要がある場合は、片方の手でケーブルを支えて電源コードを外し、ケーブル・アームをクリップで留めます。ケーブル・アームはつるしたままにしないでください。

  • T30ねじをL金具から外す場合は、PDUをラックから取り外すまで、PDUと金具を取り付けているT25ねじまたはナットを外さないでください。

4.1.2 PDUの交換

この手順では、配電ユニット(PDU)の交換方法について説明します。

  1. PDUの交換の理由にならない場合は、PDUモニターを使用して、次のようにネットワーク設定を識別します。
    1. カウント(5から0)が開始されるまで、リセット・ボタンを20秒押します。カウントダウン中にボタンを放し、再度押します。
    2. モニターが再起動したら、LCDに表示される設定やファームウェア・バージョンなどを記録します。

      ノート:

      PDUモニターが機能していない場合は、ネットワーク経由でPDUに接続してネットワーク設定を取得するか、ネットワーク管理者から取得します。
  2. すべてのPDUブレーカをオフにします。
  3. PDUの電源プラグをACコンセントから抜きます。

    ノート:

    • 電源コードが頭上の配線を使用している場合は、人に落ちたり当たったりしない場所に電源プラグを置きます。
    • 高くした床にラックがある場合は、床の切抜き部分から電源コードを出します。電源コードを出すには、ラックを切抜き部分の上に移動する必要が生じる場合があります。
  4. サイド・パネルにアクセスできず、ラックにInfiniBandケーブル・ハーネスがない場合は、PDU-Bの交換で次の手順を実行します。

    ノート:

    ケーブル・アームに取り付けられているケーブルのストラップを外さないでください。
    1. 四角のケーブル・アームをラックに留めているT25ねじを外します。
    2. RDMAネットワーク・ファブリックのケーブルを中央に移動して邪魔にならないようにします。
  5. サーバーおよびスイッチからPDUに接続されているすべての電源ケーブルを外します。電源ケーブルをグループの束にしてまとめておきます。
  6. L金具の上部と下部からT30ねじを外し、ねじの位置をノートにとっておきます。
  7. ラック・フレーム内のPDUの設置位置をノートにとっておきます。ブレーカ・スイッチを使用できるようにするために、通常はラック・フレームから後ろに1インチの位置にします。
  8. PDUを斜めにしてラックから取り出します。
  9. PDUを持ったまま(十分な空間がある場合は下ろし)、AC電源コードをラックに通します。ACコード・フラッシュをPDUの下部に固定するケーブル・タイを切断する必要が生じる場合があります。
  10. ラックの下部または上部(サーバー間の空間のある場所)にできるだけ近くなるようにコードを引き、コンセントのプラグを配線用の穴に通します。
  11. 小さい方のTorx T25ねじを外し、上部および下部のナットを緩めてPDUをL金具から取り外します。ナットは外す必要はありません。
  12. L金具を新しいPDUに取り付けます。
  13. 新しいPDUをラックの横に置きます。
  14. ACコードをラックに通してコンセントまで配線します。

    ノート:

    この時点では、ACコードを新しいPDUにケーブル・タイしないでください。
  15. L金具が上部および下部のレールの上に来るまで、確度と位置を調整して、新しいPDUをラック内に置きます。
  16. 穴とスロットの位置を整列し、PDUがラック・フレームの後ろ約1インチの位置になるようにします。
  17. コードのラベルに従って、電源コードを取り付けます。
    たとえば、G5-0は、PDUのPDUグループ5のコンセント0を示しています。
  18. ステップ4InfiniBandケーブルのホルダを取り外した場合は、取り付けます。

    ねじがすり減らないようにするには、ホルダのねじを手で締めることをお薦めします。

  19. AC電源コードをコンセントに接続します。
  20. ブレーカをオンにします。
  21. PDUモニターのケーブルを配線し、必要に応じてネットワークをプログラムします。

4.2 無反応になったILOMのリセット

Oracle Exadata System Softwareは、ILOMが応答しないことを検出すると、ILOMサービス・プロセッサを自動的にリセットします。

また、予防措置として、ILOMは90日ごとに自動的にリセットされます。次回の自動リセットを予測しやすくするために、ILOMを直接問い合せるかipmitoolを使用して、ILOMの稼働時間を取得できます。たとえば:

  • ILOMの使用:

    -> show /SP/clock uptime
    
    /SP/clock
    Properties:
    uptime = 54 days, 15:41:51
  • ipmitoolの使用:

    # ipmitool sunoem getval /SP/clock/uptime
    Target Value: 54 days, 15:41:51

ILOMサービス・プロセッサは、様々な方法を使用して手動でリセットすることもできます。

関連項目:

Oracle Integrated Lights Out Manager (ILOM)のドキュメント(http://www.oracle.com/goto/ilom/docs)

4.2.1 SSHを使用したILOMのリセット

次の手順では、SSHを使用してILOMに接続してリセットする方法について説明します。

  1. SSHを使用して、別のマシンからILOMに接続します。
  2. ILOMプロンプトで次のコマンドを入力します。
    reset /SP
    

4.2.2 ILOMリモート・コンソールを使用したILOMのリセット

SSHを使用してILOMに接続できない場合は、ILOMリモート・コンソールにログインします。次の手順では、リモート・コンソールを使用してILOMをリセットする方法について説明します。

  1. ILOMリモート・コンソールにログインします。
  2. 「メンテナンス」タブからSPのリセットを選択します。
  3. SPのリセットをクリックします。

4.2.3 IPMItoolを使用したILOMのリセット

SSHまたはリモート・コンソールを使用してILOMに接続できない場合は、ローカル・ホストまたはILOMネットワーク上の別のホストにログインして、IPMItoolを使用します。次の手順では、IPMItoolを使用してILOMをリセットする方法について説明します。

  1. ローカル・ホストまたはILOMネットワーク上の別のホストにログインします。
  2. 次のIPMItoolコマンドを実行します。
    • ローカル・ホストを使用する場合:

      $ ipmitool mc reset cold
      Sent cold reset command to MC
      
    • 別のホストを使用する場合:

      $ ipmitool -H ILOM_host_name -U ILOM_user mc reset cold
      Sent cold reset command to MC
      

      前述のコマンドのILOM_host_nameは使用中のホスト名、ILOM_userはILOMのユーザー名です。

4.2.4 Oracle Exadata Database Machine X2-2 ServerおよびExadata Storage ServerでのSPリセット・ピンを使用したILOMのリセット

SSH、リモート・コンソール、またはOracle Exadata Database Machine X2-2サーバーまたはExadata Storage ServerのIPMItoolを使用してILOMに接続できない場合は、SPリセット・ピンを押します。次の手順では、SPリセット・ピンを使用してILOMをリセットする方法について説明します。

  1. 非導電性の小さい棒を用意します。
  2. ラックの背面に移動します。
  3. SPリセット・ピンの開口部を特定します。SPリセット・ピンの開口部は、NET MGTポートの右側にある最初の開口部です。
  4. 開口部に棒を挿入し、ピンを押します。

4.2.5 Sun Fire X4800 Oracle Database ServerおよびSun Server X2-8 Oracle Database ServerからのSPの取り外し

SSH、リモート・コンソールまたはIPMItoolを使用して、Sun Fire X4800 Oracle Database ServerまたはSun Server X2-8 Oracle Database ServerでILOMをリセットできない場合は、サーバーからサービス・プロセッサ(SP)を取り外して、再度取り付けます。

オペレーティング・システム・レベルでメッセージが表示されます。これらのメッセージは無視できます。ファンの制御がないため、ファンの速度が上がります。

4.2.6 ILOM電源からプラグを抜く

前述のオプションを使用してILOMをリセットできない場合は、電源のプラグを抜いて、再度差し込みます。この操作により、サーバーおよびILOMの電源が入れ直されます。

4.3 サービス・プロセッサおよびILOMネットワーク設定の構成

次の手順では、サービス・プロセッサ(SP)およびILOMネットワーク設定を構成する方法について説明します。

  1. SSHを使用してrootユーザーとしてSPにログインします。
  2. versionコマンドを使用して、SP/ILOMファームウェア・リリースを確認します。次に、コマンドの出力例を示します。
    -> version
    SP firmware 3.2.4.10
    SP firmware build number: 93199
    SP firmware date: Sat Oct  4 18:42:56 EDT 2014
    SP filesystem version: 0.2.10
    

    ノート:

    ipmitoolを使用して、サーバーSPにログインします。この方法は、管理ネットワークからSP/ILOMにアクセスできない場合に便利です。次のコマンドを使用して、SPに接続します。

    # ipmitool sunoem cli
    Connected. Use ^D to exit.
    -> version
    SP firmware 3.2.4.10
    SP firmware build number: 93199
    SP firmware date: Sat Oct  4 18:42:56 EDT 2014
    SP filesystem version: 0.2.10
    
  3. 次のようにsetコマンドを使用して、DNSサーバーを構成します。
    cd /SP/clients/dns/  
        /SP/clients/dns
    show
         /SP/clients/dns
            Targets:
            Properties:
                auto_dns = enabled
                nameserver = 0.0.0.0
                retries = 1
                searchpath =
                timeout = 5
            Commands:
                cd
                set
                show
    set nameserver=192.68.0.2
    set searchpath=yourdomain.com
    
  4. 次のようにsetコマンドを使用して、NTPサーバーを構成します。
    cd /SP/clients/ntp/server/1/
    /SP/clients/ntp/server/1
    show
     /SP/clients/ntp/server/1
        Targets:
        Properties:
            address = 0.0.0.0
        Commands:
            cd
            set
            show
    set address=192.68.0.1

    ノート:

    2つのNTPサーバーを構成できます。最初のNTPサーバーをsetコマンドを使用して設定し、それから、もう1つのサーバーをパスSP/clients/ntp/server/2 to configureを使用して設定します。

  5. 次のようにsetコマンドを使用して、ネットワーク設定を構成します。
    cd /SP/network
       /SP/network
    show
       /SP/network
        Targets:
            interconnect
            ipv6
            test
        Properties:
            commitpending = (Cannot show property)
            dhcp_clientid = none
            dhcp_server_ip = none
            ipaddress = 0.0.0.0
            ipdiscovery = dhcp
            ipgateway = 0.0.0.0
            ipnetmask = 0.0.0.0
            managementport = MGMT
            pendingipaddress = 0.0.0.0
            pendingipdiscovery = dhcp
            pendingipgateway = 0.0.0.0
            pendingipnetmask = 0.0.0.0
            pendingmanagementport = MGMT
            pendingvlan_id = (none)
            state = enabled
            vlan_id = (none)
        Commands:
            cd
            set
            show
    
  6. ipaddress、ipdiscovery、ipgateway、ipnetmaskおよびvlan_idのそれぞれのpendingip*設定を構成し、次のコマンドを使用して保留中の設定をコミットします。
    set commitpending=true
    
  7. ネットワーク構成が完了した後、コマンド・ライン・インタフェースの接続を解除します。

    ノート:

    ipmitoolを使用している場合、^Dでセッションを終了します。

4.4 X7以降のシステム用クライアント・ネットワーク・ポートのリンク速度の検証および変更

Oracle Exadata X7以降のデータベース・サーバーのクライアント・ネットワークで10 GbE接続または25 GbE接続を構成できます。

ノート:

クライアント・ネットワーク・ポートは、システムのデプロイメント時に、Oracle Exadata Deployment Assistant (OEDA)を使用して構成する必要があります。Oracle Exadata Deployment Assistantの使用を参照してください。

次のステップは、OEDAデプロイメントが実行されていない場合や正しく実行されていない場合、クライアント・アクセス・ポートを構成するために必要になります。また、このステップでは、クライアント・ネットワークを10GbEから25GbEに、または25GbEから10GbEに変更できます。

  1. 次のコマンドを使用して、システム上のネットワーク・インタフェースをリストします:
    # ip link show
  2. 特定のネットワーク・インタフェースの詳細を表示するには、ethtoolコマンドを使用してネットワーク・インタフェースを指定します。

    たとえば:

    # ethtool ethx
  3. リンクが検出されていないネットワーク・インタフェース(ethxで指定)ごとに、次のコマンドを実行します:
    • 10GbEネットワーク・インタフェースの場合:
      # ifdown ethx
      # ethtool -s ethx 10000 duplex full autoneg off
      # ifup ethx
      # ethtool ethx

      10 Gb/sの場合は、SFP+トランシーバを使用する必要があります。SFP28トランシーバは10 Gb/sのトラフィックをサポートしません。

    • 25GbEネットワーク・インタフェースの場合:
      # ifdown ethx
      # ethtool -s ethx 25000 duplex full autoneg off
      # ifup ethx
      # ethtool ethx
  4. ethtoolコマンドからの出力で、検出されたリンクに対してyesが示されていることを確認します。
            Link detected: yes
  5. /etc/sysconfig/network-scripts(xはネットワーク・インタフェースに関連する数字です)内の適切なファイルを編集します。
    1. /etc/sysconfig/network-scripts/ifcfg-ethxファイルを検索します。次の行を追加します(その行がファイルに存在していない場合)。
      • 10 GbEネットワーク・インタフェースの場合:

        ONBOOT=YES
        ETHTOOL_OPTS="speed 10000 duplex full autoneg off"
      • 25 GbEネットワーク・インタフェースの場合:

        ONBOOT=YES
        ETHTOOL_OPTS="speed 25000 duplex full autoneg off"
    2. 関連付けられたifcfg-ethxファイル内のETHTOOL_OPTSが設定されておらず、10 GbEまたは25 GbEスイッチに接続されているすべてのネットワーク・インタフェースについても前のステップを繰り返します。

    これで、ネットワーク・インタフェースでは、リンクが検出されたものとして表示されます。これらの変更は永続的であり、サーバーの再起動後に再度行う必要がありません。

  6. 各計算ノードのILOMを確認して、マザーボードのLANが25 GbEトランシーバを検出するように適切に構成されていることを検証します。
    show /HOST/network
      /HOST/network
         Targets:
    
         Properties:
             active_media = none
             auto_media_detection = enabled
             current_active_media = (none)
    
         Commands:
             cd
             set
             show

    NICが機能していない場合は、active_mediaおよびcurrent_active_mediaを適切な値に変更します。

    • 25 GbEトランシーバ(ファイバ・ケーブルまたは銅ケーブル)の場合は、これらのパラメータをSPF28に設定する必要があります。
    • RJ-45で終端されたCAT6ケーブルを使用している10 GbEネットワークの場合は、これらのパラメータをRJ45に設定する必要があります。

4.5 ネットワーク・ポートでのリンク速度の確認

Oracle Exadata Database Machine X7-2計算ノードに対して正しいリンク速度を使用していることを確認してください。

Oracle Exadata Database Machine X7-2計算ノードでは、10GbEスイッチに接続している場合、問題が発生する可能性があります。これらの問題には、検出されていないリンク、またはゲートウェイに接続できないリンクが含まれます。

クライアント・ネットワーク・ポートでの10GbEネットワーク速度構成の解決

  1. rootユーザーとしてログインします。
  2. catコマンドを使用して、/proc/net/bonding/bondeth0ファイルを確認します。
  3. リンクが検出されていない10GbEネットワーク・インタフェース(xで指定)ごとに、次のコマンドを実行します。
    # ifdown ethx
    # ethtool -s ethx 10000 duplex full autoneg off
    # ifup ethx
    # ethtool ethx
  4. ethtoolコマンドからの出力で、検出されたリンクに対してyesが示されていることを確認します。
            Link detected: yes
  5. /etc/sysconfig/network-scripts(xはネットワーク・インタフェースに関連する数字です)内の適切なファイルを編集します。
    1. /etc/sysconfig/network-scripts/ifcfg-ethxファイルを検索します。次の行がファイルにまだ存在していない場合は、追加します。
      ETHTOOL_OPTS="speed 10000 duplex full autoneg off"
    2. 関連付けられたifcfg-ethxファイル内のETHTOOL_OPTSが設定されておらず、10GbEスイッチに接続されているすべてのネットワーク・インタフェースについても前のステップを繰り返します。

    これで、ネットワーク・インタフェースでは、リンクが検出されたものとして表示されます。これらの変更は永続的であり、サーバーの再起動後に再度行う必要がありません。

4.6 1GbE接続から10GbE接続への変更

1GbEネットワーク接続は、10GbE接続に変更できます。

この手順は、Oracle ExadataのモデルX6以前に適用されます。

接続を変更するときは、次の点に注意してください。

  • Oracle Exadata X2-8に接続された10 GbEインタフェースの単一障害点を避けるために、NEM0 NET1およびNEM1 NET0などの2枚のカードのNetwork Express Module(NEM)で異なるポートを使用します。

  • 10GbEインタフェースは、Sun Fire X4170 M2 Oracle Database Serverではeth4およびeth5として、Sun Fire X4800 Oracle Database Serverではeth8からeth15として識別されます。Oracle Exadata X2-8では、次を使用することをお薦めします:

    • インタフェースeth9およびeth15を使用したBONDETH0
    • 10GbE NEM0(左)/NET1
    • 10GbE NEM1(右)/NET3
  • この手順の実行中に、Oracle Clusterwareがシャットダウンし、データベース・サーバーが再起動されます。

4.6.1 タスク1: ping機能の検証

次のコマンドを使用して、変更する前にpingコマンドの機能を検証します。変更前にpingコマンドを検証すると、インタフェース変更後の結果がどのようになるかがわかります。同様のコマンドを使用して、Oracle Exadata Database Machineに接続する他のサーバーをチェックできます。

# grep "^nameserver" /etc/resolv.conf
nameserver ip_address_1
nameserver ip_address_2

# ping -c 2 ip_address_1
PING ip_address_1 (ip_address_1) 56(84) bytes of data.
64 bytes from ip_address_1: icmp_seq=1 ttl=57 time=1.12 ms
64 bytes from ip_address_1: icmp_seq=2 ttl=57 time=1.05 ms
 
--- ip_address_1 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms

テストに失敗すると100%パケット損失と表示され、これと同じ検証を「タスク4: 10GbEインタフェースの検証」で実行したときにも、同じ結果になることが想定されます。テストが成功すると0%パケット損失と表示され、10GbE接続を変更後、同様の結果が表示されます。

4.6.2 タスク2: 現在のインタフェース・ファイルのバックアップ

次の手順は、現在のインタフェース・ファイルのバックアップ方法を示しています。

  1. rootユーザーとしてログインします。
  2. 次のように、/etc/sysconfig/network-scriptsディレクトリに現在のファイルと新しい10GbEファイル用の非表示ディレクトリを作成します。
    # cd /etc/sysconfig/network-scripts
    # mkdir .Pre_10GigE_Settings
    # mkdir .Post_10GigE_Settings
    

    ノート:

    Linuxのスタートアップ・スクリプトによりifcfgで始まるファイルが検索され、ifcfgで始まるファイルがネットワーク設定に使用されます。バックアップ・ファイルを非表示ディレクトリに置くと、ネットワーク・インタフェースの設定に使用されないようにできます。

  3. 次のコマンドを使用して、接続された10GbEインタフェースを識別します。各10GbEインタフェースに対して、このコマンドを実行します。
    # ethtool interface
    

    前述のコマンドのinterfaceは、10GbEインタフェースです。Sun Fire X4170 M2 Oracle Database Serverのインタフェースはeth4およびeth5、Sun Fire X4800 Oracle Database Serverのインタフェースはeth8からeth15です。

    次に、コマンドの出力例を示します。速度は10000Mb/s、リンク検出はありで、二重化はフルです。

    # ethtool eth9
    Settings for eth9:
            Supported ports: [ FIBRE ]
            Supported link modes:  1000baseT/Full 
                                   10000baseT/Full 
            Supports auto-negotiation: No
            Advertised link modes:  1000baseT/Full 
                                    10000baseT/Full 
            Advertised auto-negotiation: No
            Speed: 10000Mb/s
            Duplex: Full
            Port: FIBRE
            PHYAD: 0
            Transceiver: external
            Auto-negotiation: on
            Supports Wake-on: umbg
            Wake-on: umbg
            Current message level: 0x00000007 (7)
            Link detected: yes
    
  4. 次のコマンドを使用して現行の結合インタフェースを検証します。コマンドからの出力例も示しています。
    # grep -i bondeth0 ifcfg-eth*
    
    ifcfg-eth1:MASTER=bondeth0
    ifcfg-eth2:MASTER=bondeth0
    
  5. 次のようなコマンドを使用して、1GbEインタフェース・ファイルを.Pre_10GigE_Settingsディレクトリにコピーします。
    # cp -p ifcfg-eth1 ifcfg-eth2 ./.Pre_10GigE_Settings/.
    
  6. 次のようなコマンドを使用して、10GbEインタフェース・ファイルを.Pre_10GigE_Settingsディレクトリにコピーします。
    # cp -p ifcfg-eth9 ifcfg-eth15 ./.Pre_10GigE_Settings/.
    
  7. 次のようなコマンドを使用して、ファイルを.Pre_10GigE_Settingsディレクトリから.Post_10GigE_Settingsディレクトリにコピーします。
    # cp -p ./.Pre_10GigE_Settings/* ./.Post_10GigE_Settings/.

4.6.3 タスク3: 10GbEインタフェース設定の編集

次の手順は、ifcfg構成ファイルの編集方法を示しています。

  1. 次の表に示すように、ifcfg構成ファイルを編集します。ファイルは./Post_10GigE_Settings/.ディレクトリで編集する必要があります。
    ファイル名 変更前 変更後

    ifcfg-eth1

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth1
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:5e
    MASTER=bondeth0
    SLAVE=yes
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth1
    USERCTL=no
    ONBOOT=no 
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:5e

    ifcfg-eth2

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth2
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:f2
    MASTER=bondeth0
    SLAVE=yes
    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth2
    USERCTL=no
    ONBOOT=no 
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:21:28:44:d2:f2

    Oracle Exadata Database Machine X2-2のifcfg-eth4

    Oracle Exadata Database Machine X2-8フル・ラックのifcfg-eth9

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface
    ONBOOT=no
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:1b:21:66:4b:c0

    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth4で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth9です。

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:1b:21:66:4b:c0
    MASTER=bondeth0
    SLAVE=yes

    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth4で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth9です。

    Oracle Exadata Database Machine X2-2のifcfg-eth5

    Oracle Exadata Database Machine X2-8フル・ラックのifcfg-eth15

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface2
    ONBOOT=no 
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    HWADDR=00:1b:21:66:4b:c1

    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth5で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth15です。

    #### DO NOT REMOVE THESE LINES ####
    #### %GENERATED BY CELL% ####
    DEVICE=eth_interface2
    USERCTL=no
    ONBOOT=yes
    BOOTPROTO=none
    HOTPLUG=no
    IPV6INIT=no
    MASTER=bondeth0
    SLAVE=yes
    HWADDR=00:1b:21:66:4b:c1

    前述の構文では、eth_interfaceは、Oracle Exadata Database Machine X2-2の場合はeth5で、Oracle Exadata Database Machine X2-8フル・ラックの場合はeth15です。

  2. 次のコマンドを使用して、編集済ファイルを/etc/sysconfig/network-scriptsディレクトリにコピーします。
    # cp -fp /etc/sysconfig/network-scripts/.Post_10GigE_Settings/ifcfg-eth* \
      /etc/sysconfig/network-scripts/.
    
  3. コンソールを使用して、データベース・サーバーを再起動します。
  4. 起動シーケンスを監視し、bondeth0初期化中にエラーが発生しなかったことを確認します。

4.6.4 タスク4: 10GbEインタフェースの検証

次の手順は、10GbEインタフェースの検証方法を示しています。

  1. rootユーザーとしてログインします。
  2. catコマンドを使用して、/proc/net/bonding/bondeth0ファイルを確認します。次に、コマンドとコマンドの出力例を示します。
    # cat /proc/net/bonding/bondeth0
    
    Ethernet Channel Bonding Driver: v3.4.0 (October 7, 2008)
     
    Bonding Mode: fault-tolerance (active-backup)
    Primary Slave: None
    Currently Active Slave: eth9
    MII Status: up
    MII Polling Interval (ms): 100
    Up Delay (ms): 5000
    Down Delay (ms): 5000
     
    Slave Interface: eth9
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:1b:21:66:4b:c0
     
    Slave Interface: eth15
    MII Status: up
    Link Failure Count: 0
    Permanent HW addr: 00:1b:21:66:4b:c1
    

    出力結果で、スレーブ・インタフェースが正しく、スレーブ・インタフェースのMIIステータスがアップであることを確認します。

  3. netstat -nrコマンドを使用して、ルーティング表をチェックします。ルーティング表は変更できません。このコマンドと出力例を次に示します。
    # netstat -nr
    
    Kernel IP routing table
    Destination   Gateway      Genmask         Flags   MSS Window  irtt Iface
    scan_subnet 0.0.0.0        255.255.255.0   U         0 0          0 bondeth0
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib0
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib1
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib2
    192.168.80.0  0.0.0.0      255.255.254.0   U         0 0          0 bondib3
    mgmt_subnet 0.0.0.0        255.255.254.0   U         0 0          0 eth0
    0.0.0.0       scan_gw      0.0.0.0         UG        0 0          0 bondeth0
    
  4. 次のコマンドを使用して、デフォルト・ゲートウェイをチェックします。ゲートウェイはSCANネットワーク・ゲートウェイで、10GbEインタフェースでbondeth0を使用します。
    # grep GATEWAY /etc/sysconfig/network
    GATEWAY=gw_address
    GATEWAYDEV=bondeth0 
    
    # ping -c 2 gw_address
    PING gw_address (gw_address) 56(84) bytes of data.
    64 bytes from gw_address: icmp_seq=1 ttl=57 time=1.12 ms
    64 bytes from gw_address: icmp_seq=2 ttl=57 time=1.05 ms
    
    --- gw_address ping statistics ---
    2 packets transmitted, 2 received, 0% packet loss, time 1002ms
    rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms
    

    前述のコマンドと出力で、gw_addressはデフォルト・ゲートウェイのIPアドレスです。

  5. 「タスク1: ping機能の検証」でネーム・サーバーがpingコマンドに応答していた場合は、次のコマンドを使用してネーム・サーバーをチェックします。同様のコマンドを使用して、Oracle Exadata Database Machineに接続する他のサーバーをチェックできます。
    # grep "^nameserver" /etc/resolv.conf
    nameserver ip_address_1
    nameserver ip_address_2
    
    # ping -c 2 ip_address_1
    PING ip_address_1 (ip_address_1) 56(84) bytes of data.
    64 bytes from ip_address_1: icmp_seq=1 ttl=57 time=1.12 ms
    64 bytes from ip_address_1: icmp_seq=2 ttl=57 time=1.05 ms
     
    --- ip_address_1 ping statistics ---
    2 packets transmitted, 2 received, 0% packet loss, time 1002ms
    rtt min/avg/max/mdev = 1.054/1.087/1.120/0.033 ms
    

4.7 RoCEネットワーク・ファブリックの保守

RoCEネットワーク・ファブリックは、結合されたインタフェースを介してデータベース・サーバーおよびExadata Storage Serverをラック内のRoCEネットワーク・ファブリック・スイッチに接続します。

4.7.1 Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチの設定のバックアップ

次の手順では、Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチの設定をバックアップする方法について説明します。スイッチを最初に構成した後と、構成を変更するたびにバックアップすることをお薦めします。

  1. SSHを使用してスイッチにアクセスし、adminユーザーとパスワードでログインします。
  2. 現在の構成を確認します。
    switch# show running-config
  3. 現在の構成をファイルにコピーします。

    現在の構成をデータベース・サーバーまたはストレージ・サーバーのファイルにコピーする際は、次の形式を使用します。

    
    switch# copy running-config tftp://hostname/directory_name/switch_name-start-config.back

    RoCEネットワーク・ファブリック・スイッチの任意のサポートされているトランスポート・スキーム(tftpftpscpまたはsftp)を使用できます。hostnameはリモート・サーバーのアドレスまたは名前で、directory_nameはリモート・サーバー上のファイルが格納されているディレクトリのパスです。hostnamedirectory_nameおよびファイル名では、大/小文字が区別されます。

  4. セッションを終了します。
    switch# exit

4.7.2 Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用

ゴールデン構成設定は、通常、初回のデプロイメント時にRoCEネットワーク・ファブリック・スイッチに適用されます。

注意:

  • RoCEネットワーク・ファブリックの構成ミスによってシステムが停止する可能性があるため、この手順を実行するときは注意してください。

  • ゴールデン構成設定は、RoCEネットワーク・ファブリックのアクティブなスイッチに適用しないでください。ゴールデン構成設定をアクティブなスイッチに適用すると、RoCEネットワーク・ファブリックが中断し、システムが停止する場合があります。

Oracle Exadata System Softwareリリース20.1.0以降では、次の手順を使用して、RoCEネットワーク・ファブリック・スイッチにゴールデン構成設定を適用できます。以前のリリースの場合は、Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチでの設定のリストアを参照してください。

次の手順では、Exadataのシングル・ラックまたはマルチラック構成の1つ以上のスイッチに、最新のゴールデン構成設定を適用します。スイッチの構成ファイルにアクセスするためのスイッチへのSSHアクセスを持つ1つのサーバーとともに、スイッチの電源を投入する必要があります。

  1. 各スイッチの現在のスイッチ構成のバックアップがあることを確認します。
  2. スイッチへのSSHアクセスがあり、最新のRDMAネットワーク・ファブリックのパッチZIPファイルが含まれているサーバーにログインします。

    使用可能なRDMAネットワーク・ファブリック・パッチを検索するには、My Oracle Supportドキュメント888828.1でRDMAネットワーク・スイッチを検索します。Oracle Exadata System Softwareリリースの最新パッチをダウンロードして使用します。

  3. RDMAネットワーク・ファブリックのパッチZIPファイルを解凍し、ディレクトリをpatchmgrユーティリティの場所に変更します。
  4. RoCEネットワーク・ファブリック・スイッチの構成を駆動するためのスイッチのリスト・ファイルを作成します。
    1. 構成するスイッチのホスト名またはIPアドレスを含むファイルを作成します。スイッチは1行に1つずつ入力してください。
      たとえば、1行に1つのスイッチのホスト名が記載されるswitches.lstという名前のファイルを作成します。リーフ・スイッチが2つのみのシングル・ラック・システムでは、ファイルに次のようなスイッチ・ホスト名エントリが含まれる可能性があります:
      rack1sw-rocea0
      rack1sw-roceb0
    2. 各行にタグを付けて、各スイッチの構成タイプを指定します。

      各スイッチの構成タイプを指定するには、スイッチのリスト・ファイルで各スイッチのホスト名またはIPアドレスにコロン(:)とタグを付けます。次のタグがサポートされます。

      • leaf - シングル・ラック・システムのリーフ・スイッチを示します。タグが指定されていない場合、この構成タイプであると見なされます。
      • mspine - スパイン・スイッチを示します。1つのスパイン・スイッチ構成では、Exadata Secure RDMA Fabric Isolationがある場合とない場合の、シングル・ラック・システムとマルチラック・システムのすべてのスパイン・スイッチがサポートされます。
      • mleaf - マルチラックX8Mシステムのリーフ・スイッチを示します。
      • sfleaf - Exadata Secure RDMA Fabric Isolationのサポートが有効なシングル・ラック・システムのリーフ・スイッチを示します。
      • msfleaf - Exadata Secure RDMA Fabric Isolationのサポートが有効なマルチラックX8Mシステムのリーフ・スイッチを示します。
      • leaf23 - 23個のホスト・ポートを持つように構成されたシングル・ラック・システムのリーフ・スイッチを示します。この構成は、3つのデータベース・サーバーと11個のストレージ・サーバーを持つ8ソケット・システム(X8M-8以降)にのみ必要です。
      • mleaf23 - 23個のホスト・ポートを持つように構成されたマルチラック・システムのリーフ・スイッチを示します。この構成は、3つのデータベース・サーバーと11個のストレージ・サーバーを持つ8ソケットX8M-8システムにのみ必要です。
      • mleaf_u14 - 14個のスイッチ間リンクで構成されたマルチラック・システムのリーフ・スイッチを示します。これはX9M以降のモデル・システムの一般的なマルチラック・リーフ・スイッチ構成です。
      • msfleaf_u14 - Exadata Secure RDMA Fabric Isolationのサポートが有効になっている、14個のスイッチ間リンクで構成されたマルチラック・システムのリーフ・スイッチを示します。この構成は、Secure Fabricが有効になっているX9M以降のモデル・システムに必要です。
      • mleaf23_u13 - 23個のホスト・ポートと13個のスイッチ間リンクで構成されたマルチラック・システムのリーフ・スイッチを示します。この構成は、3つのデータベース・サーバーと11個のストレージ・サーバーを持つ8ソケットX9M-8システムにのみ必要です。
      たとえば:
      rack1sw-rocea0:leaf
      rack1sw-roceb0:leaf
    3. マルチラック構成の場合のみ、各スイッチに一意のループバック・オクテットを指定します。

      ループバック・オクテットは、スイッチを一意に識別するスイッチ・ループバック・アドレスの最後のオクテットです。

      各スイッチのループバック・オクテットを指定するには、ピリオド(.)と数値のループバック・オクテット値をスイッチのリスト・ファイルの各エントリに追加します。

      注意:

      マルチラック構成のすべてのスイッチには、一意のループバック・オクテットが必要です。複数のスイッチが同じループバック・オクテットを使用すると、RoCEネットワーク・ファブリックは正しく機能しないため、システムが停止します。

      リーフ・スイッチの場合、最初のループバック・オクテット値として101から開始し、次のように増分します:

      • 101 - ラック1の下位リーフ・スイッチ(次の例ではrack1sw-rocea0)

      • 102 - ラック1の上位リーフ・スイッチ(次の例ではrack1sw-roceb0)

      • 103 - ラック2の下位リーフ・スイッチ(次の例ではrack2sw-rocea0)

      • 104 - ラック2の上位リーフ・スイッチ(次の例ではrack2sw-roceb0)

      • 105 - ラック3の下位リーフ・スイッチ

      • 106 - ラック3の上位リーフ・スイッチなど。

      スパイン・スイッチの場合、最初のループバック・オクテット値として201から開始し、次のように増分します:

      • 201 - ラック1のスパイン・スイッチ(次の例ではrack1sw-roces0)

      • 202 - ラック2のスパイン・スイッチ(次の例ではrack2sw-roces0)

      • 203 - ラック3のスパイン・スイッチ

      • 204 - ラック4のスパイン・スイッチなど。

      たとえば、2ラックExadata X9Mシステムのスイッチのリスト・ファイルの内容は、次のようになります:
      rack1sw-rocea0:mleaf_u14.101
      rack1sw-roceb0:mleaf_u14.102
      rack1sw-roces0:mspine.201
      rack2sw-rocea0:mleaf_u14.103
      rack2sw-roceb0:mleaf_u14.104
      rack2sw-roces0:mspine.202
      または、既存の4ラックExadata X9Mシステムに5つ目のラックを追加した場合、スイッチのリスト・ファイルの内容は、次のようになります:
      rack5sw-rocea0:mleaf_u14.109
      rack5sw-roceb0:mleaf_u14.110
      rack5sw-roces0:mspine.205
  5. patchmgrを使用して、スイッチのリスト・ファイルのRoCEネットワーク・ファブリック・スイッチに最新のゴールデン構成の設定を適用します。
    たとえば:
    # ./patchmgr --roceswitches switches.lst --apply-config –log_dir log-directory
  6. patchmgrを使用して、スイッチのリスト・ファイルのRoCEネットワーク・ファブリック・スイッチの構成を検証します。
    たとえば:
    # ./patchmgr --roceswitches switches.lst --verify-config –log_dir log-directory

4.7.3 Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチでの設定のリストア

Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチの設定をバックアップからリストアできます。

次の手順では、Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチの設定をバックアップからリストアする方法について説明します。この手順は、Oracle Exadata System Softwareリリース20.1.0より前のスイッチのゴールデン構成設定をリストアするために使用することもできます。

ノート:

Oracle Exadata System Softwareリリース20.1.0には、RoCEネットワーク・ファブリック・スイッチにゴールデン構成設定を適用するための簡単な拡張された手順が含まれています。「Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチへのゴールデン構成設定の適用」を参照してください。

  1. SSHを使用してスイッチにアクセスし、adminユーザーとパスワードでログインします。
  2. スイッチ上のリストアする構成の既存のバックアップ構成(またはゴールデン構成)ファイルを削除します。

    ゴールデン構成ファイルは次のとおりです。

    • シングル・ラックのリーフ(leaf): roce_leaf_switch.cfg
    • マルチラックのスパイン(mspine): roce_spine_switch_multi.cfg
    • マルチラックのリーフ(mleaf): roce_leaf_switch_multi.cfg
    • Secure Fabricサポート付きのシングル・ラックのリーフ(sfleaf): roce_sf_leaf_switch.cfg
    • Secure Fabricサポート付きのマルチラックのリーフ(msfleaf): roce_sf_leaf_switch_multi.cfg
    • 23個のホスト・ポートで構成されたシングル・ラックのリーフ(leaf23): roce_leaf_switch_23hosts.cfg
    • 23個のホスト・ポートで構成されたマルチラックのリーフ(mleaf23): roce_leaf_switch_23hosts_multi.cfg
    • 14個のスイッチ間リンクで構成されたマルチラックのリーフ(mleaf_u14): roce_leaf_switch_14uplinks_multi.cfg
    • 14個のスイッチ間リンクおよびSecure Fabricのサポートで構成されたマルチラックのリーフ(msfleaf_u14): roce_sf_leaf_switch_14uplinks_multi.cfg
    • 23個のホスト・ポートおよび13個のスイッチ間リンクで構成されたマルチラックのリーフ(mleaf23_u13): roce_leaf_switch_23hosts_13uplinks_multi.cfg

    ノート:

    置き換えるファイルを削除しない場合、ファイルを上書きしようとすると「権限が拒否されました」というエラーが発生します。

    たとえば:

    rack3sw-rocea0# delete bootflash:roce_leaf_switch.cfg
    Do you want to delete "/roce_leaf_switch.cfg" ? (yes/no/abort) [y] y
    rack3sw-rocea0# 
  3. バックアップ構成ファイル(またはゴールデン構成ファイル)をスイッチにコピーします。

    たとえば:

    [root@server_hostname ~]# scp roce_leaf_switch.cfg admin@100.104.10.21:/
    User Access Verification
    Password:
    roce_leaf_switch.cfg 100% 23KB 23.5KB/s 00:00

    ノート:

    RoCEネットワーク・ファブリック・スイッチの任意のサポートされているトランスポート・スキーム(tftpftpscpまたはsftp)を使用できます。

    (バックアップ構成ファイルをリストアするのではなく)ゴールデン構成ファイルをリストアする場合は、システム構成およびスイッチのタイプに基づいて、適切なゴールデン構成ファイルをリストアできます。このファイルは、patchmgrスイッチ・バンドル内のroce_switch_templates/ディレクトリにあります。

  4. バックアップ構成(またはゴールデン構成)ファイルを適用します。

    次のいずれかを選択します

    1. バックアップ構成ファイルをリストアする場合は、次のコマンドを使用してバックアップ構成を適用します。

      次の例では、リストアするバックアップ構成ファイルはrunning-config.bakです。バックアップ・ファイル名に合わせてコマンドを調整します。

      rack3sw-rocea0# copy bootflash:running-config.bak startup-config
      rack3sw-rocea0# reload
    2. ゴールデン構成ファイルを適用する場合は、次のコマンドを使用します。

      次の例では、適用するゴールデン構成ファイルはroce_leaf_switch.cfgです。適用するゴールデン構成ファイルに合わせてコマンドを調整します。

      rack3sw-rocea0# run-script bootflash:roce_leaf_switch.cfg | grep 'none'
      rack3sw-rocea0# copy running-config startup-config

      ノート:

      run-scriptコマンドは、シングル・ラックのスイッチでは最大1-2分、マルチラックのスイッチでは最大3-4分かかります。
  5. セッションを終了します。
    rack3sw-rocea0# exit

4.7.4 Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチでのAccess VLANの使用

switchport access vlan IDの設定を変更して、RoCEネットワーク・ファブリック全体にサーバー・レベルの分離を実装できます。

デフォルトでは、Oracle Exadataは、サーバーのre0インタフェースおよびre1インタフェース上のすべてのRoCEネットワーク・ファブリックのプライベート・ネットワーク・トラフィックにAccess VLAN ID 3888を使用します。

Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチ上のデフォルトのAccess VLAN ID設定を変更すると、対応するサーバーは、デフォルト設定を使用して他のデータベース・サーバーまたはストレージ・サーバーと通信できなくなります。有効なAccess VLAN IDの範囲は2744-3967です。

RoCEネットワーク・ファブリックに別のAccess VLANを実装するには、次の手順を使用します。

ノート:

停止が発生しないように、スイッチ構成の変更中にサーバーをシャットダウンすることをお薦めします。ラック内のサーバーのサブセットのAccess VLAN IDを変更する場合、スイッチを変更する前に、影響を受けるサーバーのみをシャットダウンする必要があります。
  1. 構成しているサーバーのre0インタフェースに接続されているRoCEネットワーク・ファブリック・スイッチのホスト名およびポートを特定します。
    [root@dbm01adm02 ~]# /opt/oracle.SupportTools/ibdiagtools/utils/lldp_cap.py re0 
    | egrep 'SWITCH_PORT:|SWITCH_NAME:'
    SWITCH_PORT: Ethernet1/21
    SWITCH_PORT_DESCRIPTION: adm02
  2. 前のステップで特定されたSWITCH_NAMEを使用して、下位リーフ・スイッチにログインします。
    # ssh admin@dbm01sw-rocea0
    User Access Verification
    Password: *******
    
  3. スイッチ・ポートの構成を確認します。

    インタフェースを指定するには、ステップ1で特定したSWITCH_PORTを使用します。

    dbm01sw-rocea0# show running-config interface ethernet 1/21
    !Running configuration last done at: Wed Nov 13 10:34:58 2019
    !Time: Wed Nov 13 14:55:48 2019
    
    version 7.0(3)I7(6) Bios:version 05.33 
    
    interface Ethernet1/21
      description adm02
      switchport access vlan 3888
      priority-flow-control mode on
      spanning-tree port type edge
      spanning-tree bpduguard enable
      mtu 2300
      speed 100000
      duplex full
      no negotiate auto
      service-policy type qos input QOS_MARKING no-stats  
  4. スイッチに新しいVLAN IDを作成します。

    この構成は、スイッチごとに1回だけ必要です。ただし、スイッチでVLAN構成を繰り返しても害はありません。

    たとえば、値3889の新しいVLAN IDを作成するには、次のようにします。

    dbm01sw-rocea0# configure terminal 
    Enter configuration commands, one per line. End with CNTL/Z.
    dbm01sw-rocea0(config)# vlan 3889
    dbm01sw-rocea0(config-vlan)# exit
    dbm01sw-rocea0(config)# exit
    dbm01sw-rocea0# 
  5. スイッチ・ポートの構成を変更して、switchport access vlan設定を変更します。

    前のステップと同じインタフェースを指定します。次に、古いVLAN ID (3888など)を削除し、新しいVLAN ID (3889など)を追加して、構成モードを終了します。

    dbm01sw-rocea0# configure terminal 
    Enter configuration commands, one per line. End with CNTL/Z.
    dbm01sw-rocea0(config)# interface ethernet 1/21
    dbm01sw-rocea0(config-if)# no switchport access vlan 3888
    dbm01sw-rocea0(config-if)# switchport access vlan 3889
    dbm01sw-rocea0(config-if)# exit
    dbm01sw-rocea0(config)# exit
    dbm01sw-rocea0# 
  6. スイッチ・インタフェースが新しいVLAN IDを使用していることを確認します。

    前のステップと同じインタフェースを指定します。

    dbm01sw-rocea0# show running-config interface ethernet 1/21
     
    !Command: show running-config interface Ethernet1/21
    !Running configuration last done at: Wed Nov 20 23:53:38 2019
    !Time: Wed Nov 20 23:53:45 2019
     
    version 7.0(3)I7(6) Bios:version 05.33 
     
    interface Ethernet1/21
      description adm02
      switchport access vlan 3889
      priority-flow-control mode on
      spanning-tree port type edge
      spanning-tree bpduguard enable
      mtu 2300
      speed 100000
      duplex full
      no negotiate auto
      service-policy type qos input QOS_MARKING no-stats
  7. 構成を保存します。
    dbm01sw-rocea0# copy running-config startup-config 
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  8. すべてのデータベース・サーバー(ベア・メタル・サーバーまたはKVMホスト)および新しいVLAN IDに変更するすべてのストレージ・サーバーについて、ステップ1から7を繰り返します。
  9. 上位リーフ・スイッチに接続されているre1インタフェースについて、ステップ1から8を繰り返します。

4.7.5 障害が発生したRoCEネットワーク・ファブリック・スイッチの交換

この手順は、障害が発生したRoCEネットワーク・ファブリック・スイッチを交換する方法について説明します。

この手順は、障害が発生したスイッチの構成のバックアップを保持しているかどうかによって異なります。

  1. 電源プラグを取り外して、スイッチの2つの電源を切断します。
  2. 各ケーブルにラベルが付いていることを確認し、各ケーブルをスイッチから取り外します。

    すべてのRoCEネットワーク・ファブリック・ケーブルの両端に、それらの場所を示すラベルが付いています。ラベルのないケーブルが存在する場合は、ケーブルを取り外す前にラベルを追加します。

    これらのラベルを使用して交換用スイッチをケーブルで接続します。

  3. ラックからスイッチを取り外します。
    1. ラックキャビネットの転倒防止バーを伸ばします。
    2. 静電気防止用リスト・ストラップを取り付けます。
    3. ラックからスイッチを取り外します。
  4. ラックに新しいスイッチを設置します。
    新しいスイッチをラックの正しい位置に設置した後、ラック内に保守する機器が他にない場合は、ラック・キャビネットの転倒防止バーを格納できます
  5. 電源プラグを差し込んで、スイッチの電源を接続します。
  6. 「Cisco Nexus 9336C-FX2 RoCEネットワーク・ファブリック・スイッチの設定のリストア」に示されているように、バックアップを使用してスイッチの設定をリストアします。
  7. ケーブルを新しいスイッチに接続します。
    各ケーブルのラベルを使用して、各ケーブルが新しいスイッチの正しいポートに接続されていることを確認します。
  8. RoCEネットワーク・ファブリック構成の検証のステップを完了します。

関連トピック

4.7.6 RoCEネットワーク・ファブリック構成の検証

この手順では、RoCEネットワーク・ファブリック構成の確認方法について説明します。

  1. 適切なoracle-rdma-releaseソフトウェアのバージョンがデータベース・サーバーで使用されていることを確認します。
    [root@dbm01adm08 ~]# rpm -qa |grep oracle-rdma-release
    oracle-rdma-release-0.11.0-1.el7ora.x86_64

    oracle-rdma-releaseソフトウェアとアダプタ・ファームウェアのバージョンは、Oracle Exadataストレージ・サーバーで自動的に保守されます。

  2. データベース・サーバーのアダプタ・ファームウェア・バージョンを確認します。

    RDMAネットワーク・ファブリック・アダプタのファームウェア・バージョンを確認するには、CheckHWnFWProfileスクリプトを使用します。

    # /opt/oracle.SupportTools/CheckHWnFWProfile -action list
  3. ラック内のすべてのRDMAネットワーク・ファブリックのケーブルの接続を目視確認します。
    ポート・ライトが点灯し、LEDの電源が投入されていることを確認します。各コネクタを押して接続を確認しないでください。
  4. My Oracle Support Doc ID 2587717.1に記載されているステップを完了します。

4.7.7 RoCEネットワーク・ファブリックの動作の検証

基礎となるハードウェアを変更した後にRoCEネットワーク・ファブリックが適切に動作しているかどうかを検証します。

RoCEネットワーク・ファブリックの任意のコンポーネントを使用してハードウェアのメンテナンス(サーバー、スイッチまたはケーブル上のRDMAネットワーク・ファブリックのアダプタの交換を含む)が行われたか、RoCEネットワーク・ファブリックの操作が基準を満たしていない疑いがある場合、RoCEネットワーク・ファブリックが適切に動作しているかどうかを検証します。次の手順は、ネットワーク動作の確認方法を示しています。

  1. RoCEネットワーク・ファブリック構成の検証のステップを完了します。
  2. infinicheckの準備をします。

    infinicheckコマンドを使用してRoCEネットワーク・ファブリックの構成、接続性およびパフォーマンスのチェックを実行する前に、次のコマンドを実行する必要がある場合があります。

    • 必要に応じて、-sオプションを使用して、RoCEネットワーク・ファブリック全体にパスワードなしのSSHユーザー等価を設定します。たとえば:

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hostips -c cellips -s
    • -zオプションを使用すると、前回のinfinicheckコマンドの実行中に作成されたファイルを消去できます。たとえば:

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hostips -c cellips -z

    前述のコマンドで、hostipsは、データベース・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前で、cellipsは、ストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

  3. infinicheckコマンドを実行して、RoCEネットワーク・ファブリックの構成、接続性およびパフォーマンスのチェックを実行します。

    適切に構成されたシステムで、最小限の引数を指定して、任意のデータベース・サーバー上でinfinicheckコマンドを実行できます。たとえば:

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck

    デフォルトでは、infinicheckコマンドはRoCEネットワーク・ファブリックで構成および接続チェックのグループを実行します。-pオプションを使用して、オプションのパフォーマンス・テストを実行できます。または、-aオプションを使用して、パフォーマンス・テストを含むすべてのチェックを実行します。たとえば:

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -a

    ノート:

    infinicheckコマンドがパフォーマンス・ストレス・テストを実行すると、システムのパフォーマンスに影響が出る可能性があります。したがって、infinicheckパフォーマンス・テストは、必要な場合(なるべくシステム上にワークロードがないとき)にのみ、実行することをお薦めします。

    -gオプションを使用してデータベース・サーバーを指定し、-cオプションを使用してストレージ・サーバーを指定することによって、システム内のサーバーを明示的に指定することもできます。たとえば:

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hostips -c cellips

    前述の例で、hostipsは、データベース・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前で、cellipsは、ストレージ・サーバーのRoCEネットワーク・ファブリックのIPアドレスのリストを含む入力ファイルの名前です。

    データベース・サーバーとストレージ・サーバーを入力ファイルにリストするかわりに、コマンドラインで、IPアドレスのカンマ区切りリストを指定できます。

    次の例は、infinicheckコマンドの一般的な端末の出力を表示します。

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hostips -c cellips
                            INFINICHECK
                    [Network Connectivity, Configuration and Performance]
    
                        #### FABRIC TYPE TESTS ####
    
    System type identified: RoCE
    Verifying User Equivalence of user=root from all DBs to all CELLs.
    
                    #### RoCE CONFIGURATION TESTS ####
            Checking for presence of RoCE devices on all DBs and CELLs
    [SUCCESS].... RoCE devices on all DBs and CELLs look good
            Checking for RoCE Policy Routing settings on all DBs and CELLs
    [SUCCESS].... RoCE Policy Routing settings look good
            Checking for RoCE DSCP ToS mapping on all DBs and CELLs
    [SUCCESS].... RoCE DSCP ToS settings look good
            Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
    [SUCCESS].... RoCE PFC and DSCP settings look good
            Checking for RoCE interface MTU settings. Expected value : 2300
    [SUCCESS].... RoCE interface MTU settings look good
            Verifying switch advertised DSCP on all DBs and CELLs ports ( ~ 2 min )
    [SUCCESS].... Advertised DSCP settings from RoCE switch looks good
    
                        #### CONNECTIVITY TESTS ####
                        [COMPUTE NODES -> STORAGE CELLS]
                               (60 seconds approx.)
                       (Will walk through QoS values: 0-6)
    [SUCCESS]..............Results OK
    [SUCCESS]....... All can talk to all storage cells
                        [COMPUTE NODES -> COMPUTE NODES]
                               (60 seconds approx.)
                       (Will walk through QoS values: 0-6)
    [SUCCESS]..............Results OK
    [SUCCESS]....... All hosts can talk to all other nodes
            Verifying Subnet Masks on all nodes
    [SUCCESS] ......... Subnet Masks is same across the network

4.7.8 RoCEネットワーク・ファブリックのスイッチ・ファームウェアのアップグレード

patchmgrユーティリティは、RoCEネットワーク・ファブリック・スイッチをアップグレードするために使用します。

スイッチ・ファームウェアは、ローリング形式でアップグレードされます。patchmgrは、指定されたファイル(roceswitch.lstなど)にリストされている順序でスイッチをアップグレードします

4.7.9 RoCEネットワーク・ファブリック・スイッチ・ソフトウェアのダウングレード

patchmgrユーティリティは、RoCEネットワーク・ファブリック・スイッチをダウングレードするために使用します。

スイッチ・ファームウェアは、ローリング形式でダウングレードされます。patchmgrは、指定されたファイル(roceswitch.lstなど)にリストされている順序でスイッチをダウングレードします

手順は、「RoCEネットワーク・ファブリック・スイッチ・ファームウェアのダウングレード」を参照してください。

4.8 InfiniBandネットワーク・ファブリックのネットワークの保守

InfiniBandネットワーク・ファブリック・ネットワークは、結合されたインタフェースを介してデータベース・サーバーおよびExadata Storage Serverをラック内のInfiniBandネットワーク・ファブリック・スイッチに接続します。

4.8.1 InfiniBandスイッチ設定のバックアップとリストア

InfiniBandスイッチ設定のバックアップ手順とリストア手順は、スイッチのファームウェアによって異なります。

InfiniBandファームウェア・リリース1.1.3-2以降には、バックアップとリストアの機能を提供するIntegrated Lights Out Manager (ILOM)があります。InfiniBandファームウェア・リリース1.0.1には、ILOMがありません。入手可能な最新のファームウェア・リリースにアップグレードしてから「2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ」の手順を使用することも、それぞれのファイルのバックアップとリストアを手動で実行することもできます。

関連項目:

Oracle Integrated Lights Out Manager (ILOM)のドキュメント(http://www.oracle.com/goto/ilom/docs)
4.8.1.1 2.1.3-4ファームウェアを使用したスイッチの設定のバックアップ

次の手順は、2.1.3-4ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。

  1. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。
  2. ilom-adminユーザーとしてログインします。
  3. 「メンテナンス」タブを選択します。
  4. 「バックアップ/リストア」タブを選択します。
  5. バックアップ操作およびブラウザ方法を選択します。
  6. パスフレーズを入力します。これは、ユーザー・パスワードなどのバックアップの機密情報を暗号化するために使用されます。
  7. 「実行」をクリックして、結果のXMLファイルを安全な場所に保存します。
  8. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。
  9. scpコマンドを使用して、次のファイルをコピーします。
    • root SSHキー: /root/.ssh/authorized_keys
    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys
    • ホスト・ファイル: /etc/hosts
    • ホスト・ファイル: /etc/opensm/opensm.conf (openSM設定を保持します)
  10. versionコマンドの出力を保存します。
4.8.1.2 1.1.3-2ファームウェアを使用したスイッチの設定のバックアップ

次の手順は、1.1.3-2ファームウェアを使用したスイッチのバックアップ方法を示しています。スイッチを適切な設定で最初に構成した後、一度だけバックアップを実行する必要があります。

  1. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。
  2. ilom-adminユーザーとしてログインします。
  3. 「メンテナンス」タブを選択します。
  4. 「バックアップ/リストア」タブを選択します。
  5. バックアップ操作およびブラウザ方法を選択します。
  6. パスフレーズを入力します。これは、ユーザー・パスワードなどのバックアップの機密情報を暗号化するために使用されます。
  7. 「実行」をクリックして、結果のXMLファイルを安全な場所に保存します。
  8. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。
  9. scpコマンドを使用して、次のファイルをコピーします。
    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  10. hostnameコマンドを実行して、出力を保存します。これは、ホスト名が/etc/sysconfig/networkファイルに設定されない場合に備えて実行されます。
  11. rootおよびnm2userアカウントのパスワードを保存します。
  12. nm2versionコマンドを実行して、出力を保存します。
4.8.1.3 1.0.1ファームウェアを使用したスイッチの設定のバックアップ

次の手順は、1.0.1ファームウェアを使用したスイッチの設定のバックアップ方法を示しています。

  1. rootユーザーとしてスイッチにログインします。rootユーザーのパスワードがない場合は、Oracleサポート・サービスに連絡してください。
  2. 次のファイルのコピーを作成します。
    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  3. ホスト名が/etc/sysconfig/networkファイルに設定されない場合に備えて、hostnameコマンドを実行して出力を保存します。
  4. rootおよびnm2userアカウントのパスワードを保存します。
  5. nm2versionコマンドを実行して、出力を保存します。
4.8.1.4 2.1.3-4ファームウェアを使用したスイッチの設定のリストア

次の手順は、2.1.3-4ファームウェアを使用したスイッチの設定のリストア方法を示しています。

  1. versionコマンドを実行して、スイッチが適切なファームウェア・レベルであることを確認します。適切ではない場合、スイッチを正しいファームウェア・レベルにアップグレードします。
  2. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。
  3. ilom-adminユーザーとしてログインします。
  4. 「メンテナンス」タブを選択します。
  5. 「バックアップ/リストア」タブを選択します。
  6. リストア操作およびブラウザ方法を選択します。
  7. 「参照」をクリックして、スイッチ構成バックアップを含むXMLファイルを選択します。
  8. バックアップ中に使用されたパスフレーズを入力します。
  9. 「実行」をクリックして、構成をリストアします。
  10. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。
  11. バックアップから次のファイルをリストアします。
    • root SSHキー: /root/.ssh/authorized_keys
    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys
    • ホスト・ファイル: /etc/hosts
    • ホスト・ファイル: /etc/opensm/opensm.conf
  12. 次のコマンドを使用して、スイッチCLIからopenSMを再起動します。
    disablesm
    enablesm
    
  13. rootユーザーとしてログインします。
  14. スイッチを再起動します。
4.8.1.5 1.1.3-2ファームウェアを使用したスイッチの設定のリストア

次の手順は、1.1.3-2ファームウェアを使用したスイッチの設定のリストア方法を示しています。

  1. versionコマンドを実行して、スイッチが適切なファームウェア・レベルであることを確認します。適切ではない場合、スイッチを正しいファームウェア・レベルにアップグレードします。
  2. ブラウザのスイッチILOM URLに移動します。たとえば、http://dbm002-i1.us.example.comなどです。
  3. ilom-adminユーザーとしてログインします。
  4. 「メンテナンス」タブを選択します。
  5. 「バックアップ/リストア」タブを選択します。
  6. リストア操作およびブラウザ方法を選択します。
  7. 「参照」をクリックして、スイッチ構成バックアップを含むXMLファイルを選択します。
  8. バックアップ中に使用されたパスフレーズを入力します。
  9. 「実行」をクリックして、構成をリストアします。
  10. rootユーザーとしてSun Datacenter InfiniBand Switch 36スイッチにログインします。
  11. バックアップから次のファイルをリストアします。
    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  12. ホスト名が存在しない場合、次の行を/etc/sysconfig/networkファイルに追加して、ホスト名をリストアします。
    HOSTNAME=switch_host_name
    
  13. passwdコマンドを使用して、rootおよびnm2userユーザーのパスワードをリストアします。
  14. 示されている順番で次のコマンドを実行して、サービスおよびopenSMを再起動します。
    service network restart 
    service ntpd restart 
    disablesm 
    enablesm 
    
  15. rootユーザーとしてログインします。
  16. スイッチを再起動します。
4.8.1.6 1.0.1ファームウェアを使用したスイッチの設定のリストア

次の手順は、1.0.1ファームウェアを使用したスイッチの設定のリストア方法を示しています。

  1. rootユーザーとしてスイッチにログインします。rootユーザーのパスワードがない場合は、Oracleサポート・サービスに連絡してください。
  2. スイッチが適切なファームウェア・レベルであることを確認します。適切ではない場合、スイッチを正しいファームウェア・レベルにアップグレードします。
  3. バックアップから次のファイルをリストアします。
    • ネットワーク構成: /etc/sysconfig/network-scripts/ifcfg-eth0

    • DNS情報: /etc/resolv.conf

    • NTP情報: /etc/ntp.conf

    • タイムゾーン情報: /etc/localtime

    • openSM設定: /etc/opensm/opensm.conf

    • ホスト名: /etc/sysconfig/network

    • root SSHキー: /root/.ssh/authorized_keys

    • nm2user SSHキー(存在する場合): /home/nm2user/.ssh/authorized_keys

  4. ホスト名が存在しない場合、HOSTNAME=switch_host_name行を/etc/sysconfig/networkファイルに追加して、ホスト名をリストアします。
  5. passwdコマンドを使用して、rootおよびnm2userユーザーのパスワードをリストアします。
  6. 示されている順番で次のコマンドを実行して、サービスおよびopenSMを再起動します。
    service network restart 
    service ntpd restart 
    disablesm 
    enablesm 
    
  7. rootユーザーとしてログインします。
  8. スイッチを再起動します。

4.8.2 InfiniBandネットワーク・ファブリック構成の検証

この手順では、InfiniBandネットワーク・ファブリック構成の確認方法について説明します。

  1. 適切なOpenFabrics Enterprise Distribution(OFED)ソフトウェアとHCAファームウェアのバージョンがデータベース・サーバーで使用されていることを確認します。

    OFEDソフトウェアとHCAファームウェアのバージョンは、Exadataストレージ・サーバーで自動的に保守されます。

  2. データベース・サーバーまたはExadata Storage Serverから次のコマンドを使用して、InfiniBandネットワーク・ファブリック・トポロジを検証します。
    # /opt/oracle.SupportTools/ibdiagtools/verify-topology
    

    エラーが発生した場合は、Oracleサポート・サービスにお問い合せください。

4.8.3 トポロジ検証ユーティリティの使用

verify-topologyユーティリティは、ネットワーク接続の様々な問題を特定するために使用できます。

verify-topologyは、次のような問題の診断に使用できます。

  • InfiniBandネットワーク・ファブリック・ケーブルの欠落
  • InfiniBandネットワーク・ファブリック接続の欠落
  • 誤った位置に取り付けられているケーブル
  • 誤ったエンドポイントに接続されているケーブル

このユーティリティは、すべてのサーバーのibdiagtoolsディレクトリにあります。verify-topologyユーティリティのオプションを表示するには、次のコマンドを使用します。

./verify-topology -h

[ DB Machine Infiniband Cabling Topology Verification Tool ]
Usage: ./verify-topology 
    [-v|--verbose]
    [-r|--reuse (cached maps)]
    [-m|--mapfile]
    [-ibn|--ibnetdiscover (specify location of ibnetdiscover output)]
    [-ibh|--ibhosts (specify location of ibhosts output)]
    [-ibs|--ibswitches (specify location of ibswitches output)]
    [-t|--topology [torus | fattree | halfrack] default is fattree]

例4-1 verify-topologyを使用した取付け不良のケーブルの特定

次に、verify-topologyユーティリティ使用時の出力例を示します。このエラー例では、ケーブルの接続が正しくないことが示されています。サーバーからのケーブルは、どちらも同じInfiniBandネットワーク・ファブリック・スイッチに接続されています。スイッチに障害が発生すると、サーバーからInfiniBandネットワーク・ファブリック・ネットワークへの接続が失われます。

[ DB Machine Infiniband Cabling Topology Verification Tool ]

Bad link:Switch 0x21283a8371a0a0 Port 11A - Sun Port 11B
        Reason : 2.5 Gbps Speed found. Could be 10 Gbps
        Possible cause : Cable isn't fully seated in

Bad link:Switch 0x21283a89eba0a0 Port 11B - Sun Port 11A
        Reason : 2.5 Gbps Speed found. Could be 10 Gbps
        Possible cause : Cable isn't fully seated in

Is every external switch connected to every internal switch..........[SUCCESS]
Are any external switches connected to each other....................[SUCCESS]
Are any hosts connected to spine switch..............................[SUCCESS]
Check if all hosts have 2 CAs to different switches..................[ERROR]
Node trnA-db01 has 1 endpoints. (Should be 2)
Port 2 of this node is not connected to any switch

--------fattree End Point Cabling verification failed-----

Leaf switch check: cardinality and even distribution.................[ERROR]

Internal QDR Switch 0x21283a8371a0a0 has fewer than 4 compute nodes
It has only 3 links belonging to compute nodes
Check if each rack has a valid internal ring.........................[SUCCESS]

4.8.4 InfiniBandネットワーク・ファブリックの動作の検証

基礎となるハードウェアを変更した後にInfiniBandネットワーク・ファブリックのネットワークが適切に動作しているかどうかを検証します。

InfiniBandネットワーク・ファブリックのネットワーク内の任意のコンポーネントを使用してハードウェアのメンテナンス(サーバー、InfiniBandネットワーク・ファブリックのスイッチまたはInfiniBandネットワーク・ファブリックのケーブル上のInfiniBand HCAの交換を含む)が行われたか、InfiniBandネットワーク・ファブリックの操作が基準を満たしていない疑いがある場合、InfiniBandネットワーク・ファブリックが適切に動作しているかどうかを検証します。次の手順は、ネットワーク動作の確認方法を示しています。

ノート:

InfiniBandネットワーク・ファブリックが予測を下回るパフォーマンスの場合は、常に次の手順を使用できます。
  1. InfiniBandネットワーク・ファブリック構成の検証のステップを完了します。
  2. ibdiagnetコマンドを実行して、InfiniBandネットワーク・ファブリックの動作を検証します。
    # ibdiagnet -c 1000

    このコマンドで報告されるすべてのエラーが調査されます。このコマンドにより生成されるネットワーク・トラフィックは少量であるため、通常のワークロードの実行中に実行してもかまいません。

  3. ibqueryerrors.plコマンドを実行して、スイッチ・ポート・エラーのカウンタとポート構成情報を報告します。
    #  ibqueryerrors.pl -rR -s RcvSwRelayErrors,XmtDiscards,XmtWait,VL15Dropped

    前述のコマンドを使用すると、LinkDownedRcvSwRelayErrorsXmtDiscardsおよびXmtWaitなどのエラーが無視されます。

    ノート:

    • InfiniBandネットワーク・ファブリックのカウンタは、累計カウンタであるためエラーは過去のいずれかの時点で発生したものです。エラーが報告された場合は、ibclearcountersコマンドを使用してInfiniBandネットワーク・ファブリックのカウンタをクリアすることをお薦めします。コマンドの実行後、負荷の下で数分間システムを動作させてから、ibquerryerrorsコマンドを実行してください。

    • サーバーを再起動すると、SymbolErrorsまたはRcvErrorsなどのカウンタにより数値が変更される場合があります。これらのカウンタの値がLinkDownedカウンタよりも少ない場合、一般的に問題はありません。LinkDownedカウンタは、通常、再起動などの有効な理由でポートが停止した回数を表し、これ自体がエラー・インジケータとなることはありません。

    • 多量で永続的なエラーならどれでも、特にSymbolErrorsLinkRecoversRcvErrorsまたはLinkIntegrityErrorsは、ケーブルまたはポートが壊れているまたは緩んでいることを示します。

    • 多量で永続的なInfiniBandネットワーク・ファブリックのエラー・カウンタがある場合は、問題を調査して修正してください。

  4. 実行中のデータベースがないなど、InfiniBandネットワーク・ファブリックの一部で実行されるロードがない場合は、infinicheckコマンドを実行して、完全なInfiniBandネットワーク・ファブリックの構成、接続およびパフォーマンス評価を行います。

    ノート:

    このコマンドは、完全なネットワークの最大スループットを評価します。InfiniBandネットワーク・ファブリックのシステムで実行されているワークロードがある場合は実行しないでください。

    このコマンドは、完全に構成されたシステムに依存します。最初のコマンドでは、前回のinfinicheckコマンドの実行時に作成されたファイルをクリアします。

    # /opt/oracle.SupportTools/ibdiagtools/infinicheck -z 
    
    # /opt/oracle.SupportTools/ibdiagtools/infinicheck

    次に、コマンドの出力例を示します。

    Verifying User Equivalance of user=root to all hosts.
    (If it isn't setup correctly, an authentication prompt will appear to push keys
     to all the nodes)
     
     Verifying User Equivalance of user=root to all cells.
    (If it isn't setup correctly, an authentication prompt will appear to push keys
     to all the nodes)
     
     
                        ####  CONNECTIVITY TESTS  ####
                        [COMPUTE NODES -> STORAGE CELLS]
                               (30 seconds approx.)
    [SUCCESS]..............Connectivity verified
     
    [SUCCESS]....... All hosts can talk to all storage cells
     
            Verifying Subnet Masks on Hosts and Cells
    [SUCCESS] ......... Subnet Masks is same across the network
     
            Checking for bad links in the fabric
    [SUCCESS].......... No bad fabric links found
     
                        [COMPUTE NODES -> COMPUTE NODES]
                               (30 seconds approx.)
    [SUCCESS]..............Connectivity verified
     
    [SUCCESS]....... All hosts can talk to all other nodes
     
     
                        ####  PERFORMANCE TESTS  ####
     
                        [(1) Every COMPUTE NODE to its STORAGE CELL]
                              (15 seconds approx.)
    [SUCCESS]........ Network Bandwidth looks OK.
    .......... To view only performance results run ./infinicheck -d -p
     
                        [(2) Every COMPUTE NODE to another COMPUTE NODE]
                              (10 seconds approx.)
    [SUCCESS]........ Network Bandwidth looks OK.
    ...... To view only performance results run ./infinicheck -d -p
     
                        [(3) Every COMPUTE NODE to ALL STORAGE CELLS]
                      (45 seconds approx.) (looking for SymbolErrors)
     
    [SUCCESS]....... No port errors found

4.8.5 ネットワーク・サブネット・マネージャ・マスターの理解

サブネット・マネージャは、InfiniBandネットワーク・ファブリックのネットワークのすべての運用上の特性を管理します。

サブネット・マネージャの動作特性には次の項目があります。

  • ネットワーク・トポロジの検出
  • ネットワークに接続されるすべてのポートへのローカル識別子の割当て
  • スイッチ転送表の計算およびプログラム
  • ファブリックの変更の監視

InfiniBandネットワーク・ファブリックのネットワークに複数のサブネット・マネージャを保有できますが、アクティブにできるのは一度に1つのサブネット・マネージャのみです。アクティブなサブネット・マネージャは、マスター・サブネット・マネージャです。他のサブネット・マネージャは、スタンバイ・サブネット・マネージャです。マスター・サブネット・マネージャが停止または失敗すると、スタンバイ・サブネット・マネージャが自動的にマスター・サブネット・マネージャになります。

各サブネット・マネージャには構成可能な優先度があります。InfiniBandネットワーク・ファブリックのネットワークに複数のサブネット・マネージャがある場合は、最高優先度のサブネット・マネージャがマスター・サブネット・マネージャになります。Oracle Exadataでは、リーフ・スイッチのサブネット・マネージャは優先度5として、スパイン・スイッチのサブネット・マネージャは優先度8として構成する必要があります。

Oracle Exadataで実行されるサブネット・マネージャの場所は、次のガイドラインで決定されます:

  • サブネット・マネージャは、Oracle Engineered Systemで使用するように指定されたRDMAネットワーク・ファブリックのスイッチでのみ実行します。その他のデバイスでのサブネット・マネージャの実行はサポートされていません。

  • Exadataのみの構成で、1つ、2つまたは3つのラックを配線してInfiniBandネットワーク・ファブリックのネットワークを構成している場合、すべてのスイッチでサブネット・マネージャを実行する必要があります。スパイン・スイッチでマスター・サブネット・マネージャを実行する必要があります。Oracle Exadataクオータ・ラックのように、ネットワークにリーフ・スイッチのみが存在する場合は、サブネット・マネージャ・マスターがリーフ・スイッチで実行されます。4つ以上のラックを配線してInfiniBandネットワーク・ファブリックのネットワークを構成している場合、スパイン・スイッチでのみ、サブネット・マネージャを実行する必要があります。リーフ・スイッチのサブネット・マネージャは無効化してください。

  • マルチラック構成(Oracle Exadata Database MachineOracle Exalogic Elastic Cloudのように異なる種類のラックを使用する構成)の場合は、My Oracle SupportのドキュメントID 1682501.1を参照してください。

関連項目:

Sun Datacenter InfiniBand Switch 36ファームウェア、バージョン2.1のドキュメント(http://docs.oracle.com/cd/E36265_01/index.html)

4.8.6 InfiniBandネットワーク・ファブリックのスイッチ・ファームウェアのアップグレード

patchmgrユーティリティは、InfiniBandネットワーク・ファブリック・スイッチをアップグレードおよびダウングレードするために使用します。patchmgrユーティリティを使用できるスイッチ・ファームウェアの最小リリースは1.3.3-2です。スイッチ・ファームウェアがそれより前のリリースである場合は、My Oracle Supportノート888828.1の説明に従って、ファームウェアをリリース1.3.3-2にアップグレードする必要があります。

4.8.7 InfiniBandネットワーク・ファブリック・スイッチ・ソフトウェアのダウングレード

patchmgrを使用して、スイッチ・ファームウェアをダウングレードします。

4.9 InfiniBandネットワーク・ファブリック構成の変更

IPアドレスまたはホスト名を変更するか、パーティションを実装することにより、InfiniBandネットワーク・ファブリックのネットワークを構成する方法を変更できます。

4.9.1 InfiniBandパーティションの構成

InfiniBandパーティションの構成は、「Oracle ExadataでのOracle VM Oracle RACクラスタ間のInfiniBandパーティションの実装」で説明されています。Oracle VMを使用する場合も、使用しない場合も、InfiniBandパーティションを使用できます。

4.9.2 InfiniBand IPアドレスおよびホスト名の変更

既存のOracle ExadataラックのInfiniBandネットワーク情報の変更が必要になることがあります。複数のInfiniBandカードを使用してメディア・サーバーをサポートするか、同じラックの本番、テストおよびQA環境などの個別のInfiniBandネットワークのInfiniBandトラフィックを維持するため、変更が必要になる場合があります。

すべてのInfiniBandアドレスに同じサブネット内のアドレスを使用し、最小のサブネット・マスク255.255.240.0(または/20)を使用する必要があります。サブネット・マスクは、将来Oracle ExadataラックおよびInfiniBandネットワークが拡張されたときにも対応できる程度のものを選択する必要があります。

ノート:

Exadata Database MachineでSDP over InfiniBandを使用することはお薦めしません。

4.9.3 InfiniBandネットワーク情報の変更

この手順は、InfiniBandネットワーク情報の変更方法を示しています。

この項に示される手順は、次の前提条件に基づいています。

  • すべての変更は、ilom-adminユーザーとしてIntegrated Lights Out Manager (ILOM)インタフェースを使用して実行する必要があります。

  • NET1およびNET2インタフェースを結合してBONDETH0を作成するため、クライアント・アクセス・ネットワークにチャネル・ボンディングが使用されます。チャネル・ボンディングを使用しない場合、手順のBONDETH0をNET1に置き換えてください。

  • Oracle Exadata X4-2以降のハードウェアでは、Oracle Exadata System Softwareリリース11.2.3.3.0の時点で、InfiniBandボンディングに使用される名前がBONDIB0からIB0およびIB1に変更されました。これらのインタフェースは、ifcfg-bondib0インタフェースと同じ方法で変更されます。

  • Oracle Exadata System Softwareリリース11.2.2.1.0の時点で、ボンディングに使用される名前が変更されました。InfiniBandボンディングにBONDIB0、イーサネット・ボンディングにBONDETH0という名前を使用します。以前のリリースでは、それぞれBOND0およびBOND1という名前でした。

  • 手順には、dcliユーティリティおよびrootユーザーを使用します。これにより、データベース・サーバーのコマンドをパラレルに実行して、手順を完了する全体の時間を大幅に短縮します。

  • dcliユーティリティには、SSHユーザー等価が必要になります。SSHユーザー等価が構成されない場合、一部のコマンドを各データベース・サーバーで明示的に実行する必要があります。

  • データベース・グループ・ファイルdbs_group/rootディレクトリに格納する必要があります。

  • InfiniBandネットワーク情報を変更する前に、Oracle Cluster Registry (OCR)の最新のバックアップが存在することを確認してください。OCRバックアップは、$Grid_home/cdata/cluster-nameディレクトリにあります。Grid_homeは、Oracle Grid Infrastructureソフトウェアをインストールした場所です。

  • Oracle Grid Infrastructure 11gリリース2 (11.2)以降では、プライベート・ネットワーク構成がグリッド・プラグ・アンド・プレイ(GPNP)プロファイルとOCRの両方に格納されます。GPNPの定義が正しくない場合、Oracle Clusterware CRSは起動しません。InfiniBandネットワーク情報を変更する前に、次のコマンドを使用して、すべてのノードのGPNPプロファイルのバックアップを作成してください。

    $ cd $Grid_home/gpnp/hostname/profiles/peer/
    $ cp -p profile.xml profile.xml.bk
    
  1. CLUSTER_INTERCONNECTパラメータがOracle DatabaseおよびOracle ASMインスタンスで使用されているか確認します。
    SQL> SELECT inst_id, name,value FROM gv$parameter WHERE name = \
    'cluster_interconnects';

    CLUSTER_INTERCONNECTパラメータがOCRに設定されている場合、値は返されません。CLUSTER_INTERCONNECTパラメータがサーバー・パラメータ・ファイル(SPFILE)に定義されている場合は、各インスタンスのIPアドレスが返されるため、新しいIPアドレスに変更する必要があります。

    次に、Oracle ASMインスタンスのIPアドレスを変更するコマンドの例を示します。この例では、IPアドレス192.168.10.1は+ASM1インスタンスを実行するサーバーのBONDIB0に割り当てられる新しいIPアドレスとなり、192.168.10.2は+ASM2インスタンスを実行するサーバーのBONDIB0のIPアドレスとなり、それ以降も同様です。

    ALTER SYSTEM SET CLUSTER_INTERCONNECTS='192.168.10.1' SCOPE=SPFILE SID='+ASM1';
    ALTER SYSTEM SET CLUSTER_INTERCONNECTS='192.168.10.2' SCOPE=SPFILE SID='+ASM2';
    ALTER SYSTEM SET CLUSTER_INTERCONNECTS='192.168.10.3' SCOPE=SPFILE SID='+ASM3';
    ...

    同様のコマンドを使用して、戻された各Oracle DatabaseインスタンスのIPアドレスを変更します。

  2. すべてのサーバーの新しいInfiniBandネットワーク情報の割当てを確認します。
    InfiniBand IPアドレス、ネットマスク、ブロードキャストおよびネットワークIP情報を確認する必要があります。
  3. oracleユーザーとして各データベース・サーバーのすべてのクラスタ管理サービスを停止します。
    $ srvctl stop home -o db_home -s state_filename -n node_name
    

    前述のコマンドのdb_homeOracle Databaseホーム・ディレクトリの完全なディレクトリ名、state_filenameは状態ファイルを書き込む場合のパス名、node_nameはデータベース名です。このコマンドの例を次に示します。

    $ srvctl stop home -o /u01/app/oracle/product/11.2.0.3/dbhome_1 -s \
    /tmp/dm02db01_dbhome -n dm02db01
    

    前述の例の/u01/app/oracle/product/11.2.0.3/dbhome_1Oracle Databaseホーム・ディレクトリ、/tmp/dm02db01_dbhomeは状態ファイル名、dm02db01はデータベース・サーバー名です。

  4. 最初のデータベース・サーバーのクラスタ相互接続インタフェースを変更して、BONDIB0インタフェースを使用します。

    ノート:

    この時点で、Oracle ClusterwareOracle Clusterware CRSおよびOracle ASMインスタンスのみ起動しています。
    1. oracleユーザーとしてログインします。
    2. $ORACLE_HOMEOracle Grid Infrastructureホームに設定します。
    3. ORACLE_SID環境変数のベースを設定します。
      ORACLE_HOME環境変数はOracle Grid Infrastructureのホームに設定する必要があります。
      $ ORACLE_SID=+ASM1
      
    4. 使用できるクラスタ・インタフェースをリストします。
      $ oifcfg iflist
      

      次に、出力の例を示します。

      bondeth0 10.128.174.160
      bondeth1 10.128.176.0
      eth0 10.128.174.128
      ib0 192.168.160.0
      ib0 169.254.0.0
      ib1 192.168.160.0
      ib1 169.254.128.0
      
    5. 現在割り当てられているクラスタ・インタフェースをリストします。
      $ oifcfg getif
      

      次に、出力の例を示します。

      bondeth0 10.204.76.0 global public
      ib0 192.168.16.0 global cluster_interconnect,asm
      ib1 192.168.16.0 global cluster_interconnect,asm
      
    6. グローバル・クラスタ相互接続インタフェースとしてib0とib1のインタフェースに新しいIPアドレスを割り当てます。
      oifcfg setif -global ib0/192.168.8.0:cluster_interconnect
      oifcfg setif -global ib1/192.168.8.0:cluster_interconnect
    7. 現在のインタフェースをリストします。
      $ oifcfg getif
      

      次に、出力の例を示します。

      bondeth0 10.128.174.160 global public
      ib0 192.168.8.0 global cluster_interconnect
      ib1 192.168.8.0 global cluster_interconnect
      

      古いプライベート・インタフェースは後で削除します。

  5. 各データベース・サーバーのOracle ClusterwareおよびOracle Clusterware CRSを停止します。
    1. rootユーザーとしてログインします。
    2. 次のコマンドを使用して、各データベース・サーバーのOracle Clusterware CRSを停止します。
      # Grid_home/grid/bin/crsctl stop crs -f
      
    3. 各データベース・サーバーのOracle Clusterware CRSの自動的な再起動を無効化します。
      # Grid_home/grid/bin/crsctl disable crs
      
  6. Oracle Exadata Storage ServerInfiniBand IPアドレスを変更します。
    1. rootユーザーとしてログインします。
    2. セルのサービスを停止します。
      # cellcli -e alter cell shutdown services all
        Stopping the RS, CELLSRV, and MS services...  The SHUTDOWN of services was successful.
    3. ipconfコマンドを実行します。

      次に、ipconfコマンドのプロンプトおよび応答の例を示します。変更内容は、基本的なIntegrated Lights Out Manager (ILOM)設定の入力要求後に適用されます。

      # ipconf
      
      Logging started to /var/log/cellos/ipconf.log
      Interface ib0 is Linked.  hca: mlx4_0
      Interface ib1 is Linked.  hca: mlx4_0
      Interface eth0 is Linked.  driver/mac: ixgbe/00:00:00:00:cd:01
      Interface eth1 is ... Unlinked.  driver/mac: ixgbe/00:00:00:00:cd:02
      Interface eth2 is ... Unlinked.  driver/mac: ixgbe/00:00:00:00:cd:03
      Interface eth3 is ... Unlinked.  driver/mac: ixgbe/00:00:00:00:cd:04
       
      Network interfaces
      Name     State      IP address      Netmask         Gateway         Net type     Hostname
      ib0      Linked
      ib1      Linked
      eth0     Linked
      eth1     Unlinked
      eth2     Unlinked
      eth3     Unlinked
      Warning. Some network interface(s) are disconnected. Check cables and switches and retry
      Do you want to retry (y/n) [y]: n
       
      The current nameserver(s): 192.0.2.10 192.0.2.12 192.0.2.13
      Do you want to change it (y/n) [n]:
      The current timezone: America/Los_Angeles
      Do you want to change it (y/n) [n]:
      The current NTP server(s): 192.0.2.06 192.0.2.12 192.0.2.13
      Do you want to change it (y/n) [n]:
       
      Network interfaces
      Name     State           IP address    Netmask        Gateway       Net type            Hostname
      eth0     Linked       192.0.2.151  255.255.252.0 192.0.2.15    Management   myg.example.com
      eth1     Unlinked
      eth2     Unlinked
      eth3     Unlinked
      bondib0  ib0,ib1      192.168.13.101 255.255.252.0  Private             myg-priv.example.com
      Select interface name to configure or press Enter to continue: bondib0
      Selected interface. bondib0
      IP address or none [192.168.13.101]: 192.168.10.3
      Netmask [255.255.252.0]:255.255.248.0
      Fully qualified hostname or none [myg-priv.example.com]:
      Continue configuring or re-configuring interfaces? (y/n) [y]: n
       
      Select canonical hostname from the list below
      1: myg.example.com
      2: myg-priv.example.com 
      Canonical fully qualified domain name [1]:
       
      Select default gateway interface from the list below
      1: eth0
      Default gateway interface [1]:
       
      Canonical hostname: myg.example.com
      Nameservers: 192.0.2.10 192.0.2.12 192.0.2.13
      Timezone: America/Los_Angeles
      NTP servers: 192.0.2.06 192.0.2.12 192.0.2.13
      Default gateway device: eth0
      Network interfaces
      Name     State      IP address      Netmask         Gateway         Net type     Hostname
      eth0     Linked     192.0.2.151   255.255.252.0 192.0.2.15     Management   myg.example.com
      eth1     Unlinked
      eth2     Unlinked
      eth3     Unlinked
      bondib0  ib0,ib1    192.168.10.3    255.255.248.0                   Private      myg-priv.example.com
      Is this correct (y/n) [y]:
       
      Do you want to configure basic ILOM settings (y/n) [y]: n
      
      Starting the RS services...
      Getting the state of RS services...  running
       
      Starting MS services...
      The STARTUP of MS services was successful.
      A restart of all services is required to put new network configuration into
      effect. MS-CELLSRV communication may be hampered until restart.
      Cell myg successfully altered
       
      Stopping the RS, CELLSRV, and MS services...
      The SHUTDOWN of services was successful.
      ipaddress1=192.168.10.3/21
      
    4. Oracle Exadata Storage Serverを再起動します。
      # shutdown -r now
  7. セル・サービスを再起動します。
    # cellcli -e alter cell restart services all
    
  8. Oracle Exadata Storage Serverに新しく割り当てられたInfiniBandアドレスを確認します。
    # cellcli -e list cell detail | grep ipaddress1
    

    次に、出力の例を示します。

    ipaddress1: 192.168.10.3/21
    
  9. 各データベース・サーバーのInfiniBand IPアドレスを変更します。
    1. rootユーザーとしてログインします。
    2. /etc/sysconfig/network-scriptsディレクトリに変更します。
    3. ifcfg-bondib0ファイルをコピーします。

      コピーしたファイル名の先頭にifcfgを使用しないでください。

      # cp ifcfg-bondib0 orig_ifcfg-bondib0
      
    4. ifcfg-bondib0ファイルを編集して、IPADDR、NETMASK、NETWORKおよびBROADCASTフィールドを更新します。

      元のifcfg-bondib0ファイルの例:

      #### DO NOT REMOVE THESE LINES ####
      #### %GENERATED BY CELL% ####
      DEVICE=bondib0
      USERCTL=no
      BOOTPROTO=none
      ONBOOT=yes
      IPADDR=192.168.20.8
      NETMASK=255.255.248.0
      NETWORK=192.168.16.0
      BROADCAST=192.168.23.255
      BONDING_OPTS="mode=active-backup miimon=100 downdelay=5000 updelay=5000"
      IPV6INIT=no
      MTU=65520
      

      更新後のifcfg-bondib0ファイルの例:

      #### DO NOT REMOVE THESE LINES ####
      #### %GENERATED BY CELL% ####
      DEVICE=bondib0
      USERCTL=no
      BOOTPROTO=none
      ONBOOT=yes
      IPADDR=192.168.10.8
      NETMASK=255.255.248.0
      NETWORK=192.168.8.0
      BROADCAST=192.168.15.255
      BONDING_OPTS="mode=active-backup miimon=100 downdelay=5000 updelay=5000"
      IPV6INIT=no
      MTU=65520
      

      ノート:

      データベース・サーバーのInfiniBandインタフェースのMTUサイズは、次のように設定する必要があります。

      • Oracle Exadata System Softwareリリース11.2.3.3以降の場合は、MTUサイズを7000に設定します。

      • Oracle Exadata System Softwareリリース11.2.3.3より前のリリースでは、MTUサイズを65520に設定し、メディア・サーバーまたはNFSサーバーなどのInfiniBand経由のTCP/IPを使用して外部デバイスへの高速転送を実現します。

    5. データベース・サーバーを再起動します。
      # shutdown -r now
      
    6. InfiniBand IPアドレス情報を確認します。
      # ifconfig -a
      

      次に、BONDIB0情報の例を示します。更新されたInfiniBandネットワーク情報が表示されます。

      inet addr:192.168.10.8 Bcast:192.168.15.255 Mask:255.255.248.0
      
  10. 各データベース・サーバーのcellinit.oraおよびcellip.oraファイルを更新します。

    ノート:

    データベースまたはOracle ASMインスタンスを実行中は、cellinit.oraまたはcellip.oraファイルは編集しないでください。ファイルを変更するには、次のような手順を実行します。

      1. ファイルのコピーを作成します。

        cp cellinit.ora cellinit.new
      2. テキスト・エディタでcellinit.newファイルを編集します。

      3. 古いcellinit.oraファイルを更新したcellinit.newファイルに置き換えます。

        mv cellinit.new cellinit.ora
    1. rootユーザーとしてログインします。
    2. /etc/oracle/cell/network-configディレクトリに変更します。
    3. cellip.oraファイルのバックアップ・コピーを作成します。
      # cp cellip.ora orig_cellip.ora
      

      ノート:

      SSHユーザー等価を使用する場合、dcliユーティリティを使用できます。次に、dcliコマンドの例を示します。

      # dcli -l root -g /root/dbs_group "cp cellip.ora orig_cellip.ora"
    4. cellinit.oraファイルのバックアップ・コピーを作成します。

      このコマンドの例を次に示します。

      # cp cellinit.ora orig_cellinit.ora
      

      ノート:

      SSHユーザー等価を使用する場合、dcliユーティリティを使用できます。次に、dcliコマンドの例を示します。

      # dcli -l root -g /root/dbs_group "cp cellinit.ora \
      orig_cellinit.ora"
    5. cellip.oraファイルのInfiniBand IPアドレスを変更します。

      元のファイルの例

      cell="192.168.20.1"
      cell="192.168.20.2"
      cell="192.168.20.3"
      cell="192.168.20.4"
      cell="192.168.20.5"
      cell="192.168.20.6"
      cell="192.168.20.7"
      

      更新されたファイルの例

      cell="192.168.10.1"
      cell="192.168.10.2"
      cell="192.168.10.3"
      cell="192.168.10.4"
      cell="192.168.10.5"
      cell="192.168.10.6"
      cell="192.168.10.7"
      

      ノート:

      SSHユーザー等価を使用する場合、dcliユーティリティを使用して、更新されたファイルを最初のデータベース・サーバーから他のデータベース・サーバーにコピーできます。次に、dcliコマンドの使用例を示します。

      # dcli -l root -g /root/dbs_group -f \
      /etc/oracle/cell/network-config/cellip.ora 
      
      # dcli -l root -g /root/dbs_group "mv /root/cellip.ora \
      /etc/oracle/cell/network-config/"
    6. cellinit.oraファイルのInfiniBand IPアドレスを変更します。

      ファイルは、サブネットIDとそのサブネット・マスクで更新されます。

      元のファイルの例

      ipaddress="192.168.20.8/21"
      

      更新されたファイルの例

      ipaddress="192.168.10.8/21"
      

      各データベース・サーバーのcellinit.oraファイルを更新します。ファイルの内容は、データベース・サーバーに固有です。このステップにdcliユーティリティは使用できません。

    7. 各データベース・サーバー上でALTER DBSERVERコマンドを実行して/etc/oracle/cell/network-config/cellinit.oraファイルを更新します。
      # dbmcli -e alter dbserver interconnect1 = "ib0"
      # dbmcli -e alter dbserver interconnect2 = "ib1"
      # dbmcli -e alter dbserver interconnect3 = "ib2"
      # dbmcli -e alter dbserver interconnect4 = "ib3"
      
  11. 各データベース・サーバーおよびOracle Exadata Storage Server/etc/hostsファイルを更新して、新しいInfiniBand IPアドレスを使用します。
    1. rootユーザーとしてログインします。
    2. /etc/hostsファイルのバックアップ・コピーを作成します。
      # cp /etc/hosts /etc/orig_hosts
      
    3. データベース・サーバーおよびOracle Exadata Storage ServerファイルのInfiniBand IPアドレスを変更します。
  12. 各サーバーでrootユーザーとしてOracle Clusterwareを起動します。
    # Grid_home/grid/bin/crsctl start crs
    
  13. Oracle ASMalert.logを確認して、各データベース・サーバーのクラスタ相互接続にRDSプロトコルが使用されていることを確認します。
    ログは/u01/app/oracle/diag/asm/+asm/+ASM1/traceディレクトリにあります。最新のOracle ASMの再起動に次のようなエントリが示されます。
    CELL interconnect IPC version: Oracle RDS/IP (generic)
    

    Oracle Exadata System Softwareリリース11.2.0.2以降の場合は、次のコマンドを使用してクラスタ相互接続を検証できます。コマンドは各データベース・サーバーのoracleユーザーとして実行します。

    $ORACLE_HOME/bin/skgxpinfo
    

    コマンド出力はrdsとなります。

    インスタンスがInfiniBandでRDSプロトコルを使用していない場合は、次のステップを使用してOracleソフトウェアを再リンクします。

    ノート:

    Oracleソフトウェアの再リンクにrelink allコマンドを使用しないでください。
    1. oracleユーザーとして、Oracleソフトウェアを使用するすべてのプロセスを停止します。
    2. Oracle Grid Infrastructureホームを再リンクする場合は、rootユーザーとして次のいずれかのコマンドを実行します。Oracle Grid Infrastructureホームを再リンクしない場合は、このステップは実行しないでください。
      • Oracle Grid Infrastructureリリース12.2.0.1以上の場合:

        # Grid_home/crs/install/rootcrs.sh -unlock
      • Oracle Grid Infrastructureリリース12.1.0.1または12.1.0.2の場合:

        # Grid_home/crs/install/rootcrs.pl -unlock
        
    3. oracleユーザーとして、$ORACLE_HOME/rdbms/libディレクトリに移動します。
    4. oracleユーザーとして、次のコマンドを実行します。
      $ make -f ins_rdbms.mk ipc_rds ioracle
      
    5. Oracle Grid Infrastructureホームを再リンクする場合は、rootユーザーとして次のいずれかのコマンドを実行します。Oracle Grid Infrastructureホームを再リンクしない場合は、このステップは実行しないでください。
      • Oracle Grid Infrastructureリリース12.2.0.1以上の場合:

        # Grid_home/crs/install/rootcrs.sh -unlock
        # Grid_home/bin/crsctl start crs
      • Oracle Grid Infrastructureリリース12.1.0.1または12.1.0.2の場合:

        # Grid_home/crs/install/rootcrs.pl -patch
        
  14. SRVCTLユーティリティを使用して、すべてのクラスタ管理サービスを起動します。
    1. oracleユーザーとしてログインします。
    2. 次のコマンドを使用してデータベースを起動します。Oracle_homeはOracleホーム・ディレクトリです。
      $ srvctl start home -o Oracle_home \
      -s /tmp/dm02db01_dbhome -n dm02db01
      
    3. データベース・インスタンスが実行中であることを確認します。
      $ srvctl status database -d dbm
      
  15. Oracle ASMおよびデータベース・インスタンスが新しいネットワーク設定を使用していることを確認します。
    1. SQL*Plusを使用してOracle ASMおよびデータベース・インスタンスにログインします。
    2. クラスタのインターコネクト情報を問い合せます。
      SQL> SELECT inst_id, name,value FROM gv$parameter WHERE name = \
      'cluster_interconnects';
  16. 古いプライベート・ネットワークを削除します。
    $ oifcfg delif -global bondib0/192.168.16.0
    
  17. 古いインタフェースが存在していないことを確認します。
    $ oifcfg getif
    bondeth0  10.204.76.0  global public
    bondib0   192.168.8.0  global cluster_interconnect
    
  18. 各データベース・サーバーでOracle Clusterware CRSの自動再起動を有効化します。
    1. rootユーザーとしてログインします。
    2. Oracle Clusterware CRSを有効にします。
      # Grid_home/grid/bin/crsctl enable crs
      

      ノート:

      dcliユーティリティを使用するために、Oracle Clusterware CRSを有効化します。

      # dcli -l root -g dbs_group "Grid_home/grid/bin/crsctl \
      enable crs"
  19. すべてのノードでOracle Clusterwareの完全再起動を実行します。
  20. My Oracle SupportのドキュメントID 1070954.1に記載のステップに従って、Oracle Exadataラックのヘルス・チェックを実行します。

    ノート:

    Oracle EXAchkユーティリティは、Oracle Exadataラックの主要なソフトウェア、ハードウェア、ファームウェア・リリースおよび構成ベスト・プラクティスについてのデータを収集します。

    Oracle Exadataラックの主要なコンポーネントの現在のデータを定期的に確認して、サポートされているリリース・レベルおよび推奨されているベスト・プラクティスと比較することをお薦めします。

    Oracle EXAchkは、データベース、ネットワークまたはSQLのパフォーマンス分析ツールではありません。連続監視ユーティリティではなく、ILOMOracle Enterprise Manager Cloud Controlなどのモニタリング・ツールまたはアラート・ツールと重複するものではありません。

  21. クラスタウェア検証ユーティリティcluvfyを使用してプライベート・ネットワーク構成を検証します。

4.10 データベース・サーバーでのネットワーク・ルーティングの構成

ネットワーク・ルーティングのタスクは、ブート時ルーティングかリアルタイム・ルーティングかによって異なります。

4.10.1 データベース・サーバーでのネットワーク・ルーティングについて

データベース・サーバーには3つの論理ネットワーク・インタフェースが構成されています。

インタフェース名は次のとおりです。

  • 管理ネットワーク: eth0
  • クライアント・アクセス・ネットワーク: bond1またはbondeth0
  • RDMAネットワーク・ファブリック・ネットワーク: bond0bondib0またはib0ib1、またはre0re1

ノート:

この項のタスクは、Oracle Exadata System Softwareリリース11.2.3.2.1より前に構成されたOracle Exadata Database Serverを対象としています。

Oracle Exadata System Softwareリリース11.2.2.3.0以上では、管理ネットワークへの接続の応答は管理ネットワーク・インタフェース上で送信され、クライアント・アクセス・ネットワークへの接続の応答はクライアント・アクセス・ネットワーク・インタフェース上で送信されます。

Oracle Exadata System Softwareリリース11.2.2.3.0より前のリリースでは、管理ネットワーク上またはプライベートInfiniBandネットワーク上のIPアドレス以外を宛先としたアウトバウンド・トラフィックはデフォルト・ルートとしてクライアント・アクセス・ネットワークを使用して送信されます。この項のタスクではルーティングを変更するため、管理ネットワークに着信するトラフィックの応答は、管理ネットワークで送信されます。同様に、クライアント・ネットワークに着信するトラフィックの応答は、クライアント・ネットワークで送信されます。

ネットワーク・ルーティングのタスクは、ブート時ルーティングかリアルタイム・ルーティングかによって異なります。次の点はどちらのタイプのルーティングにも当てはまります。

  • これらのタスクは、Oracle Exadata System Softwareリリース11.2.2.3.0より前のリリースを実行しているデータベース・サーバーを対象としています。

  • これらのタスクでは次のサンプルIPアドレス、ネットマスクおよびゲートウェイを使用します。

    • 管理ネットワークのIPアドレスは10.149.49.12、ネットマスクは255.255.252.0 (ネットワーク10.149.48.0/22)、ゲートウェイは10.149.48.1です。

    • クライアント・アクセス・ネットワークのIPアドレスは10.204.78.15、ネットマスクは255.255.255.0 (ネットワーク10.204.78.0/24)、ゲートウェイは10.1.78.1です。

ノート:

データベース・サーバーに他のネットワークが構成されている場合は、それらのネットワークにファイルを設定してください。

4.10.2 タスク1: ブート時ルーティングのための構成

ネットワーク・ルーティングとしてブート時ルーティングを行うように構成するには、各データベース・サーバーにルールおよびルーティング・ファイルを作成する必要があります。ルールおよびルーティング・ファイルは、各データベース・サーバーの/etc/sysconfig/network-scriptsディレクトリに配置する必要があります。構成済のIPアドレスを持つ管理ネットワーク上のイーサネット・インタフェースごとに、データベース・サーバーにroute-ethnおよびrule-ethnファイルが必要です。結合イーサネット・インタフェースごとに、データベース・サーバーにroute-bondethnおよびrule-bondethnファイルが必要です。次に、ファイルの内容の例を示します。

ファイル 内容

/etc/sysconfig/network-scripts/rule-eth0

from 10.149.49.12 table 220
to 10.149.49.12 table 220

/etc/sysconfig/network-scripts/route-eth0

10.149.48.0/22 dev eth0 table 220
default via 10.149.48.1 dev eth0 table 220

/etc/sysconfig/network-scripts/rule-bondeth0

from 10.204.78.0/24 table 210
to 10.204.78.0/24 table 210

/etc/sysconfig/network-scripts/route-bondeth0

10.204.78.0/24 dev bondeth0 table 210
default via 10.204.78.1 dev bondeth0 table 210

4.10.3 タスク2: リアルタイム・ルーティングのための構成

実行中のシステムでルールを構成するには、/sbin/ipコマンドを使用して、起動時に実行されるものと同じ構成を作成します。次のコマンドを使用すると、ブート時ファイルと同じ構成が得られます。

/sbin/ip rule add from 10.149.49.12 table 220
/sbin/ip rule add to 10.149.49.12 table 220
/sbin/ip route add 10.149.48.0/22 dev eth0 table 220
/sbin/ip route add default via 10.149.48.1 dev eth0 table 220

/sbin/ip rule add from 10.204.78.0/24 table 210
/sbin/ip rule add to 10.204.78.0/24 table 210
/sbin/ip route add 10.204.78.0/24 dev bondeth0 table 210
/sbin/ip route add default via 10.204.78.1 dev bondeth0 table 210

コマンドの実行後にデータベース・サーバーを再起動して、ブート時構成が正しいことを検証することをお薦めします。

4.10.4 タスク3: ネットワーク・ルーティング・ルールおよびルートの検証

次のコマンドを使用して、ネットワーク・ルーティング・ルールを検証します。コマンドの出力には、システム上のすべてのルールが表示されます。

# /sbin/ip rule list
0:      from all lookup 255 
32762:  from all to 10.204.78.0/24 lookup 210 
32763:  from 10.204.78.0/24 lookup 210 
32764:  from all to 10.149.49.12 lookup 220 
32765:  from 10.149.49.12 lookup 220 
32766:  from all lookup main 
32767:  from all lookup default 

前述のタスクを行うときに2つの新しいルーティング表が作成されるため、デフォルトのルーティング表は変更されません。新しいルーティング表が使用されるのは、ルールで指定した場合のみです。次のコマンドは、デフォルトのルーティング表と新しいルーティング表をチェックする方法を示しています。

  • デフォルトのルーティング表をチェックする場合。次に、コマンドと出力の例を示します。

    # /sbin/ip route list
    10.204.78.0/24 dev bondeth0  proto kernel  scope link  src 10.204.78.15
    192.168.10.0/24 dev bondib0  proto kernel  scope link  src 192.168.10.8 
    10.149.48.0/22 dev eth0  proto kernel  scope link  src 10.149.49.12 
    default via 10.149.52.1 dev bondeth0
    
  • 追加された表にコマンドで指定する表名が含まれているかどうかをチェックする場合。次に、コマンドと出力の例を示します。

    # /sbin/ip route list table 220
    10.149.48.0/22 dev eth0  scope link 
    default via 10.149.48.1 dev eth0 
    root@dbhost# ip route list table 210
    10.204.78.0/24 dev bondeth0  scope link 
    default via 10.204.78.1 dev bondeth0

4.10.5 トラブルシューティングのためのネットワーク・ルーティング構成の削除

ネットワーク・ルーティング構成は、Oracle Exadata Database Machineを構成またはトライブシューティングするときに削除できます。ルールおよびルートを削除するには、次のコマンドを使用します。

/sbin/ip route del default via 10.149.48.1 dev eth0 table 220
/sbin/ip route del 10.149.48.0/22 dev eth0 table 220
/sbin/ip rule del to 10.149.49.12 table 220
/sbin/ip rule del from 10.149.49.12 table 220

/sbin/ip route del default via 10.204.78.1 dev bondeth0 table 210
/sbin/ip route del 10.204.78.0/24 dev bondeth0 table 210
/sbin/ip rule del to 10.204.78.0/24 table 210
/sbin/ip rule del from 10.204.78.0/24 table 210

4.10.6 デフォルトのルーティングへの再設定

デフォルトのネットワーク・ルーティングに戻すには、追加ファイルを/etc/sysconfig/network-scriptsディレクトリから削除し、サーバーを再起動します。

次に、ファイルを削除してサーバーを再起動するコマンドの例を示します。

/bin/rm -f /etc/sysconfig/network-scripts/rule-eth0
/bin/rm -f /etc/sysconfig/network-scripts/route-eth0
/bin/rm -f /etc/sysconfig/network-scripts/rule-bondeth0
/bin/rm -f /etc/sysconfig/network-scripts/route-bondeth0
shutdown -r now

4.11 「DNSサーバーの変更」

ドメイン・ネーム・システム(DNS)サーバーの構成設定は、初期設定後に変更できます。

Oracle Exadataのすべてのサーバーおよびスイッチは、同じDNSサーバーを参照する必要があります。Oracle Exadataが参照するすべてのドメインは、個々のDNSサーバーを介して解決される必要があります。

次の各トピックでは、Oracle Exadataサーバーおよびスイッチを同じDNSサーバーに設定するタスクおよび手順について説明します。サーバーは1回に1つずつ変更することをお薦めします。

4.11.1 データベース・サーバーでのDNSサーバー・アドレスの変更

この手順では、データベース・サーバーでDNSサーバー・アドレスを変更する方法について説明します。

  1. Oracle Exadata System Software 20.1.0以降を使用している場合は、-updateおよび-dnsオプションを指定してipconfを使用し、DNS設定を変更します。
    1. rootユーザーとして、データベース・サーバーにログインします。
    2. 新しい設定に構成の問題がないことを確認します。

      次のコマンドを使用します。IP_addr_listはDNSサーバーのIPアドレスのカンマ区切りリストです。ILOMのDNSサーバーも確認する場合、-ilom-dnsパラメータを指定し、ILOM_DNS_listを、DNSサーバーの最大3つのIPアドレスのカンマ区切りリストに置き換えます。-dryパラメータを指定すると、設定は確認されますが適用されません。

      # ipconf -update -dns IP_addr_list [-ilom-dns ILOM_DNS_list] -dry
    3. 次のipconfコマンドを使用してDNS設定を更新します。

      次のコマンドで、IP_addr_listはDNSサーバーのIPアドレスのカンマ区切りリストです。ILOMのDNSサーバーも変更する場合、-ilom-dnsパラメータを指定し、ILOM_DNS_listを、DNSサーバーの最大3つのIPアドレスのカンマ区切りリストに置き換えます。-forceパラメータを指定して、すべてのチェックをバイパスして更新を強制します。

      # ipconf -update -dns IP_addr_list [-ilom-dns ILOM_DNS_list] [-force]

      次に、コマンドとその出力の例を示します。

      [root@dbm03adm02]# ipconf -update -dns 10.31.138.25,10.231.225.65
      [Info]: ipconf command line: ipconf -update -dns 10.31.138.25,10.231.225.65
      Logging started to /var/log/cellos/ipconf.log
      [Info]: Updating dns/ntp
      [Info]: Backup existing cell configuration file /opt/oracle.cellos/cell.conf 
      to /var/log/exadatatmp/cell.conf_2020_01_13-17_59_44
      [Info]: Custom changes have been detected in /etc/resolv.conf
      [Info]: Original file /etc/resolv.conf will be saved in /etc/resolv.conf.backupbyExadata
      [Done]: Update cell configuration file /opt/oracle.cellos/cell.conf OK
      
    4. データベース・サーバーごとに、このステップを繰り返します。
  2. Oracle Exadata System Software 19.3.x以前を使用している場合、次のステップを使用してDNSサーバーを変更します。
    1. rootユーザーとして、データベース・サーバーにログインします。
    2. /etc/resolv.confファイルを編集します。
      viなどのエディタを使用してDNSサーバー名およびドメイン名を設定します。各DNSサーバーにネーム・サーバー行があります。
      search        example.com
      nameserver    10.7.7.3
      
    3. サーバーILOMのDNSサーバーを設定します。
      ipmitool sunoem cli 'set /SP/clients/dns nameserver=dns_ip'
      

      前述のコマンドで、dns_ipはDNSサーバーのIPアドレスです。DNSサーバーが複数ある場合は、set /SP/clients/dns nameserver=dns_ip1,dns_ip2,dns_ip3などのカンマ区切りのリストを入力します。

    4. データベース・サーバーごとに、このステップを繰り返します。

4.11.2 Oracle Exadata Storage ServerでのDNSサーバーの変更

Oracle Exadata Storage ServerごとにDNSサーバーを設定または変更できます。

  1. rootユーザーとしてOracle Exadata Storage Serverにログインします。
  2. ipconfユーティリティを使用して、DNS設定を変更します。
    1. 新しい設定に構成の問題がないことを確認します。

      次のコマンドを使用します。IP_addr_listはDNSサーバーのIPアドレスのカンマ区切りリストです。ILOMのDNSサーバーも確認する場合、-ilom-dnsパラメータを指定し、ILOM_DNS_listを、DNSサーバーの最大3つのIPアドレスのカンマ区切りリストに置き換えます。-dryパラメータを指定すると、設定は確認されますが適用されません。

      ノート:

      IPアドレスではなくDNSサーバーのホスト名を使用すると、再起動時にセルウォール・サービスが失敗します。NTPサーバーおよびDNSサーバーを定義する場合はIPアドレスのみを使用します。
      # ipconf -update -dns IP_addr_list [-ilom-dns ILOM_DNS_list] -dry
    2. ipconfコマンドを使用してDNS設定を更新します:

      次のコマンドで、IP_addr_listはDNSサーバーのIPアドレスのカンマ区切りリストです。ILOMのDNSサーバーも変更する場合、-ilom-dnsパラメータを指定し、ILOM_DNS_listを、DNSサーバーの最大3つのIPアドレスのカンマ区切りリストに置き換えます。-forceパラメータを指定して、すべてのチェックをバイパスして更新を強制します。

      # ipconf -update -dns IP_addr_list [-ilom-dns ILOM_DNS_list] [-force]

      次に、コマンドとその出力の例を示します。

      [root@dbm03celadm06]# ipconf -update -dns 10.31.138.25,10.231.225.65
      [Info]: ipconf command line: ipconf -update -dns 10.31.138.25,10.231.225.65
      Logging started to /var/log/cellos/ipconf.log
      [Info]: Updating dns/ntp
      [Info]: Backup existing cell configuration file /opt/oracle.cellos/cell.conf 
      to /var/log/exadatatmp/cell.conf_2020_01_13-17_59_44
      [Info]: Custom changes have been detected in /etc/resolv.conf
      [Info]: Original file /etc/resolv.conf will be saved in /etc/resolv.conf.backupbyExadata
      [Done]: Update cell configuration file /opt/oracle.cellos/cell.conf OK
      

4.11.3 Cisco RoCEネットワーク・ファブリック・スイッチでのDNSサーバー・アドレスの変更

この手順では、Cisco RoCEネットワーク・ファブリック・スイッチのDNSサーバーのアドレスを変更する方法について説明します。

  1. SSHを使用してスイッチにアクセスし、管理者のパスワードを使用してadminユーザーとしてログインします。

    ノート:

    SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。
  2. 現在の構成を確認します。
    Switch# show running-config
    ...
    ip domain-name  example.com
    ip name-server 192.0.2.2 198.51.100.4 203.0.113.2 use-vrf management
    ...
  3. 現在のDNSサーバーの情報を消去します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ip name-server 192.0.2.2 use-vrf management
    Switch(config)# no ip name-server 198.51.100.4 use-vrf management
    Switch(config)# no ip name-server 203.0.113.2 use-vrf management
    Switch(config)# end
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.

    ノート:

    変更する現在の各DNS IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。
  4. ドメン名を設定してから、次の例に示すように、最大3つのDNSサーバーを構成します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# ip domain-name example.com
    Switch(config)# ip name-server 192.0.2.3 use-vrf management
    Switch(config)# ip name-server 198.51.100.5 use-vrf management
    Switch(config)# ip name-server 203.0.113.1 use-vrf management
    Switch(config)# end
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  5. 変更を確認します。
    Switch# show running-config

    コマンド出力に、新しいDNSサーバーのエントリが表示されます。

    たとえば:

    
    !Command: show running-config
    ...
    ip domain-name example.com
    ip name-server 192.0.2.3 198.51.100.5 203.0.113.1 use-vrf management
    ...
  6. セッションを終了します。
    Switch# exit

4.11.4 Cisco 9300シリーズ管理ネットワーク・スイッチでのDNSサーバー・アドレスの変更

この手順では、Cisco 9300シリーズ管理ネットワーク・スイッチでDNSサーバー・アドレスを変更する方法について説明します。

  1. SSHを使用してスイッチにアクセスし、管理者のパスワードを使用してadminユーザーとしてログインします。

    ノート:

    SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。
  2. 現在の構成を確認します。
    Switch# show running-config
    ...
    ip domain-name  example.com
    ip name-server 192.0.2.2 198.51.100.4 203.0.113.2
    ...
  3. 現在のDNSサーバーの情報を消去します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ip name-server 192.0.2.2
    Switch(config)# no ip name-server 198.51.100.4
    Switch(config)# no ip name-server 203.0.113.2
    Switch(config)# end
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.

    ノート:

    変更する現在の各DNS IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。
  4. ドメン名を設定してから、次の例に示すように、最大3つのDNSサーバーを構成します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# ip domain-name example.com
    Switch(config)# ip name-server 192.0.2.3
    Switch(config)# ip name-server 198.51.100.5
    Switch(config)# ip name-server 203.0.113.1
    Switch(config)# end
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  5. 変更を確認します。
    Switch# show running-config

    コマンド出力に、新しいDNSサーバーのエントリが表示されます。

    たとえば:

    
    !Command: show running-config
    ...
    ip domain-name example.com
    ip name-server 192.0.2.3 198.51.100.5 203.0.113.1
    ...
  6. セッションを終了します。
    Switch# exit

4.11.5 Cisco 4948イーサネット・スイッチでのDNSサーバー・アドレスの変更

この手順では、Cisco 4948イーサネット・スイッチでDNSサーバー・アドレスを変更する方法について説明します。

  1. ファームウェア・リリースに基づいて、次のいずれかの方法を使用してスイッチにアクセスします。
    • リリース12.2以降のファームウェア:

      SSHを使用してスイッチにアクセスし、管理者のパスワードを使用してadminユーザーとしてログインします。

      ノート:

      SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。
    • リリース12.2より前のファームウェア:

      Telnetを使用してスイッチにアクセスし、管理パスワードを使用して管理者としてログインします。

  2. enableモードに変更します。
    Switch> enable
    
    パスワードを要求されたら、監理者のパスワードを使用します。
  3. 現在の構成を確認します。
    Switch# show running-config
    
  4. 現在のDNSサーバーの情報を消去します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ip name-server 192.0.2.2
    Switch(config)# no ip name-server 198.51.100.4
    Switch(config)# no ip name-server 203.0.113.2
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
    

    ノート:

    変更する現在の各DNS IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。
  5. ドメン名を設定してから、次の例に示すように、最大3つのDNSサーバーを構成します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# ip domain-name example.com
    Switch(config)# ip name-server 192.0.2.3
    Switch(config)# ip name-server 198.51.100.5
    Switch(config)# ip name-server 203.0.113.1
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
    
  6. 変更を確認します。
    Switch# show running-config
    

    コマンド出力に、新しいDNSサーバーのエントリが表示されます。

    たとえば:

    Building configuration...
    ...
    ip domain-name example.com
    ip name-server 192.0.2.3
    ip name-server 198.51.100.5
    ip name-server 203.0.113.1
    ...
    
  7. 構成を保存します。
    Switch# copy running-config startup-config
    Destination filename [startup-config]? 
    Building configuration...
    Compressed configuration from 14343 bytes to 3986 bytes[OK]
    
  8. セッションを終了します。
    Switch# exit
    

4.11.6 InfiniBandネットワーク・ファブリック・スイッチでのDNSサーバー・アドレスの変更

すべての構成手順は、Integrated Lights Out Manager (ILOM)インタフェースを使用してilom-adminユーザーとして実行する必要があります。ファームウェア・リリースに応じて、次のいずれかの手順を実行してDNSサーバーを変更します。

  1. スイッチで2.0.4以降のファームウェアを使用している場合:
    1. ilom-adminユーザーとして、InfiniBandネットワーク・ファブリック・スイッチにログインします。
    2. 次のいずれかのオプションを使用して、DNSアドレスを設定します。
      • ILOM Webインタフェースを使用する場合:

        「構成」タブをクリックして、DNSサーバー・アドレスを設定します。

      • コマンドライン・インタフェースを使用する場合は、次のコマンドを使用してDNSサーバーを設定します。

        set /SP/clients/dns nameserver=dns_ip
        

        前述のコマンドで、dns_ipはDNSサーバーの新しいIPアドレスです。DNSサーバーが複数ある場合は、set /SP/clients/dns nameserver=dns_ip1,dns_ip2,dns_ip3などのカンマ区切りのリストを入力します。

  2. スイッチで2.0.4より前のファームウェアを使用している場合:
    1. rootユーザーとして、InfiniBandネットワーク・ファブリック・スイッチにログインします。
    2. /etc/resolv.confファイルを編集します。
      viなどのエディタを使用してDNSサーバー名およびドメイン名を設定します。各DNSサーバーに行があります。
    3. ファイルを保存します。

4.11.7 KVMスイッチでのDNSサーバーの変更

この手順では、KVMスイッチを使用してDNSサーバー構成を変更する方法について説明します。

ノート:

  • KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したOracle Exadata Storage Serverを搭載しているOracle Exadata Storage拡張ラックのみです。

  • KVMスイッチはNTPをサポートしていません。

  1. KVMスイッチにログインします。インターネットでホスト名またはIPアドレスを使用すると、KVMに直接ログインしたり。スイッチにアクセスできます。
  2. ユニット・ビューから「アプライアンス」を選択します。
  3. アプライアンス設定から「DNS」を選択します。
  4. DNS構成を選択します。
  5. DNS構成を入力します。次の構成オプションを利用できます。
    • DNSモード(手動、DHCP、DHCPv6)

    • DNSサーバー・アドレス(1次、2次、3次)

  6. 「保存」をクリックします。

4.12 「NTPサーバーの変更」

ネットワーク・タイム・プロトコル(NTP)サーバーの構成設定は、初期設定後に変更できます。

サーバーが同じ時刻に同期されるように、Oracle Exadataのすべてのサーバーおよびスイッチは、同じNTPサーバーを参照する必要があります。

次の各トピックでは、Oracle Exadataサーバーおよびスイッチを同じNTPサーバーに設定するタスクおよび手順について説明します。サーバーは1回に1つずつ変更することをお薦めします。

ノート:

  • これらの手順では、2つのNTPサーバー間の時間差が大きくないと仮定しています。NTPサーバーの更新を実行する前に、コマンドntpq -pを使用し、システムが正常かどうかを先に確認します。

  • Oracle Exadataで使用するために構成可能なNTPサーバーは最大2台です。

4.12.1 データベース・サーバーでのNTPサーバー・アドレスの設定

Oracle Exadataのデータベース・サーバーでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。

  1. Oracle Exadata System Software 20.1.0以降を使用している場合は、ipconfを使用してNTPサーバーを設定または変更します。
    1. rootユーザーとして、データベース・サーバーにログインします。
    2. 新しい設定に構成の問題がないことを確認します。

      次のコマンドを使用します。IP_addr_listはNTPサーバーのIPアドレスのカンマ区切りリストです。ILOMのNTPサーバーも変更する場合、-ilom-ntpパラメータを指定し、ILOM_NTP_listを、NTPサーバーの最大2つのIPアドレスのカンマ区切りリストに置き換えます。-dryパラメータを指定すると、設定は確認されますが適用されません。

      # ipconf -update -ntp IP_addr_list [-ilom-ntp ILOM_NTP_list] -dry
    3. 次のipconfコマンドを使用してNTP設定を更新します。

      次のコマンドで、IP_addr_listはNTPサーバーのIPアドレスのカンマ区切りリストです。ILOMのNTPサーバーも変更する場合、-ilom-ntpパラメータを指定し、ILOM_NTP_listを、NTPサーバーの最大3つのIPアドレスのカンマ区切りリストに置き換えます。-forceパラメータを指定して、すべてのチェックをバイパスして更新を強制します。

      # ipconf -update -ntp IP_addr_list [-ilom-ntp ILOM_NTP_list] [-force]

      新しいNTPサーバーから取得されたタイムスタンプと、システムに認識されている現在の時間との差が1秒を超える場合(時間ステップ)、コマンドはエラーになり、NTP設定は更新されません。コマンドラインで-forceオプションを使用すると、このチェックを無視できます。

      次に、コマンドとその出力の例を示します。

      [root@dbm03adm02 oracle.cellos]# ipconf -update -ntp 10.31.138.20,10.31.16.1 
      -ilom-ntp 10.31.138.20,10.31.16.1
      [Info]: ipconf command line: ipconf -update -ntp 10.31.138.20,10.31.16.1 
      -ilom-ntp 10.31.138.20,10.31.16.1
      Logging started to /var/log/cellos/ipconf.log
      [Info]: Updating dns/ntp
      [Warning]: ntpd service is not running
      [Info]: Backup existing cell configuration file /opt/oracle.cellos/cell.conf to 
      /var/log/exadatatmp/cell.conf_2020_01_13-17_54_56
      [Info]: Restart ntpd service
      Shutting down ntpd:                                        [  OK  ]
      Starting ntpd:                                             [  OK  ]
      [Done]: Update cell configuration file /opt/oracle.cellos/cell.conf OK
      
    4. データベース・サーバーごとに、このステップを繰り返します。
  2. データベース・サーバーのオペレーティング・システムがOracle Linux 7であるが、Oracle Exadata System Software 19.3.x以前を使用している場合、次の手順に従います。
    1. データベース・サーバーの時間同期サービスを停止します。
      # systemctl stop chronyd
      
    2. 新しいNTPサーバーのIPアドレスで/etc/chrony.confファイルを更新します。
    3. データベース・サーバーの時間同期サービスを開始します。
      # systemctl start chronyd
      
    4. 各データベース・サーバーに対して、ステップ2.aから2.cを繰り返します。
  3. データベース・サーバーのオペレーティング・システムがOracle Linux 5または6の場合:
    1. データベース・サーバーのNTPサービスを停止します。
      # service ntpd stop
      
    2. 新しいNTPサーバーのIPアドレスでntp.confファイルを更新します。
    3. データベース・サーバー上でNTPサービスを開始します。
      # service ntpd start
      
    4. 各データベース・サーバーに対して、ステップ3.aから3.cを繰り返します。

4.12.2 Oracle Exadata Storage ServerでのNTPサーバーの変更

Oracle Exadata Storage ServerごとにNetwork Time Protocol (NTP)サーバーを設定または変更できます。

  1. rootユーザーとしてセルにログインします。
  2. ipconfユーティリティを使用して、NTP設定を変更します。

    ノート:

    Oracle Exadata System Softwareリリース23.1.2および22.1.11 (2023年5月にリリース)には、ipconfの更新が含まれており、NTPサーバーの変更による時間変動の処理が改善されています。NTPサーバーの変更に関する以前の問題を回避するために、この更新を使用することをお薦めします。

    1. 新しい設定に構成の問題がないことを確認します。

      次のコマンドを使用します。IP_addr_listはNTPサーバーのIPアドレスのカンマ区切りリストです。ILOMのNTPサーバーも変更する場合、-ilom-ntpパラメータを指定し、ILOM_NTP_listを、NTPサーバーの最大2つのIPアドレスのカンマ区切りリストに置き換えます。-dryパラメータを指定すると、設定は確認されますが適用されません。

      ノート:

      IPアドレスではなくNTPサーバーのホスト名を使用すると、再起動時にセルウォール・サービスが失敗します。NTPサーバーおよびDNSサーバーを定義する場合はIPアドレスのみを使用します。
      # ipconf -update -ntp IP_addr_list [-ilom-ntp ILOM_NTP_list] -dry
    2. ipconfコマンドを使用してNTP設定を更新します:

      次のコマンドで、IP_addr_listはNTPサーバーのIPアドレスのカンマ区切りリストです。ILOMのNTPサーバーも変更する場合、-ilom-ntpパラメータを指定し、ILOM_NTP_listを、NTPサーバーの最大3つのIPアドレスのカンマ区切りリストに置き換えます。-forceパラメータを指定して、すべてのチェックをバイパスして更新を強制します。

      # ipconf -update -ntp IP_addr_list [-ilom-ntp ILOM_NTP_list] [-force]

      新しいNTPサーバーから取得されたタイムスタンプと、システムに認識されている現在の時間との差が1秒を超える場合(時間ステップ)、コマンドは失敗し、NTP設定は更新されません。コマンドラインで-forceオプションを使用すると、このチェックを無視できます。

      次に、コマンドとその出力の例を示します。

      [root@dbm03adm02 oracle.cellos]# ipconf -update -ntp 10.31.138.20,10.31.16.1 
      -ilom-ntp 10.31.138.20,10.31.16.1
      [Info]: ipconf command line: ipconf -update -ntp 10.31.138.20,10.31.16.1 
      -ilom-ntp 10.31.138.20,10.31.16.1
      Logging started to /var/log/cellos/ipconf.log
      [Info]: Updating dns/ntp
      [Warning]: ntpd service is not running
      [Info]: Backup existing cell configuration file /opt/oracle.cellos/cell.conf to 
      /var/log/exadatatmp/cell.conf_2020_01_13-17_54_56
      [Info]: Restart ntpd service
      Shutting down ntpd:                                        [  OK  ]
      Starting ntpd:                                             [  OK  ]
      [Done]: Update cell configuration file /opt/oracle.cellos/cell.conf OK
      

4.12.3 Cisco RoCEネットワーク・ファブリック・スイッチでのNTPサーバー・アドレスの設定

この手順では、Cisco RoCEネットワーク・ファブリック・スイッチのネットワーク・タイム・プロトコル(NTP)サーバーのアドレスを変更する方法について説明します。

  1. SSHを使用してスイッチにアクセスし、管理者のパスワードを使用してadminユーザーとしてログインします。

    ノート:

    SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。
  2. 現在の構成を確認します。
    Switch# show running-config

    コマンド出力に、現在のNTPサーバーのエントリが表示されます。

    たとえば:

    ...
    ntp server 10.10.10.1 prefer use-vrf management
    ntp server 10.8.8.1 use-vrf management
    ...
  3. 現在のNTPサーバー構成を消去します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ntp server 10.10.10.1
    Switch(config)# no ntp server 10.8.8.1
    Switch(config)# end
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.

    ノート:

    変更対象の現在の各NTP IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。
  4. 最大2台のNTPサーバーを構成します。

    この例では、新しいNTPサーバーIPアドレスは10.7.7.1および10.9.9.1です。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# feature ntp
    Switch(config)# ntp server 10.7.7.1 prefer use-vrf management
    Switch(config)# ntp server 10.9.9.1 use-vrf management
    Switch(config)# clock protocol ntp
    Switch(config)# end
  5. 変更を確認します。
    Switch# show running-config

    コマンド出力に、新しいNTPサーバーのエントリが表示されます。

    たとえば:

    ...
    ntp server 10.7.7.1 prefer use-vrf management
    ntp server 10.9.9.1 use-vrf management
    ...
  6. 構成を保存します。
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  7. セッションを終了します。
    Switch# exit

4.12.4 Cisco 9300シリーズ管理ネットワーク・スイッチでのNTPサーバー・アドレスの設定

この手順では、Cisco 9300シリーズ管理ネットワーク・スイッチでネットワーク・タイム・プロトコル(NTP)サーバー・アドレスを変更する方法について説明します。

  1. SSHを使用してスイッチにアクセスし、管理者のパスワードを使用してadminユーザーとしてログインします。

    ノート:

    SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。
  2. 現在の構成を確認します。
    Switch# show running-config

    コマンド出力に、現在のNTPサーバーのエントリが表示されます。

    たとえば:

    ...
    ntp server 10.10.10.1 prefer use-vrf default
    ntp server 10.8.8.1 use-vrf default
    ...
  3. 現在のNTPサーバー構成を消去します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ntp server 10.10.10.1
    Switch(config)# no ntp server 10.8.8.1
    Switch(config)# end
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.

    ノート:

    変更対象の現在の各NTP IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。
  4. 最大2台のNTPサーバーを構成します。

    この例では、新しいNTPサーバーIPアドレスは10.7.7.1および10.9.9.1です。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# feature ntp
    Switch(config)# ntp server 10.7.7.1 prefer
    Switch(config)# ntp server 10.9.9.1
    Switch(config)# clock protocol ntp
    Switch(config)# end
  5. 変更を確認します。
    Switch# show running-config

    コマンド出力に、新しいNTPサーバーのエントリが表示されます。

    たとえば:

    ...
    ntp server 10.7.7.1 prefer use-vrf default
    ntp server 10.9.9.1 use-vrf default
    ...
  6. 構成を保存します。
    Switch# copy running-config startup-config
    [########################################] 100%
    Copy complete, now saving to disk (please wait)...
    Copy complete.
  7. セッションを終了します。
    Switch# exit

4.12.5 Cisco 4948イーサネット・スイッチでのNTPサーバー・アドレスの設定

Cisco 4948イーサネット・スイッチでネットワーク・タイム・プロトコル(NTP)サーバーを設定または変更できます。

  1. ファームウェア・バージョンに基づいて、次のいずれかの方法を使用してスイッチにアクセスします。
    1. バージョン12.2より前のファームウェア・バージョン: Telnetを使用してスイッチにアクセスし、管理パスワードを使用して管理者としてログインします。
    2. バージョン12.2以降のファームウェア: SSHを使用してスイッチにアクセスし、管理パスワードを使用してadminユーザーとしてログインします。

      ノート:

      SSHが構成されていない場合は、Telnetを使用して、adminユーザーとしてスイッチにアクセスします。
  2. enableモードに変更します。パスワードを要求されたら、監理者のパスワードを使用します。
    Switch> enable
  3. 現在の構成を確認します。
    Switch# show running-config
  4. 現在のNTPサーバー構成を消去します。

    この例では、現在のIPアドレスは10.10.10.1および10.8.8.1です。

    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# no ntp server 10.10.10.1
    Switch(config)# no ntp server 10.8.8.1
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]

    ノート:

    変更対象の現在の各NTP IPアドレスは消去する必要があります。無効なIPアドレスも消去する必要があります。
  5. 最大2台のNTPサーバーを構成します。
    Switch# configure terminal
    Enter configuration commands,one per line.End with CNTL/Z.
    Switch(config)# ntp server 10.7.7.1 prefer
    Switch(config)# ntp server 10.9.9.1
    Switch(config)# end
    Switch# write memory
    Building configuration...
    Compressed configuration from 2603 bytes to 1158 bytes [OK ]
  6. 変更を確認します。
    Switch# show running-config

    コマンド出力に、新しいNTPサーバーのエントリが表示されます。

    たとえば:

    
    Building configuration...
    ...
    ntp server 10.7.7.1 prefer
    ntp server 10.9.9.1
    ...
  7. 構成を保存します。
    Switch# copy running-config startup-config
    Destination filename [startup-config]? 
    Building configuration...
    Compressed configuration from 14343 bytes to 3986 bytes[OK]
  8. セッションを終了します。
    Switch# exit

4.12.6 InfiniBandネットワーク・ファブリック・スイッチでのNTPサーバー・アドレスの設定

InfiniBandネットワーク・ファブリック・スイッチでNetwork Time Protocol (NTP)サーバー・アドレスを設定または変更できます。

ノート:

InfiniBandネットワーク・ファブリック・スイッチのファイルを手動で編集しないでください。
  1. ilom-adminユーザーとしてログインします。
  2. 次のいずれかの方法を使用して日付、タイムゾーンおよびNTPサーバーを設定します。
    • Integrated Lights Out Manager (ILOM)グラフィカル・インタフェースの「構成」ページを使用。

    • 手動で次のコマンドを使用:

      set /SP/clock timezone=preferred_tz
      set /SP/clients/ntp/server/1 address=ntp_ip1
      set /SP/clients/ntp/server/2 address=ntp_ip2
      set /SP/clock usentpserver=enabled 
      

      前述のコマンドで、preferred_tzは優先されるタイムゾーン、ntp_ip1およびntp_ip2はNTPサーバーのIPアドレスです。両方のNTPサーバーを構成する必要はありませんが、少なくとも1つを構成する必要があります。

4.13 「タイムゾーン設定の変更」

初期構成およびデプロイメントの終了後に、Oracle Exadataでタイムゾーンを変更できます。

タイムゾーン設定を変更する場合は、次のコンポーネントを変更する必要があります。

  • ストレージ・サーバー
  • データベース・サーバー
  • RDMAネットワーク・ファブリックのスイッチ
  • イーサネット・スイッチ

ノート:

タイムゾーン設定を変更する前に、セル・サービスとOracle Clusterwareサービスを停止する必要があります。

4.13.1 ストレージ・サーバーでのタイムゾーン設定の変更

次のステップを使用して、ストレージのタイムゾーン設定を変更します。

すべてのストレージ・サーバーに対する設定変更を完了してから、データベース・サーバーの設定を変更してください。

  1. データベース・サーバー・ノードで、rootユーザーとしてログインします。
  2. すべてのノードでOracle Clusterwareスタックを停止します。

    次のようなコマンドを使用します(Grid_homeは、Oracle Grid Infrastructureソフトウェアのインストール場所)。

    # Grid_home/bin/crsctl stop crs
  3. ストレージ・サーバーにrootユーザーとしてログインします。
  4. ストレージ・サーバーでプロセスを停止します。
    # cellcli -e alter cell shutdown services all
    
  5. ipconfスクリプトを実行します。
    # /opt/oracle.cellos/ipconf
    
    1. タイムゾーン・プロンプトが表示されるまで、スクリプト・プロンプトに従います。その他の設定は変更しないでください。

      国は番号で指定します。国を指定すると、その国の中の複数のタイムゾーンに対応する別の番号のセットが表示されます。次に、タイムゾーンを南極大陸から米国に変更する場合のタイムゾーン・プロンプトの例を示します。米国の番号は230です。

      The current timezone: Antarctica/McMurdo
      Do you want to change it (y/n) [n]: y
       
      Setting up local time...
       
      1) Andorra
      2) United Arab Emirates
      3) Afghanistan
      .
      .
      .
      15) Aruba
      16) Aaland Islands
      Select country by number, [n]ext, [l]ast: 230
      
      Selected country: United States (US). Now choose a zone
       
      1) America/New_York
      2) America/Detroit
      3) America/Kentucky/Louisville
      .
      .
      .
      15) America/North_Dakota/New_Salem
      16) America/Denver
      Select zone by number, [n]ext: 1
      
      Selected timezone: America/New_York
      Is this correct (y/n) [y]:
      
    2. 残りのスクリプト・プロンプトに従いますが、他の値は変更しないでください。ILOMの設定は変更しないでください。

    スクリプトは、変更の要求すべてに対応した後で、新しいファイルを生成します。

    Info. Run /opt/oracle.cellos/validations/init.d/saveconfig
    /opt/oracle.cellos/validations/init.d/saveconfig started at 2017_05_12_10_28
    Copy cell configs from /opt/oracle/cell/cellsrv/deploy/config to /opt/oracle.cellos/iso/lastGoodConfig/cell/cellsrv/deploy/config
    [INFO] Copying ssh host settings from //etc/ssh to /opt/oracle.cellos/iso/lastGoodConfig/etc/ssh ...
    uid=0(root) gid=0(root) groups=0(root),1(bin),2(daemon),3(sys),4(adm),6(disk),10(wheel)
  6. タイムゾーンの変更が次のファイルに反映されていることを確認します。これらのファイルの変更を例を示します。
    • /opt/oracle.cellos/cell.conf:

      $VAR1 = {
                'Hostname' => 'xdserver.example.com',
                'Ntp servers' => [
                                   '10.141.138.1'
                                 ],
                'Timezone' => 'America/New_York',
      
    • /etc/sysconfig/clock:

      ZONE="America/New_York"
      UTC=false
      ARC=false
      #ZONE="Antarctica/McMurdo"
      #ZONE="America/New_York"
      #ZONE="America/Los_Angeles"
      

      コメント化されていないZONE値(行の先頭に#が付いていない値)が現在の設定です。

    • /etc/localtime:

      strings /etc/localtimeコマンドを実行して変更を検証します。最後の行がタイムゾーンを示しています。

      ~^Ip
      EST5EDT,M3.2.0,M11.1.0
      
  7. ストレージ・サーバーを再起動します。
  8. dateコマンドを使用して、現在のタイムゾーンを表示します。次に、コマンドの出力例を示します。
    # date
    Tue Jan 29 12:44:21 EDT 2019
    
  9. $ADR_BASE/diag/asm/cell/host_name/alert.logファイルを確認します。プロセスが再起動された時刻が現在の正しい時刻と一致する必要があります。
  10. 各セルでステップ3から9を繰り返します。

4.13.2 データベース・サーバーでのタイムゾーン設定の変更

ストレージ・セルでタイムゾーンの設定を変更したら、データベース・サーバーでタイムゾーンの設定を変更できます。

この手順を開始する前に、「ストレージ・サーバーでのタイムゾーン設定の変更」の説明に従って、Oracle Clusterwareスタックを停止して、ストレージ・セルでタイムゾーンを変更しておく必要があります。

  1. rootユーザーとして、いずれかのストレージ・セルからデータベース・サーバーにファイル/etc/localtimeをコピーします。
    # scp root@cell_name:/etc/localtime /etc/localtime
  2. いずれかのストレージ・セルからファイル/etc/sysconfig/clockをデータベース・サーバーにコピーします。
    # scp root@cell_name:/etc/sysconfig/clock /etc/sysconfig/clock
    
  3. Oracle Clusterwareの設定を変更して、データベース・サーバーの再起動後に、CRSスタックが自動的に起動されないようにします。
    # Grid_home/bin/crsctl disable crs
    
  4. データベース・サーバーを再起動します。
    shutdown -r now
  5. データベース・サーバー上で日付が変更されていることを確認します。

    dateコマンドを使用して、タイムゾーンの変更を検証します。

    # date
    Tue Jan 29 13:08:46 EDT 2017
  6. Oracle Clusterwareの設定を変更して、データベース・サーバーの再起動後に、CRSスタックが自動的に再起動されるようにします。
    # Grid_home/bin/crsctl enable crs
    
  7. データベース・サーバー上でCRSスタックを起動します。
    # Grid_home/bin/crsctl start crs
    

4.13.3 InfiniBandネットワーク・ファブリック・スイッチでのタイムゾーン設定の変更

InfiniBandネットワーク・ファブリック・スイッチでタイムゾーン設定を変更できます。

  1. ilom-adminユーザーとしてSSHを使用してInfiniBandネットワーク・ファブリック・スイッチに接続します。
    ssh -l ilom-admin switch_hostname
  2. versionコマンドを使用して、スイッチ・ソフトウェアのバージョンをチェックします。

    次に、コマンドの出力例を示します。

    $ version
    SUN DCS 36p version: 2.2.2-7
    Build time: Aug 26 2016 10:00:25
    SP board info:
    Manufacturing Date: 2012.06.23
    Serial Number: "ABCDE1234"
    Hardware Revision: 0x0007
    Firmware Revision: 0x0000
    BIOS version: SUN0R100
    BIOS date: 06/22/2010
  3. ソフトウェアのバージョンに応じて、次のようにスイッチを管理します。
    • ソフトウェアのバージョンが1.1.3-2以降の場合は、次のようにILOMを使用してスイッチを管理します。

      1. Webアドレスhttp://switch_aliasを使用して、ILOMにログインします。

      2. 「構成」タブを選択します。左側のナビゲーションで、「ILOM管理」を選択してから、「日付と時間」を選択します。

      3. クロック・タブを選択します。

      4. NTPを使用して時間を同期の横の「有効」チェック・ボックスをクリックします。

      5. 「サーバー1」テキスト・ボックスに、プライマリNTPサーバーの正しいIPアドレスを入力します。

      6. 「サーバー2」テキスト・ボックスに、使用するセカンダリNTPサーバーのIPアドレスを入力します。

      7. 「保存」をクリックします。

    • ソフトウェアのバージョンが1.1.3-2より前である場合は、次のようにSSHを使用してスイッチにログインします。

      1. 次のコマンドを使用して、スイッチにログインします。

        # ssh -l root {switch_ip | switch_name}
        
      2. 次のコマンドを使用して、ntpdデーモンを停止します。

        # service ntpd stop
        
      3. 次のコマンドを使用して、/etc/localtimeファイルのコピーを保存します。

        # cp /etc/localtime /etc/localtime.backup
        
      4. /usr/share/zoneinfoディレクトリでタイムゾーンのファイルを特定します。次に、米国の例を示します。

        #cd /usr/share/zoneinfo/US
        #ls 
        Alaska  Aleutian  Arizona  Central  Eastern  East-Indiana  Hawaii 
        Indiana-Starke  Michigan  Mountain  Pacific  Samoa
        
      5. 該当するファイルを/etc/localtimeディレクトリにコピーします。このコマンドの例を次に示します。

        # cp /usr/share/zoneinfo/US/Eastern /etc/localtime
        
      6. 現在の日時として現在の時刻に近い値を手動で設定します。

      7. dateコマンドでMMddHHmmCCyy形式(月、日、時間、分、世紀、年)を指定して、新しいタイムゾーン用に時刻をNTPサーバーと同期します。このコマンドの例を次に示します。

        # date 013110452013
        # ntpd -q -g
        
      8. 次のコマンドを使用して、日付を検証します。

        # date
        
      9. 次のコマンドを使用して、nptdデーモンを再起動します。

        # service ntpd start
        

4.13.4 Cisco RoCEネットワーク・ファブリック・スイッチでのタイム・ゾーン設定の変更

Cisco RoCEネットワーク・ファブリック・スイッチでタイムゾーン設定を変更できます。

  1. SSHを使用してスイッチにアクセスして、adminユーザーとしてログインします。
  2. configure terminalコマンドを使用して、構成を開始します。
  3. 次のコマンドを使用して、クロックを設定します。
    1. タイムゾーンを変更するには:
      clock timezone zone hours_offset minutes_offset
      

      前の構文では:

      • zoneは、標準時が有効になっているときに表示されるタイムゾーンの名前です。デフォルトのタイムゾーンはUTCです。

      • hours_offsetはUTCに対する時間のオフセットです

      • minutes_offsetはUTCに対する分のオフセットです

    2. 毎年決まった曜日にサマータイム(DST)が開始して終了する地域でサマータイムを設定するには、次のコマンドを使用します。
      clock summer-time zone recurring [week day month  hh:mm week day month  hh:mm[offset]]
      

      前の構文でweek day month hh:mmの値が2回指定されますが、1つは開始日時、もう1つは終了日時です。

      • recurringでは、毎年、指定日付にサマータイムが開始して終了することが指定されます。サマータイムはデフォルトでは無効になっています。clock summer-time zone recurringを指定し他のパラメータを付けない場合、サマータイムの規則としてデフォルトで米国の規則が使用されます。

      • weekには月の週(1から5)を指定します。最初のweekは開始日、2番目のweekは終了日です。

      • dayには曜日(SundayやMondayなど)を指定します。最初のweekは開始日、2番目のweekは終了日です。

      • monthには月(JanuaryやJuneなど)を指定します。最初のweekは開始日、2番目のweekは終了日です。

      • hh:mmには、24時間形式の時刻の時間と分(15:42など)を指定します

      • offsetは、サマータイムで追加される分数です。デフォルトは60です。

例4-2 RoCEネットワーク・ファブリック・スイッチでのタイムゾーンの設定

次に、タイムゾーンをアメリカ東部に設定し、サマータイムを有効にする場合の例を示します。

dbm0sw-rocea0#configure terminal
Enter configuration commands, one per line.  End with CNTL/Z.
dbm0sw-rocea0(config)#clock timezone EST -5 0
dbm0sw-rocea0(config)#clock summer-time EDT recurring
dbm0sw-rocea0(config)#end
dbm0sw-rocea0#copy running-config startup-config
Building configuration...
Compressed configuration from 6421 bytes to 2041 bytes[OK]
dbm0sw-rocea0#show clock
12:03:43.516 EDT Wed May 12 2012
dbm0sw-rocea0#

4.13.5 Cisco 管理ネットワーク・スイッチでのタイム・ゾーン設定の変更

イーサネット・スイッチでは、タイムゾーン設定を変更できます。

  1. Telnetを使用して、イーサネット・スイッチに接続します。
  2. enableコマンドを使用して、特権モードを開始します。
  3. configure terminalコマンドを使用して、構成を開始します。
  4. 次のコマンドを使用して、クロックを設定します。
    1. タイムゾーンを変更するには:
      clock timezone zone hours_offset minutes_offset
      

      前の構文では:

      • zoneは、標準時が有効になっているときに表示されるタイムゾーンの名前です。デフォルトのタイムゾーンはUTCです。

      • hours_offsetはUTCに対する時間のオフセットです

      • minutes_offsetはUTCに対する分のオフセットです

    2. 毎年決まった曜日にサマータイム(DST)が開始して終了する地域でサマータイムを設定するには、次のコマンドを使用します。
      clock summer-time zone recurring [week day month  hh:mm week day month  hh:mm[offset]]
      

      前の構文でweek day month hh:mmの値が2回指定されますが、1つは開始日時、もう1つは終了日時です。

      • recurringでは、毎年、指定日付にサマータイムが開始して終了することが指定されます。サマータイムはデフォルトでは無効になっています。clock summer-time zone recurringを指定し他のパラメータを付けない場合、サマータイムの規則としてデフォルトで米国の規則が使用されます。

      • weekには月の週(1から5)を指定します。最初のweekは開始日、2番目のweekは終了日です。

      • dayには曜日(SundayやMondayなど)を指定します。最初のweekは開始日、2番目のweekは終了日です。

      • monthには月(JanuaryやJuneなど)を指定します。最初のweekは開始日、2番目のweekは終了日です。

      • hh:mmには、24時間形式の時刻の時間と分(15:42など)を指定します

      • offsetは、サマータイムで追加される分数です。デフォルトは60です。

例4-3 イーサネット・スイッチでのタイムゾーン設定

次に、タイムゾーンをアメリカ東部に設定し、サマータイムを有効にする場合の例を示します。

$ telnet dbmcisco-ip
Connected to switch name
Escape character is '^]'.

User Access Verification

Password: 
dmbcisco-ip>enable
Password: 
dmbcisco-ip#configure terminal
Enter configuration commands, one per line.  End with CNTL/Z.
dmbcisco-ip(config)#clock timezone EST -5 0
dmbcisco-ip(config)#clock summer-time EDT recurring
dmbcisco-ip(config)#end
dmbcisco-ip#write memory
Building configuration...
Compressed configuration from 6421 bytes to 2041 bytes[OK]
dmbcisco-ip#show clock
12:03:43.516 EDT Wed May 12 2012
dmbcisco-ip#

4.14 KVMスイッチの管理

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

4.14.1 KVMスイッチの構成

この手順では、KVM(キーボード、ビデオ、マウス)スイッチの構成方法について説明します。

接続されているすべてのコンポーネントの電源を切断して、スイッチを構成します。

ノート:

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  1. ラックの前面からKVMトレイを引き出して、ハンドルを使用して開きます。

  2. タッチ・パッドに触れます。

  3. マウスのダブルクリックと同じように左側の[Ctrl]キーを2回押して、ホストとKVMインタフェースを切り替えます。

  4. ユーザー・インタフェースのユニット・ビューから「ターゲット・デバイス」を選択します。Oracle Exadata Database Machineフル・ラックに22、Oracle Exadata Database Machineハーフ・ラックに11、Oracle Exadata Database Machineクオータ・ラックに5のセッション数が表示されます。セッション数は、Oracle Exadata Storage Expansionフル・ラックは18、Oracle Exadata Storage拡張ハーフ・ラックは9、Oracle Exadata Storage拡張クオータ・ラックは4にする必要があります。

    ノート:

    すべてのセッションが表示されない場合、ポート・ヘッダーからIQアダプタを選択します。表ヘッダー、「ポート」の順にクリックして、ポート番号でセッションをソートします。欠落している項目をノートにとります。ラックの下部から上部にセッションの番号が順番に付けられます。

  5. ターゲット・デバイス画面に戻ります。

  6. ユーザー・アカウントから「ローカル」を選択します。

  7. ユーザーの下の「管理」をクリックします。

  8. 管理アカウントのパスワードを設定します。他のパラメータを変更しないでください。

  9. 「保存」をクリックします。

  10. アプライアンス設定から「ネットワーク」を選択します。「ネットワーク情報」画面が表示されます。

  11. IPv4またはIPv6を選択します。

  12. DNSサーバーのアドレス、サブネット、ゲートウェイおよびIPアドレスの値を入力します。

  13. 「保存」をクリックします。

  14. KVM LAN1イーサネット・ポートを管理ネットワークに接続します。

  15. ネットワーク情報画面のMACアドレスを確認して、ポートが正しく構成されていることを確認します。アドレスは、KVMスイッチの背面のLAN1/LAN2ポートの横のラベルと一致する必要があります。

  16. アプライアンスから「概要」を選択します。

  17. KVMスイッチの名前を入力します。

  18. 「保存」をクリックします。

  19. 「概要」の下の「再起動」を選択して、KVMスイッチを再起動します。

  20. アプライアンス設定の「バージョン」を選択して、ファームウェア・バージョンのスイッチを確認します。次のようにアプリケーションとブートに2つのバージョン番号が表示されます。

    Required version is:
    Application 1.2.10.15038
    Boot  1.6.15020
    

    ノート:

    推奨されているファームウェア・バージョンは、1.2.8以上です。

    ファームウェアが1.2.3以下の場合、ネットワーク・ブラウザからアップグレードできます。バージョン1.2.3以上の場合、KVM USBポートに接続されたフラッシュ・ドライブを使用してローカルのキーボードからアップグレードできます。ファームウェアをアップグレードするには、次の手順を実行します。

    1. アプライアンスから「概要」を選択します。

    2. 「ツール」リストからファームウェアのアップグレードを選択します。

    3. アップグレード方法を選択します。

    4. 「アップグレード」をクリックします。

    5. ファームウェア・バージョンを確認します。

関連項目:

KVMスイッチの管理情報ベース(MIB)の詳細は、AvocentのWebサイト(https://www.vertivco.com/en-us/support/software-download/it-management/avocent-mergepoint-unity-switches-software-downloads/)を参照してください

4.14.2 サーバーにアクセスするKVMスイッチの構成

次の手順は、サーバーにアクセスするKVMスイッチの構成方法を示しています。

ノート:

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  1. ユニット・ビューから「ターゲット・デバイス」を選択します。
  2. サーバーの電源を投入します。前面パネルに電源ボタンがあります。ボタンが固定されている場合は、小さな工具を使用して緩めます。
  3. マウスの左ボタンを使用して、「名前」列のシステム名をクリックします。
  4. 「概要」をクリックし、顧客の接頭辞、ノード・タイプおよび番号のOracle標準命名形式で名前を上書きします。たとえば、trnacel03は接頭辞がtrnaで、次にラック下部のストレージ・セル3を表す名前が続き、trnadb02は接頭辞がtrnaで、ラック下部のデータベース・サーバー2を表す名前が続きます。
  5. 「保存」を押します。
  6. ラックの各サーバーにステップ2から5を繰り返します。各サーバーをBIOSで起動して、デフォルトの工場出荷時のIP構成でオペレーティング・システムを起動します。

4.14.3 KVMスイッチを使用したサーバーのアクセス

次の手順は、KVMスイッチを使用してサーバーへアクセスする方法を示しています。

ノート:

KVMスイッチが用意されているのは、Oracle Exadata Database Machine X2-2ラック、およびSun Fire X4270 M2 Serverを使用したExadata Storage Serverを搭載したOracle Exadata Storage拡張ラックのみです。

  1. ユニット・ビューから「ターゲット・デバイス」を選択します。
  2. マウスの左ボタンを使用して、「名前」列のシステム名をクリックします。
  3. KVMセッションをクリックします。

4.15 LEDステータスの説明

Oracle Exadataラックのコンポーネントに搭載されているLEDは、点検整備が必要なコンポーネントを特定する際に役立ちます。

4.15.1 Sun Datacenter InfiniBand Switch 36スイッチのLED

表4-1に、Sun Datacenter InfiniBand Switch 36スイッチのLEDの色コードを示します。

表4-1 Sun Datacenter InfiniBand Switch 36スイッチのLEDステータスの説明

コンポーネント LEDステータス

Sun Datacenter InfiniBand Switch 36のシャーシ

  • ロケータLEDが白色: ロケータ自体の識別時に点滅します。機能していないときオンになり、無効になっているときはオフになります。

  • 注意LEDが黄色: 障害のある状態です。機能していないとき点滅します。

  • OK LEDが緑色: スイッチが正常に機能しています。機能していないとき点滅します。

Sun Datacenter InfiniBand Switch 36のリンク・ステータス

リンクLEDが緑色: リンクが確立されるとオンになります。リンクがダウンするとオフになり、シンボル・エラーがあると点滅します。

Sun Datacenter InfiniBand Switch 36のネットワーク管理ポート

  • リンク速度LED: 緑色は、1000BASE-Tを示します。黄色は、100BASE-Tを示します。オフはリンクがないことを示します。点滅は機能していないことを示します。

  • アクティビティLED: 点滅は、パケット・アクティビティを示します。オンは機能していないことを示します。オフはアクティビティがないことを示します。

Sun Datacenter InfiniBand Switch 36の電源

  • OK LEDが緑色: 12VDCが供給されていることを示します。点滅は機能していないことを示します。

  • 注意LEDが黄色: 障害があり、12VDCが停止しています。点滅は機能していないことを示します。

  • AC LEDが緑色: AC電源が供給されていて正常です。点滅は機能していないことを示します。

4.15.2 Cisco Nexus 9336C-FX2スイッチのLED

このトピックでは、Cisco Nexus 9336C-FX2スイッチに搭載されたLEDのカラー・コードについて説明します。

表4-2 Cisco Nexus 9336C-FX2スイッチのLEDステータスの説明

コンポーネント LEDステータス 場所

スイッチ・シャーシのビーコン(BCN) LED

  • 青色点滅: スイッチを特定するためにオペレータがアクティブにしたLED。
  • Off: デフォルト・ステータス(スイッチは特定されていません)。

BCN LEDはスイッチ前面の左側にあります

スイッチ・シャーシのステータス(STS) LED

  • 黄色点滅: スイッチは起動中です。
  • 黄色または赤色: スイッチの温度がマイナー・アラームのしきい値を超えています
  • 消灯: スイッチの電源が入っていません。

STS LEDはスイッチ前面の左側にあります

スイッチ・シャーシの環境(ENV) LED
  • 緑色: ファンと電源は正常に機能しています。
  • 黄色: 少なくとも1つの電源装置またはファンが機能停止しています。

ENV LEDはスイッチ前面の左側にあります

Cisco Nexus 9336C-FX2ネットワーク・ポート

  • 緑色: ポート管理状態が有効化されていて、Small form-factor pluggable (SFP)トランシーバが存在し、インタフェースが接続されています。
  • 黄色: ポート管理状態が無効化されているか、SFPが存在していません(またはその両方)。
  • 消灯: ポート管理状態が有効化されていてSFPが存在していますが、インタフェースが接続されていません。

ポートのLEDは最も近いポートを指す上向きまたは下向きの三角形で表示されます。

スイッチ・シャーシのレーン・リンク

  • 1つ以上点灯: レーンはチェック中です
  • なし: 4つのすべてのレーンがチェック中です。

レーン・リンクのLEDは、チェック中のブレイクアウト・レーンを示します。

電源装置のOK LEDとFault LED

  • OK-緑色, Fault-消灯: 電源装置は正常に機能しています。
  • OK-青色点滅Fault-消灯: 電源装置は電源に接続されていますが、スイッチに電力が供給されていません。電源装置がシャーシに設置されていない可能性があります。
  • OK-消灯Fault-消灯: 電源装置に電力が供給されていないか、シャットダウンされています。
  • OK-緑色Fault-黄色点滅: 電源装置の警告です。高電圧、高電力、低電圧、電源装置の警告状態またはファンの動作不良の可能性を示しています。
  • OK-緑色Fault-黄色: 電源装置の障害。

電源装置のLEDは電源装置前面の左側にあります。OK LEDとFault LEDで示される状態の組合せにより、モジュールのステータスが示されます。

ファン・モジュールのSTS LED

  • 緑色: ファン・モジールは正常に動作しています。
  • 赤色: ファン・モジュールは動作していません。
  • 消灯: ファン・モジュールに電力が供給されていません。

ファン・モジュールのLEDは、モジュール前面の通風孔の下にあります。