6.13 Oracle Exadataの初期エラスティック構成の実行

このトピックでは、エラスティック構成のバックグラウンド情報を示して、Oracle Exadataの初期構成を実行する方法を説明します。

Oracle Exadata Deployment Assistant (OEDA)によって生成される構成ファイルが必要です。

エラスティック構成は、Oracle Exadata System Softwareリリース12.1.2.1.0の新機能です。これは次のようなすべてのラック構成に適用されます。

  • 標準的な数のデータベース・ノードとセルを含むように注文されたラック(たとえば、クオータ・ラックまたはハーフ・ラック)
  • 追加のデータベース・ノードとセルを備えたラック構成
  • Oracle Exadata Two-Socket X5世代以降のストレージ・サーバー
  • InfiniBandネットワーク層またはRoCEネットワーク層を使用するOracle Exadata Rack

Oracle Exadata Two-Socket X5世代のストレージ・サーバー以降では、データベース・サーバーまたはストレージ・サーバーを既存の構成にさらに追加する場合も、同じプロセスを使用できます。

このプロセスでは、注文された構成の正確な値とは関係なく、初期IPアドレスをデータベース・サーバーおよびストレージ・サーバーに割り当てることができます。その後、ユーザー固有の構成をノードに適用できます。この手順は、任意のデータベース・ノード(通常は最初のノード)から実行でき、ストレージ・サーバーのみを追加する拡張の場合はストレージ・サーバーから実行することもできます。

すべてのOracle Exadataには、RDMAネットワーク・ファブリック・スイッチ・ポートにノードを配線するための事前定義済の方法があります。このため、ラック内の各ノードの場所からRDMAネットワーク・ファブリック・スイッチのポートへの固定されたマッピングがあります。常にこのマップに従ってラックに装置が取り付けられる場合は、RDMAネットワーク・ファブリックに問い合せて、ノードが接続されているRDMAネットワーク・ファブリック・スイッチ・ポートを判別することで、ノードのラック・ユニットの場所を特定できます。一度この情報が見つかると、これを使用してノードのラック・ユニット位置を判別します。この情報を使用して、ラック・ユニット位置に基づく初期IPアドレスをノードに割り当てることができます。ラック内でのノードの位置が下がるほどIPアドレスの値が小さくなります。

ノート:

  • InfiniBandネットワーク・ファブリックを使用するすべてのデータベース・サーバーにソフトウェアをインストールする前に、未使用のシステム・パーティションのディスク領域を再利用する必要があります。次のコマンドを使用してディスク領域/opt/oracle.SupportTools/reclaimdisks.sh -free -reclaimを再利用します。このコマンドは、RoCEベースのExadataデータベース・サーバーでは必要ありません。

  • RAID再構築/復元(ディスクの置換えまたは拡張)が進行中の場合、この項のステップを実行する前に、それが終了するまで待機します。これは、RAID再構築/復元が完了するまで、reclaimdisks.shスクリプトの実行がブロックされるためです。

  1. 最初のデータベース・サーバーのコンソール・セッションを開きます。最初のデータベース・サーバーは、ラック位置U16にあるラックの最下位データベース・サーバーです。セルのみの拡張の場合は、データベース・ノードではなくストレージ・サーバーでこの手順を実行する必要があります。

    ノート:

    Oracle Exadataのネットワーク接続および構成は行われていません。
  2. 最初のデータベース・サーバーにrootユーザーとしてログインします。

    ノート:

    rootユーザーのパスワードがない場合は、Oracleサポート・サービスに連絡してください。
  3. InfiniBandネットワーク・ファブリックを使用するシステムでのみ、次のコマンドを使用して、すべてのサーバーのeth0インタフェースが172.16.* IPアドレスを使用して構成されていることを確認します。

    # ibhosts
    
    
    Ca  : 0x0010e00001486fb8 ports 2 "node10 elasticNode 172.16.2.46,172.16.2.46 ETH0"
    Ca  : 0x0010e00001491228 ports 2 "node9 elasticNode 172.16.2.45,172.16.2.45 ETH0"
    Ca  : 0x0010e000014844f8 ports 2 "node8 elasticNode 172.16.2.44,172.16.2.44 ETH0"
    Ca  : 0x0010e00001488218 ports 2 "node4 elasticNode 172.16.2.40,172.16.2.40 ETH0"
    Ca  : 0x0010e000014908b8 ports 2 "node2 elasticNode 172.16.2.38,172.16.2.38 ETH0"
    Ca  : 0x0010e0000148ca68 ports 2 "node1 elasticNode 172.16.2.37,172.16.2.37 ETH0"
    Ca  : 0x0010e00001485fd8 ports 2 "node3 elasticNode 172.16.2.39,172.16.2.39 ETH0"

    各サーバー説明は、hostname elasticNode. ipaddress ETH0になるはずです。

  4. ラックで仮想化を使用する場合は、各データベース・サーバーを次のように構成します。

    ノート:

    Oracle Exadata Database Machine X8M-2以降、Oracle Linux KVMは、RoCEネットワーク・ファブリックを使用するシステムの仮想化テクノロジです。それ以外の場合、Oracle VM Server(OVM)は、InfiniBandネットワーク・ファブリックを使用するOracle Exadata Database Machineシステムのすべてで使用されるXenベースの仮想化技術です。

    このステップは、両方の仮想化技術に適用されます。

    # /opt/oracle.SupportTools/switch_to_ovm.sh

    このステップではデータベース・サーバーをリブートされます。

    ノート:

    物理構成と仮想化構成を切り替えることはできないか、サポートされていません。
  5. InfiniBandネットワーク・ファブリックを使用するシステムでのみ、データベース・サーバーの未使用のディスク領域を再利用します。

    InfiniBandネットワーク・ファブリックを使用するすべてのデータベース・サーバーにソフトウェアをインストールする前に、未使用のシステム・パーティションのディスク領域を再利用する必要があります。次のコマンドを使用してディスク領域/opt/oracle.SupportTools/reclaimdisks.sh -free -reclaimを再利用します。このコマンドは、RoCEベースのExadataデータベース・サーバーでは必要ありません。

    reclaimdisks.shはパーティションの再構成とその他にいくつかの必要な構成変更を行い、通常は1分未満で完了します。

  6. InfiniBandネットワーク・ファブリックを使用するシステムでのみ、データベース・サーバーのディスク構成を確認します。

    # /opt/oracle.SupportTools/reclaimdisks.sh -check
    

    システムが物理(ベア・メタル)デプロイメントの場合、出力の最後の行は次のようになります。

    Valid. Booted: Linux. Layout: Linux.
    

    システムがOracle VMデプロイメントの場合、出力の最後の行は次のようになります。

    Valid. Booted: DOM0. Layout: DOM0.
    
  7. 次のいずれかの方法を使用して、OEDA構成ファイルをデータベース・サーバーにコピーします。ストレージ・サーバーのみを追加している場合は、ステップをストレージ・サーバーから実行できます。

    • USBフラッシュ・ドライブを使用する手順は、次のとおりです。

      1. 構成ファイルをUSBフラッシュ・ドライブにコピーします。

      2. USBドライブをデータベース・サーバーまたはストレージ・サーバーに接続します。

      3. 次のコマンドを使用して、USBドライブを検索します。

        for x in `ls -1 /sys/block`; do udevadm info --attribute-walk --path=/sys/block/$x | grep \
        -iq 'DRIVERS=="usb-storage"'; if [ $? -eq 0 ] ; then echo /dev/${x}1; \
        fi ; done

        出力は次のようになります。

        /dev/sdb1

        ノート:

        Oracle Exadata Storage Server X6またはX5 Extreme Flash (EF)が使用される場合、このコマンドによって2つの内部USBドライブ(通常、/dev/sda1/dev/sdb1)も返されます。新たに挿入されたUSBドライブは追加デバイス(通常は/dev/sdc1)です。

        出力は次のようになります。

        /dev/sda1
        /dev/sdb1
        /dev/sdc1

        内部USBはmdstatを表示することで識別できます。

        # grep md4 /proc/mdstat | awk '{print $5,$6;}'
      4. 次のコマンドを使用して、データベース・サーバーまたはストレージ・サーバーにディレクトリを作成します。

        # mkdir /mnt/usb
      5. 次のコマンドを使用して、インストール用のディレクトリを作成します。

        # mkdir /opt/oracle.SupportTools/onecommand

        このディレクトリがすでに存在する場合は、既存ディレクトリの名前をonecommand.oldに変更してから、空のディレクトリを作成し直します。

        ノート:

        /u01または/EXAVMIMAGES内のディレクトリを使用しないでください。これらのディレクトリに内容が含まれるとreclaimdidsks.shが失敗するためです。
      6. デバイスをマウントします。ステップ7.cで指定したデバイス名を使用します。次に、コマンドの例を示します。

        # mount -t vfat /dev/sdb1 /mnt/usb
      7. 次のコマンドを使用して、USBフラッシュ・ドライブからデータベース・サーバーまたはストレージ・サーバーのonecommandディレクトリにOEDAおよび構成ファイルをコピーします。

        # cp /mnt/usb/path_to_file/*.* /opt/oracle.SupportTools/onecommand

        前述のコマンドのpath_to_fileは、USBフラッシュ・ドライブの構成ファイルへのディレクトリ・パスです。

      8. 次のコマンドを使用して、USBフラッシュ・ドライブをアンマウントします。

        # umount /mnt/usb
      9. データベース・サーバーまたはストレージ・サーバーからUSBフラッシュ・ドライブを取り外します。

    • 一時的にネットワーク接続を使用する手順は、次のとおりです。

      このオプションは、IPアドレスに競合があり、Oracle Exadataがネットワークに接続されていない場合にのみ必要です。

      1. 最初のデータベース・サーバーの後部のNET0というラベルのイーサネット・ポートにネットワーク・ケーブルを接続します。

      2. 次のように、eth0:1インタフェースを起動します。

        # ifconfig eth0:1 real_ip netmask real_netmask up

        前述のコマンドのreal_ipはデータベース・サーバーに割り当てられるIPアドレス、real_netmaskはデータベース・サーバーに割り当てられるサブネット・マスクです。

      3. 次のように、デフォルト・ルートを追加します。

        # route add -net 0.0.0.0 netmask 0.0.0.0 gw real_gateway

        前述のコマンドのreal_gatewayは、データベース・サーバーに使用されるデフォルトのゲートウェイです。

      4. scpなどのファイル転送ユーティリティを使用して、構成ファイルをデータベース・サーバーまたはストレージ・サーバーの/opt/oracle.SupportTools/onecommandディレクトリにコピーします。

      5. イーサネット・ポートNET0からネットワーク・ケーブルを取り外します。

        ノート:

        再起動中にネットワークが自動的に再構成されるため、ネットワークを再構成する必要はありません。
  8. ラック内のサーバーと同じネットワーク(172.16.*)上のホストに、OEDAアーカイブをダウンロードして解凍します。

    ラック内のサーバーでは、applyElasticConfig.shスクリプトはデフォルトでは構成されません。

  9. applyElasticConfig.shスクリプトを実行します。

    たとえば、OEDA ZIPファイルを/opt/oracle.SupportTools/onecommand/linux-x64ディレクトリに解凍した場合は、次のコマンドを使用します。

    # cd /opt/oracle.SupportTools/onecommand/linux-x64
    
    # ./applyElasticConfig.sh -cf customer_name-configFile.xml

    applyElasticConfig.shスクリプトは、すべてのデータベース・サーバーおよびストレージ・サーバーのネットワーク構成を実行します。プロセスが終了すると、すべてのサーバーが再起動します。

  10. 管理ネットワークの企業ネットワーク・ケーブルを管理ネットワーク・スイッチに接続します。

  11. クライアント・アクセス・ネットワークの企業ネットワーク・ケーブルをデータベース・サーバーに接続します。

  12. すべてのデータベース・サーバーおよびストレージ・サーバーを再起動します。

  13. 次のコマンドを使用して、最初のデータベース・サーバー(または、拡張でストレージ・サーバーのみを追加する場合はストレージ・サーバー)にログインし、ネットワーク接続を確認します。

    # cd /opt/oracle.SupportTools/onecommand/linux-x64
    
    #./checkip.sh -cf configuration_file

    前述のコマンドのconfiguration_fileOEDAからの構成ファイルの名前で、フルパスが含まれます。

    ノート:

    • checkip.shスクリプトは、Oracle Exadataへのネットワーク接続を確認するためにOracle Exadataの外部のサーバーで実行できます。checkip.shファイルを外部システムにコピーし、このステップに示されているコマンドを実行します。

    • Microsoft Windowsマシンからコマンドを実行する場合、コマンドはcheckip.cmdになります。

    • 関連するプラットフォーム用のOEDAのバージョンをダウンロードします。

  14. OEDAを使用して、Oracle Exadataのソフトウェアをインストールおよび構成します。