2 Oracle Exadata Database Machineのデータベース・サーバーの保守

注意:

読みやすさを考慮して、Oracle Exadata Database MachineとOracle Exadata Storage拡張ラックの両方に言及する場合、「Oracle Exadataラック」という名前を使用します。

この章のトピックは、次のとおりです:

2.1 データベース・サーバー上の管理サーバー

データベース・サーバー上で実行される管理サーバー(MS)は監視やアラートなどの管理機能を提供します。DBMCLIコマンドライン管理ツールも提供します。

関連項目:

2.2 Oracle Database Serverのハード・ディスクの保守

ハード・ディスクを修理する際には、Oracle Exadata Database Machineのデータベース・サーバーを停止する必要はありません。

ラックの停止時間は必要ありませんが、個別のサーバーが停止して、一時的にクラスタの外部で処理される場合があります。

2.2.1 データベース・サーバー構成の検証

データベース・サーバーRAIDデバイスのステータスを確認して、パフォーマンスへの影響がないか、または停止しないようにすることをお薦めします。

RAIDデバイスの検証による影響は最小です。是正処置による影響は未対応の特定の問題によって異なり、単純な再構成から停止が必要になる場合があります。

2.2.1.1 RAIDディスク構成について

ディスクの構成はRAID-5構成です。

各データベース・サーバーのディスク・ドライブは、MegaRAID SASディスク・コントローラによって管理されます。

表2-1 Exadata Database Machine Two-Socket Systemsのディスク構成

サーバー・タイプ RAIDコントローラ ディスク構成

Oracle Exadata Database Machine X8-2

MegaRAID SAS 9361-16i

データベース・サーバーごとにの4つのディスク・ドライブ

Oracle Exadata Database Machine X7-2

MegaRAID SAS 9361-16i

データベース・サーバーごとにの4つのディスク・ドライブ

Oracle Exadata Database Machine X6-2

MegaRAID SAS 9361-8i

データベース・サーバーごとにの4つのディスク・ドライブ

Oracle Exadata Database Machine X5-2

MegaRAID SAS 9361-8i

データベース・サーバーごとにの4つのディスク・ドライブ

Oracle Exadata Database Machine X4-2

MegaRAID SAS 9261-8i

データベース・サーバーごとにの4つのディスク・ドライブ

Oracle Exadata Database Machine X3-2

MegaRAID SAS 9261-8i

データベース・サーバーごとにの4つのディスク・ドライブ

Oracle Exadata Database Machine X2-2

MegaRAID SAS 9261-8i

データベース・サーバーごとにの4つのディスク・ドライブ

表2-2 Exadata Database Machine Eight-Socket Systemsのディスク構成

サーバー・タイプ RAIDコントローラ ディスク構成

Oracle Exadata Database Machine X8-8

該当なし

データベース・サーバーごとに2つのNVMeフラッシュ・アクセラレータ・カード

Oracle Exadata Database Machine X7-8

該当なし

データベース・サーバーごとに2つのNVMeフラッシュ・アクセラレータ・カード

Oracle Exadata Database Machine X5-8

MegaRAID SAS 9361-8i

データベース・サーバーごとに8つのディスク・ドライブとともに、RAIDセット全体にわたって作成された1つの仮想ドライブ

Oracle Exadata Database Machine X4-8

MegaRAID SAS 9261-8i

デフォルトで1つのグローバル・ホット・スペア・ドライブを搭載した1つの6ディスクRAID-5として構成された、データベース・サーバーごとに7つのディスク・ドライブ

Oracle Exadata Database Machine X3-8

MegaRAID SAS 9261-8i

データベース・サーバーごとに8つのディスク・ドライブとともに、RAIDセット全体にわたって作成された1つの仮想ドライブ

2.2.1.2 Oracle Exadata Database Machine X7-8以降のシステムのディスク・コントローラ構成の検証
  • 次に示すようにmdstatの問合せを実行して、Oracle Exadata Database Machine X7-8以降のシステムのデータベース・サーバーのディスク・コントローラ構成を表示します。
    [root@dbnode01adm01 ~]# cat /proc/mdstat 
    Personalities : [raid1] 
    md34 : active raid1 nvme3n1[1] nvme1n1[0]
          3125613568 blocks super external:/md126/0 [2/2] [UU]
          
    md24 : active raid1 nvme2n1[1] nvme0n1[0]
          262144000 blocks super external:/md127/0 [2/2] [UU]
          
    md25 : active raid1 nvme2n1[1] nvme0n1[0]
          2863467520 blocks super external:/md127/1 [2/2] [UU]
          
    md126 : inactive nvme3n1[1](S) nvme1n1[0](S)
          6306 blocks super external:imsm
           
    md127 : inactive nvme2n1[1](S) nvme0n1[0](S)
          6306 blocks super external:imsm
           
    unused devices: <none> 

出力が異なる場合は、問題点を調査して修正します。パフォーマンスが低下した仮想ドライブは、通常は存在しない物理ディスクまたは障害が発生したディスクです。状態に対して[1/2]および[U_]または[_U]を示すディスクは、NVMEディスクのいずれかが停止していることを示します。障害が発生したディスクはすぐに交換してください。

2.2.1.3 Oracle Exadata Database Machine X6-8以前のディスク・コントローラ構成の確認

Oracle Exadata Database Machine X4-2Oracle Exadata Database Machine X3-2およびOracle Exadata Database Machine X2-2の場合、予想される出力は仮想ドライブ1、パフォーマンス低下0、オフライン0、物理デバイス5 (1つのコントローラと4つのディスク)、ディスク4、クリティカル・ディスク0、障害が発生したディスク0です。

Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックの場合、予想される出力は仮想ドライブ1、パフォーマンス低下0、オフライン0、物理デバイス11 (1つのコントローラ、2つのSAS2拡張ポートおよび8つのディスク)、ディスク8、クリティカル・ディスク0、障害が発生したディスク0です。

出力が異なる場合は、問題点を調査して修正します。パフォーマンスが低下した仮想ドライブは、通常は存在しない物理ディスクまたは障害が発生したディスクです。ノードで障害が発生したディスクの数が、システムの動作を維持するのに必要な数を超えた場合は、データ損失のリスクを回避するために、クリティカル・ディスクをすぐに交換してください。障害が発生したディスクもすぐに交換してください。

注意:

その他の仮想ドライブまたはホット・スペアが存在する場合は、デプロイ時にディスク再利用手順が実行されなかったか、dualboot=no修飾子を使用せずにベア・メタル・リストア手順が実行された可能性があります。詳細および是正処置は、Oracleサポート・サービスに問い合せてください。また、My Oracle Supportノート1323309.1を参照してください。

ホット・スペアがあるデータベース・サーバーをOracle Exadata System Softwareリリース11.2.3.2.0以上にアップグレードする場合、ホット・スペアは削除され、アクティブ・ドライブとしてRAID構成に追加されます。データベース・サーバーはRAID5冗長性の観点では同じ可用性で稼働し続け、ドライブが1つ失われても存続できます。ドライブで障害が発生した場合は、Oracle Auto Service Request (ASR)により、そのドライブをできるだけ早く交換するように求める通知が送信されます。

  • 次のコマンドを使用して、Oracle Exadata Database Machine X7-8より前のすべてのシステムのデータベース・サーバーのディスク・コントローラ構成を確認します。
    if [[ -d /proc/xen && ! -f /proc/xen/capabilities ]]
    then
      echo -e "\nThis check will not run in a user domain of a virtualized environment.  Execute this check in the management domain.\n"
    else
      if [ -x /opt/MegaRAID/storcli/storcli64 ]
      then
        export CMD=/opt/MegaRAID/storcli/storcli64
      else
        export CMD=/opt/MegaRAID/MegaCli/MegaCli64
      fi
      RAW_OUTPUT=$($CMD AdpAllInfo -aALL -nolog | grep "Device Present" -A 8);
      echo -e "The database server disk controller configuration found is:\n\n$RAW_OUTPUT";
    fi;

    注意:

    この確認は、従来型のディスク・ドライブを一切装備しないOracle Exadata Database Machine X7-8以降のデータベース・サーバーには適用されません。

例2-1 ディスク拡張キットのないOracle Exadata Database Machine 2ソケット・システム(X2-2以上)のディスク・コントローラ構成の確認

次に、ディスク拡張キットのないOracle Exadata Database Machine 2ソケット・システム(X2-2以降)に対するコマンドの出力例を示します。

                Device Present
                ================
Virtual Drives    : 1 
  Degraded        : 0 
  Offline         : 0 
Physical Devices  : 5 
  Disks           : 4 
  Critical Disks  : 0 
  Failed Disks    : 0 

例2-2 Oracle Exadata Database Machine X4-8フル・ラックのディスク・コントローラ構成の確認

次に、Oracle Exadata Database Machine X4-8フル・ラックのコマンドの出力例を示します。

                Device Present
                ================
Virtual Drives    : 1
  Degraded        : 0
  Offline         : 0
Physical Devices  : 8
  Disks           : 7
  Critical Disks  : 0
  Failed Disks    : 0

例2-3 Oracle Exadata Database Machine X5-8またはX6-8フル・ラックのディスク・コントローラ構成の確認

次に、Oracle Exadata Database Machine X5-8またはX6-8 フル・ラックのコマンドの出力例を示します。

                Device Present
                ================
Virtual Drives   : 1
  Degraded       : 0
  Offline        : 0
Physical Devices : 9
  Disks          : 8
  Critical Disks : 0
  Failed Disks   : 0
2.2.1.4 仮想ドライブ構成の検証

仮想ドライブの構成を検証するには、次のコマンドを使用して、仮想ドライブの構成を検証します。

/opt/MegaRAID/MegaCli/MegaCli64 CfgDsply -aALL | grep "Virtual Drive:";    \
/opt/MegaRAID/MegaCli/MegaCli64 CfgDsply -aALL | grep "Number Of Drives";  \
/opt/MegaRAID/MegaCli/MegaCli64 CfgDsply -aALL | grep "^State" 

次に、Oracle Exadata Database Machine X4-2Oracle Exadata Database Machine X3-2およびOracle Exadata Database Machine X2-2の場合の出力例を示します。仮想デバイス0は4つのドライブを持ち、状態はOptimalです。

Virtual Drive                 : 0 (Target Id: 0)
Number Of Drives              : 4
State                         : Optimal

Oracle Exadata Database Machine X3-8フル・ラックおよびOracle Exadata Database Machine X2-8フル・ラックの場合は、仮想デバイスが8つのドライブを持ち、状態がOptimalであることを示す出力が表示されると予想されます。

注意:

データベース・サーバーでdualboot=noオプションを使用しないでディスク交換がされた場合、データベース・サーバーには3つの仮想デバイスがある可能性があります。詳細および是正処置は、Oracleサポートにお問合せください。また、My Oracle Supportノート1323309.1を参照してください。

2.2.1.5 物理ドライブ構成の検証

クリティカル・ディスク、機能が低下したディスクまたは障害が発生したディスクについてシステムを調査します。

物理ドライブの構成を検証するには、次のコマンドを使用して、データベース・サーバーの物理ドライブの構成を検証します。

/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL | grep "Firmware state"

次に、Oracle Exadata Database Machine X4-2Oracle Exadata Database Machine X3-2およびOracle Exadata Database Machine X2-2の場合の出力例を示します。

Firmware state: Online, Spun Up
Firmware state: Online, Spun Up
Firmware state: Online, Spun Up
Firmware state: Online, Spun Up

ドライブの状態は、Online, Spun Upと表示されている必要があります。出力順序は重要ではありません。Oracle Exadata Database Machine X3-8フル・ラックまたはOracle Exadata Database Machine X2-8フル・ラックの場合は、Online, Spun Upの状態を示す出力が8行になります。

出力が異なる場合は、問題点を調査して修正します。

パフォーマンスが低下した仮想ドライブは、通常は存在しない物理ディスクまたは障害が発生したディスクです。ノードで障害が発生したディスクの数が、システムの動作を維持するのに必要な数を超えた場合は、データ損失のリスクを回避するために、クリティカル・ディスクをすぐに交換してください。障害が発生したディスクはすぐに交換してください。

2.2.2 データベース・サーバーRAIDセットの再構築の監視

データベース・サーバーのRAIDセットのドライブを交換した場合は、RAIDセットの再構築の進捗状況を監視する必要があります。

ディスクを交換したデータベース・サーバーで次のコマンドを使用します。コマンドはrootユーザーとして実行します。

/opt/MegaRAID/MegaCli/MegaCli64 -pdrbld -showprog -physdrv \
[disk_enclosure:slot_number] -a0

前述のコマンドで、disk_enclosureおよびslot_numberは、MegaCli64 -PDListコマンドによって識別された交換ディスクを示します。次に、コマンドの出力例を示します。

Rebuild Progress on Device at Enclosure 252, Slot 2 Completed 41% in 13 Minutes.

2.2.3 Oracle Exadata System Softwareリリース12.1.2.1.0以上へのアップグレード後のホット・スペア・ドライブのリクレイム

Oracle Exadata System Softwareリリース12.1.2.1.0以上にアップグレードしたホット・スペア・ドライブがあるOracle Exadata Database Machineは、reclaimdisks.shスクリプトを使用してドライブをリクレイムできません。手動でドライブをリクレイムする手順は、次のとおりです。

注意:

この手順の実行中に、データベース・サーバーが2度再起動されます。手順のステップは、サーバーの再起動の後、Oracle Grid Infrastructureの再起動が無効であることを前提としています。

ディスクが4つあるOracle Exadata Database Machine X2-2データベース・サーバーの出力例を、次に示します。エンクロージャ識別子、スロット番号などは、使用するシステムにより異なる場合があります。

  1. ホット・スペア・ドライブを識別します。
    # /opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL
    

    ホット・スペア・ドライブのコマンドの出力例を、次に示します。

    ...
    Enclosure Device ID: 252
    Slot Number: 3
    Enclosure position: N/A
    Device Id: 8
    WWN: 5000CCA00A9FAA5F
    Sequence Number: 2
    Media Error Count: 0
    Other Error Count: 0
    Predictive Failure Count: 0
    Last Predictive Failure Event Seq Number: 0
    PD Type: SAS
    Hotspare Information:
    Type: Global, with enclosure affinity, is revertible
     
    Raw Size: 279.396 GB [0x22ecb25c Sectors]
    Non Coerced Size: 278.896 GB [0x22dcb25c Sectors]
    Coerced Size: 278.464 GB [0x22cee000 Sectors]
    Sector Size: 0
    Logical Sector Size: 0
    Physical Sector Size: 0
    Firmware state: Hotspare, Spun down
    Device Firmware Level: A2A8
    Shield Counter: 0
    Successful diagnostics completion on : N/A
    ...
    

    コマンドが、ホット・スペア・ドライブをエンクロージャ識別子252、スロット3で識別しました。

  2. 仮想ドライブの情報を取得します。
    # /opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -Aall
    

    次に、コマンドの出力例を示します。

    Adapter 0 -- Virtual Drive Information:
    Virtual Drive: 0 (Target Id: 0)
    Name :DBSYS
    RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3
    Size : 556.929 GB
    Sector Size : 512
    Is VD emulated : No
    Parity Size : 278.464 GB
    State : Optimal
    Strip Size : 1.0 MB
    Number Of Drives : 3
    Span Depth : 1
    Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
    Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
    Default Access Policy: Read/Write
    Current Access Policy: Read/Write
    Disk Cache Policy : Disabled
    Encryption Type : None
    Is VD Cached: No
    

    コマンドが、仮想ドライブ0のRAID 5構成をアダプタ0で識別しました。

  3. ホット・スペア・ドライブを削除します。
    # /opt/MegaRAID/MegaCli/MegaCli64 -PDHSP -Rmv -PhysDrv[252:3] -a0
    
  4. ドライブをアクティブRAID 5ドライブとして追加します。
    # /opt/MegaRAID/MegaCli/MegaCli64 -LDRecon -Start -r5     \
      -Add -PhysDrv[252:3] -L0 -a0
    
    Start Reconstruction of Virtual Drive Success.
    Exit Code: 0x00
    

    注意:

    Failed to Start Reconstruction of Virtual Driveというメッセージが表示された場合は、My Oracle Supportノート1505157.1の手順に従ってください。

  5. RAID再構築の進捗状況を監視します。
    # /opt/MegaRAID/MegaCli/MegaCli64 -LDRecon -ShowProg -L0 -a0
    
    Reconstruction on VD #0 (target id #0) Completed 1% in 2 Minutes.
    

    ホット・スペア・ドライブがRAID 5に追加され、再構築が終了した場合に表示されるコマンドの出力例を、次に示します。

    Reconstruction on VD #0 is not in Progress.
    
  6. ドライブの数を確認します。
    # /opt/MegaRAID/MegaCli/MegaCli64 -LDInfo -Lall -Aall
    

    次に、コマンドの出力例を示します。

    Adapter 0 -- Virtual Drive Information:
    Virtual Drive: 0 (Target Id: 0)
    Name :DBSYS
    RAID Level : Primary-5, Secondary-0, RAID Level Qualifier-3
    Size : 835.394 GB
    Sector Size : 512
    Is VD emulated : No
    Parity Size : 278.464 GB
    State : Optimal
    Strip Size : 1.0 MB
    Number Of Drives : 4
    Span Depth : 1
    Default Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
    Current Cache Policy: WriteBack, ReadAheadNone, Direct, No Write Cache if Bad BBU
    Default Access Policy: Read/Write
    Current Access Policy: Read/Write
    Disk Cache Policy : Disabled
    Encryption Type : None
    Is VD Cached: No
    
  7. RAIDのサイズを確認します。
    # parted /dev/sda print
    
    Model: LSI MR9261-8i (scsi)
    Disk /dev/sda: 598GB
    Sector size (logical/physical): 512B/4096B
    Partition Table: msdos
     
    Number Start End Size Type File system Flags
    1 32.3kB 132MB 132MB primary ext3 boot
    2 132MB 598GB 598GB primary lvm 
    
  8. 変更を有効にするためにサーバーを再起動します。
  9. RAIDのサイズを再度確認します。
    # parted /dev/sda print
    
    Model: LSI MR9261-8i (scsi)
    Disk /dev/sda: 897GB
    Sector size (logical/physical): 512B/4096B
    Partition Table: msdos
     
    Number Start End Size Type File system Flags
    1 32.3kB 132MB 132MB primary ext3 boot
    2 132MB 598GB 598GB primary lvm
    

    RAIDのサイズが大きいと、ボリューム・グループを拡張できます。ボリューム・グループを拡張するには、もう1つのパーティションをドライブに追加する必要があります。

  10. 新しいサイズ(セクター数)を取得します。
    # parted /dev/sda
    
    GNU Parted 2.1
    Using /dev/sda
    Welcome to GNU Parted! Type 'help' to view a list of commands.
    (parted) unit s
    (parted) print
    Model: LSI MR9261-8i (scsi)
    Disk /dev/sda: 1751949312s
    Sector size (logical/physical): 512B/4096B
    Partition Table: msdos
     
    Number Start End Size Type File system Flags
    1 63s 257039s 256977s primary ext3 boot
    2 257040s 1167957629s 1167700590s primary lvm
    

    上記の例では、セクター1167957630で開始し、ディスクの末尾のセクター1751949311で終了する3番目のパーティションが作成されます。

  11. ドライブに追加のパーティションを作成します。
    # parted /dev/sda
    
    GNU Parted 2.1
    Using /dev/sda
    Welcome to GNU Parted! Type 'help' to view a list of commands.
    (parted) unit s
     
    (parted) mkpart
     
    Partition type? primary/extended? primary
    File system type? [ext2]? ext2 
    Start? 1167957630
    End? 1751949311
    Warning: The resulting partition is not properly aligned for best performance.
    Ignore/Cancel? Ignore
    Warning: WARNING: the kernel failed to re-read the partition table on /dev/sda (Device or resource busy). As a
    result, it may not reflect all of your changes until after reboot.
    (parted)
     
    (parted) print
    Model: LSI MR9261-8i (scsi)
    Disk /dev/sda: 1751949312s
    Sector size (logical/physical): 512B/4096B
    Partition Table: msdos
     
    Number Start End Size Type File system Flags
    1 63s 257039s 256977s primary ext3 boot
    2 257040s 1167957629s 1167700590s primary lvm
    3 1167957630s 1751949311s 583991682s primary
     
    (parted) set 3 lvm on 
     
    Warning: WARNING: the kernel failed to re-read the partition table on /dev/sda (Device or resource busy). As a
    result, it may not reflect all of your changes until after reboot.
    (parted) print
    Model: LSI MR9261-8i (scsi)
    Disk /dev/sda: 1751949312s
    Sector size (logical/physical): 512B/4096B
    Partition Table: msdos
     
    Number Start End Size Type File system Flags
    1 63s 257039s 256977s primary ext3 boot
    2 257040s 1167957629s 1167700590s primary lvm
    3 1167957630s 1751949311s 583991682s primary lvm
    
  12. データベース・サーバーを再起動します。
  13. 物理ボリュームを作成します。
    # pvcreate /dev/partition_name
    
  14. 物理ボリュームを既存のボリューム・グループに追加します。

    次の例に示すvolume_grouppartitionvolume_nameは、実際の名前に置き換えてください。

    # vgextend volume_group /dev/partition_name
     
    Volume group "volume_name" successfully extended 
    
  15. 「LVMパーティションの拡張」の手順に従い、論理ボリュームおよびファイル・システムのサイズを変更します。

2.2.4 自動ファイル削除のポリシーについて

管理サーバー(MS)には、データベース・サーバーの/ (root)ディレクトリに関するファイル削除ポリシーがあり、ファイル・システムの使用率が高い場合にトリガーされます。ファイルの削除はファイル使用率が80パーセントの場合にトリガーされ、削除開始前にアラートが送信されます。アラートには、ディレクトリの名前と、サブディレクトリの領域の使用率が含まれます。削除ポリシーは次のとおりです。

次に示すディレクトリ内のファイルは、ファイル変更のタイム・スタンプに基づいたポリシーを使用して削除されます。

  • /opt/oracle/dbserver/log
  • /opt/oracle/dbserver/dbms/deploy/config/metrics
  • /opt/oracle/dbserver/dbms/deploy/log

metricHistoryDays属性によって設定された日数より古いファイルが最初に削除され、続けて古いファイルから変更タイムスタンプが10分以前のファイル、またはファイル・システムの使用率が75パーセントまでのファイルが削除されます。metricHistoryDays属性は/opt/oracle/dbserver/dbms/deploy/config/metrics内のファイルに適用されます。その他のログ・ファイルとトレース・ファイルには、diagHistoryDays属性を使用します。

Oracle Exadata System Softwareリリース12.1.2.2.0以降では、ms-odl.trcファイルとms-odl.logファイルの領域の最大容量は、*.trcファイル用が100 MB (20個の5 MBファイル)、*.logファイル用が100 MB (20個の5 MBファイル)です。以前は、*.trcファイルと*.logファイルの両方とも、50 MB (10個の5 MBファイル)でした。

ms-odl生成ファイルは5 MBに達すると名前が変更され、100 MBの領域を使い切ると、最も古いファイルが削除されます。

2.3 Exadata Database Serverのフラッシュ・ディスクの保守

フラッシュ・ディスクは必ず監視して必要に応じて交換します。

Exadata Database Machine X7-8以上のデータベース・サーバーでは、ハード・ディスクのかわりにフラッシュ・デバイスが使用されます。これらのフラッシュ・デバイスは、サーバーを停止しなくても交換できます。

2.3.1 フラッシュ・ディスクのステータスの監視

DBMCLI LIST PHYSICALDISKコマンドを使用して属性をチェックすることによって、Exadata Database Machineのフラッシュ・ディスクのステータスを監視できます。

たとえば、障害と同等のフラッシュ・ディスク・ステータスの問題が発生し、交換が必要である場合などです。

  • DBMCLIコマンドLIST PHSYICALDISKを使用すると、フラッシュ・ディスクのステータスを調べることができます。
    DBMCLI> LIST PHYSICALDISK WHERE disktype=flashdisk AND status!=normal DETAIL
             name:               FLASH_1_1
             deviceName:         /dev/nvme0n1
             diskType:           FlashDisk
             luns:               1_1
             makeModel:          "Oracle Flash Accelerator F640 PCIe Card"
             physicalFirmware:   QDV1RD09
             physicalInsertTime: 2017-08-11T12:25:00-07:00
             physicalSerial:     PHLE6514003R6P4BGN-1
             physicalSize:       2.910957656800747T
             slotNumber:         "PCI Slot: 1; FDOM: 1"
             status:             failed - dropped for replacement

Exadata Database Serverのフラッシュ・ディスク・ステータスは次のとおりです。

  • 正常

  • 正常 - 交換のため切断

  • 失敗

  • 障害 - 交換のため切断

  • 障害 - 不適切なディスク・モデルのため拒否

  • 障害 - 不適切なディスク・モデルのため拒否 - 交換のため切断

  • 障害 - 間違ったスロットのため拒否

  • 障害 - 間違ったスロットのため拒否 - 交換のため切断

  • 警告 - ピア障害

  • 警告 - 予測障害、ライトスルー・キャッシュ

  • 警告 - 予測障害

  • 警告 - 予測障害 - 交換のため切断

  • 警告 - ライトスルー・キャッシュ

2.3.2 フラッシュ・ディスクのホットプラグ交換の実行

Oracle Exadata Database Machine X7-8およびX8-8モデルのデータベース・サーバーでは、ハード・ディスク・ドライブのかわりにホットプラグ対応のフラッシュ・ディスクが使用されます。

  1. フラッシュ・ディスクの交換が可能かどうかを調べます。
    Oracle Exadata Database Machine X7-8およびX8-8データベース・サーバーでフラッシュ・デバイスのホットプラグ交換を実行する場合は、ディスク・ステータスが交換のため切断になっている必要があり、このことは、フラッシュ・ディスクのオンライン交換が可能であることを示します。
    DBMCLI> LIST PHYSICALDISK WHERE DISKTYPE=flashdisk AND STATUS LIKE '.*dropped 
    for replacement.*' DETAIL
    
             name:               FLASH_1_1
             deviceName:         /dev/nvme0n1
             diskType:           FlashDisk
             luns:               1_1
             makeModel:          "Oracle Flash Accelerator F640 PCIe Card"
             physicalFirmware:   QDV1RD09
             physicalInsertTime: 2017-08-11T12:25:00-07:00
             physicalSerial:     PHLE6514003R6P4BGN-1
             physicalSize:       2.910957656800747T
             slotNumber:         "PCI Slot: 1; FDOM: 1"
             status:             failed - dropped for replacement
    
  2. PCI番号およびFDOM番号に基づいて、障害が発生したフラッシュ・ディスクを特定します。
    白色のロケータLEDが点灯し、影響を受けているデータベース・サーバーを特定できます。黄色の障害サービス必須LEDが点灯し、影響を受けるフラッシュ・カードを特定できます。
  3. カードのDPCC OK LEDが消灯していることを確認します。

    注意:

    DPCC OK LEDが点灯しているカードを取り外すと、システムがクラッシュする可能性があります。障害が発生したディスクのステータスが障害 - 交換のため切断であるのにDPCC OK LEDがまだ点灯している場合は、Oracleサポートに連絡してください。
  4. 障害が発生したフラッシュ・ディスクを取り外して交換します。
    1. DPCCを引き出して、内部のフラッシュ・カードを交換します。
    2. DPCCをスロットに戻します。
  5. スタイラスを使用して、DPCCの前面にある両方の注意ボタンを押します。
    • PCIeカードが1枚のみの場合は、対応する注意ボタンのみを押します。
    • ホットプラグ交換を実行しない場合、このステップは必要ありません。

    ボタンを押すと、デバイスをオンラインにするよう求めるアラートがシステムに送信されます。この要求がシステムで認識されると、DPCCのDPCC OK LEDインジケータが点灯します。注意ボタンを押さないかぎり、フラッシュ・ディスクはオペレーティング・システムで検出されません。

2.4 データベース・サーバーへのディスク拡張キットの追加

ディスク拡張キットは、一部のOracle Exadata Database Serverに追加できます。

以下の制限に注意してください。

  • ディスク拡張キットはOracle Exadata Database Machine X5-2、X6-2およびX7-2システムでのみサポートされています。

  • Oracle Exadata System Softwareリリース12.1.2.3.0以降が必要です。

  1. プラスチック・フィルタをディスク拡張キットの4つのドライブに交換します。
    コントローラが新しいドライブを検出できるように、サーバーの電源を投入する必要があります。
  2. ディスク拡張キットが検出され、既存のRAID5構成にそれらのドライブが自動的に追加されたこと、および対応する仮想ドライブの再構築を開始することを通知するアラートが生成されます。
  3. 仮想ドライブの再構築が完了したときに、再度アラートが生成されます。
  4. /opt/oracle.SupportTools/reclaimdisks.sh -extend-vgexadbを実行し、VGExaDbボリューム・グループを/dev/sdaシステム・ディスクの残存領域まで拡張します。

    注意:

    • reclaimdisks.shは、データベース・ソフトウェアがインストールされる前の、初回のデプロイメント中にのみ機能します。すでにしばらくOracle Exadata Database Machineを実行している場合は、初回のデプロイメント中にすでにこれを実行しているため、実行する必要はありません。初回のデプロイメント中にこれが実行されなかった場合、この時点では、/u01に加えられた変更が多すぎるため、実行できません。reclaimdisks.shでは、/u01ファイル・システムに対する変更を検出すると、エラー・メッセージを返します。デフォルトでは、新しいシステムでは/u01ファイル・システムは空です。

    • このコマンドは仮想ドライブの再構築が完了した後にのみ実行してください。再構築が完了する前に実行した場合、次のメッセージが表示されます。

      [WARNING ] Reconstruction of the logical drive 0 is in progress: Completed: 14%. Left: 5 Hours 32 Minutes
      [WARNING ] Continue after reconstruction is complete
      

      この場合は、仮想ドライブの再構築が完了してから再度コマンドを実行します。

    GUIDパーティション表(GPT)を修復するか、または現在の設定で続行するかを尋ねるプロンプトが表示された場合は、Fを入力してGPTを修復します。

    [root@dbnode01 ~]# /opt/oracle.SupportTools/reclaimdisks.sh -extend-vgexadb
    Model is ORACLE SERVER X6-2
    Number of LSI controllers: 1
    Physical disks found: 8 (252:0 252:1 252:2 252:3 252:4 252:5 252:6 252:7)
    Logical drives found: 1
    Linux logical drive: 0
    RAID Level for the Linux logical drive: 5
    Physical disks in the Linux logical drive: 8 (252:0 252:1 252:2 252:3 252:4 252:5 252:6 252:7)
    Dedicated Hot Spares for the Linux logical drive: 0
    Global Hot Spares: 0
    Valid. Disks configuration: RAID5 from 8 disks with no global and dedicated hot spare disks.
    Valid. Booted: Linux. Layout: Linux + DOM0.
    [INFO     ] Size of system block device /dev/sda: 4193GB
    [INFO     ] Last partition on /dev/sda ends on: 1797GB
    [INFO     ] Unused space detected on the system block device: /dev/sda
    [INFO     ] Label of partition table on /dev/sda: gpt
    [INFO     ] Adjust the partition table to use all of the space on /dev/sda
    [INFO     ] Respond to the following prompt by typing 'F'
    Warning: Not all of the space available to /dev/sda appears to be used, you can fix the GPT to use all of the space (an extra 4679680000 blocks) or
    continue with the current setting?
    Fix/Ignore? F
    Model: LSI MR9361-8i (scsi)
    Disk /dev/sda: 4193GB
    Sector size (logical/physical): 512B/512B
    Partition Table: gpt
     
    Number  Start   End     Size    File system  Name     Flags
     1      32.8kB  537MB   537MB   ext4         primary  boot
     2      537MB   123GB   122GB                primary  lvm
     3      123GB   1690GB  1567GB               primary
     4      1690GB  1797GB  107GB                primary  lvm
     
    [INFO     ] Check for Linux with inactive DOM0 system disk
    [INFO     ] Valid Linux with inactive DOM0 system disk is detected
    [INFO     ] Number of partitions on the system device /dev/sda: 4
    [INFO     ] Higher partition number on the system device /dev/sda: 4
    [INFO     ] Last sector on the system device /dev/sda: 8189440000
    [INFO     ] End sector of the last partition on the system device /dev/sda: 3509759000
    [INFO     ] Unmount /u01 from /dev/mapper/VGExaDbOra-LVDbOra1
    [INFO     ] Remove inactive system logical volume /dev/VGExaDb/LVDbSys3
    [INFO     ] Remove xen files from /boot
    [INFO     ] Remove logical volume /dev/VGExaDbOra/LVDbOra1
    [INFO     ] Remove volume group VGExaDbOra
    [INFO     ] Remove physical volume /dev/sda4
    [INFO     ] Remove partition /dev/sda4
    [INFO     ] Remove device /dev/sda4
    [INFO     ] Remove partition /dev/sda3
    [INFO     ] Remove device /dev/sda3
    [INFO     ] Create primary partition 3 using 240132160 8189439966
    [INFO     ] Set lvm flag for the primary partition 3 on device /dev/sda
    [INFO     ] Add device /dev/sda3
    [INFO     ] Primary LVM partition /dev/sda3 has size 7949307807 sectors
    [INFO     ] Create physical volume on partition /dev/sda3
    [INFO     ] LVM Physical Volume /dev/sda3 has size 3654340511 sectors
    [INFO     ] Size of LVM physical volume less than size of device /dev/sda3
    [INFO     ] Remove LVM physical volume /dev/sda3
    [INFO     ] Reboot is required to apply the changes in the partition table
    
  5. 必要に応じて、データベース・サーバーを再起動してパーティション表に変更を適用します。再起動が必要な場合は、前述のコマンドのメッセージの末尾にそのように表示されます。
    [root@dbnode01 ~]# shutdown -r now
    

    再起動が不要の場合は、ステップ7に進みます。

  6. /opt/oracle.SupportTools/reclaimdisks.sh -extend-vgexadbを実行します。

    このステップは、追加領域をどのように使用するかに応じて異なります。たとえば、既存のボリューム・グループのサイズを大きくしたり、追加領域を使用する新しいボリューム・グループを作成してマウントすることができます。

    このコマンドで次のようなエラーが表示されることがあります。このエラーは無視しても問題ありません。

    [root@dbnode01 ~]# /opt/oracle.SupportTools/reclaimdisks.sh -extend-vgexadb
    Model is ORACLE SERVER X6-2
    Number of LSI controllers: 1
    Physical disks found: 8 (252:0 252:1 252:2 252:3 252:4 252:5 252:6 252:7)
    Logical drives found: 1
    Linux logical drive: 0
    RAID Level for the Linux logical drive: 5
    Physical disks in the Linux logical drive: 8 (252:0 252:1 252:2 252:3 252:4 252:5 252:6 252:7)
    Dedicated Hot Spares for the Linux logical drive: 0
    Global Hot Spares: 0
    Valid. Disks configuration: RAID5 from 8 disks with no global and dedicated hot spare disks.
    Valid. Booted: Linux. Layout: Linux.
    [INFO     ] Check for Linux system disk
    [INFO     ] Number of partitions on the system device /dev/sda: 4
    [INFO     ] Higher partition number on the system device /dev/sda: 4
    [INFO     ] Last sector on the system device /dev/sda: 8189440000
    [INFO     ] End sector of the last partition on the system device /dev/sda: 8189439966
    [INFO     ] Next free available partition on the system device /dev/sda:
    [INFO     ] Primary LVM partition /dev/sda4 has size 4679680000 sectors
    [INFO     ] Create physical volume on partition /dev/sda4
    [INFO     ] LVM Physical Volume /dev/sda4 has size 4679680000 sectors
    [INFO     ] Size of LVM physical volume matches size of primary LVM partition /dev/sda4
    [INFO     ] Extend volume group VGExaDb with physical volume on /dev/sda4
    [INFO     ] Create 100Gb logical volume for DBORA partition in volume group VGExaDb
    [WARNING  ] Failed command at attempt: lvm lvcreate -L 100GB -n LVDbOra1 VGExaDb at 1/1
    [ERROR    ] Failed command: lvm lvcreate -L 100GB -n LVDbOra1 VGExaDb
    [ERROR    ] Unable to create logical volume LVDbOra1 in volume group VGExaDb
    [ERROR    ] Unable to reclaim all disk space
    
  7. 確認のため、/opt/oracle.SupportTools/reclaimdisks.shを実行します。
    [root@dbnode01 ~]# /opt/oracle.SupportTools/reclaimdisks.sh
    Model is ORACLE SERVER X6-2
    Number of LSI controllers: 1
    Physical disks found: 8 (252:0 252:1 252:2 252:3 252:4 252:5 252:6 252:7)
    Logical drives found: 1
    Linux logical drive: 0
    RAID Level for the Linux logical drive: 5
    Physical disks in the Linux logical drive: 8 (252:0 252:1 252:2 252:3 252:4 252:5 252:6 252:7)
    Dedicated Hot Spares for the Linux logical drive: 0
    Global Hot Spares: 0
    Valid. Disks configuration: RAID5 from 8 disks with no global and dedicated hot spare disks.
    Valid. Booted: Linux. Layout: Linux.
    
  8. LVMパーティションの拡張の説明に従い、論理ボリュームおよびファイル・システムのサイズを変更します。

2.5 データベース・サーバーへのメモリー拡張キットの追加

データベース・サーバーにはメモリーを追加できます。メモリーの追加手順は、次のとおりです。

  1. データベース・サーバーの電源を切ります。
  2. プラスチック・フィルタをDIMMに交換します。
  3. データベース・サーバーの電源を投入します。
  4. データベース・サーバーをクラスタに接続します。

その他の注意点:

  • Sun Server X4-2 Oracle Database ServerおよびSun Server X3-2 Oracle Database Server用のメモリーは、メモリー拡張キットを使用して最大512GBに拡張できます。
  • Sun Fire X4170 Oracle Database Serverのメモリーは、既存のメモリーを取り外して、3個のX2-2メモリー拡張キットと交換することで、最大144GBに拡張できます。
  • Sun Fire X4170 M2 Oracle Database Serverは、8GB DIMMを使用した18個のDIMMスロットのうち12個が搭載された96GBのメモリーで工場から出荷されます。オプションのX2-2メモリー拡張キットを使用すると、残りの6つの空スロットに16GB DIMMを使用して合計メモリーを192GB (12 x 8GBおよび6 x 16GB)に拡張できます。

    メモリー拡張キットは、主に各データベース・サーバー上で多くのデータベースを実行する場合のワークロード統合用です。このシナリオでは、メモリー使用率が非常に高くても、CPU使用率が低いことがよくあります。

    ただし、DIMMメモリーの周波数が1333MHzから800MHzに落ちるため、すべてのメモリー・スロットの使用量は減ります。メモリーのパフォーマンス効果が遅いので、CPU使用率が高くなったように感じます。CPU使用率を測定すると、通常、増加率は平均して5%から10%です。増加量はワークロードによって大きく異なります。テスト用ワークロードでは、複数ワークロードの場合、増加率はほぼゼロでしたが、1つのワークロードの場合の増加率は約20%でした。

  • Oracle Linuxを実行しているOracle Exadata Database Machineにメモリーを追加する場合、次の値を使用して/etc/security/limits.confファイルを更新することをお薦めします。

    oracle    soft     memlock 75%
    oracle    hard     memlock 75%
    

2.6 X7およびX8システム用クライアント・ネットワーク・ポートのリンク速度の検証および変更

Oracle Exadata Database Machine X7およびX8データベース・サーバーのクライアント・ネットワークで10GbE接続または25GbE接続を構成できます。

注意:

クライアント・ネットワーク・ポートは、X7およびX8システムのデプロイメント時に、Oracle Exadata Deployment Assistant (OEDA)を使用して構成する必要があります。OEDAの「顧客ネットワーク構成ページ」を参照してください。

次のステップは、OEDAデプロイメントが実行されていない場合や正しく実行されていない場合、クライアント・アクセス・ポートを構成するために必要になります。また、このステップでは、クライアント・ネットワークを10GbEから25GbEに、または25GbEから10GbEに変更できます。

  1. リンクが検出されていないネットワーク・インタフェース(xで指定)ごとに、次のコマンドを実行します。
    • 10GbEネットワーク・インタフェースの場合:
      # ifdown ethx
      # ethtool -s ethx 10000 duplex full autoneg off
      # ifup ethx
      # ethtool ethx

      10Gb/sの場合は、SFP+トランシーバを使用する必要があります。SFP28トランシーバは10Gb/sのトラフィックをサポートしません。

    • 25GbEネットワーク・インタフェースの場合:
      # ifdown ethx
      # ethtool -s ethx 25000 duplex full autoneg off
      # ifup ethx
      # ethtool ethx
  2. ethtoolコマンドからの出力で、検出されたリンクに対してyesが示されていることを確認します。
            Link detected: yes
  3. /etc/sysconfig/network-scripts(xはネットワーク・インタフェースに関連する数字です)内の適切なファイルを編集します。
    1. /etc/sysconfig/network-scripts/ifcfg-ethxファイルを検索します。次の行を追加します(その行がファイルに存在していない場合)。
      • 10GbEネットワーク・インタフェースの場合:

        ONBOOT=YES
        ETHTOOL_OPTS="speed 10000 duplex full autoneg off"
      • 25GbEネットワーク・インタフェースの場合:

        ONBOOT=YES
        ETHTOOL_OPTS="speed 25000 duplex full autoneg off"
    2. 関連付けられたifcfg-ethxファイル内のETHTOOL_OPTSが設定されておらず、10GbEまたは25GbEスイッチに接続されているすべてのネットワーク・インタフェースについても前のステップを繰り返します。

    これで、ネットワーク・インタフェースでは、リンクが検出されたものとして表示されます。これらの変更は永続的であり、サーバーの再起動後に再度行う必要がありません。

  4. 各計算ノードのILOMを確認して、マザーボードのLANが25Gトランシーバを適切に検出するように構成されていることを検証します。
    show /HOST/network
      /HOST/network
         Targets:
    
         Properties:
             active_media = none
             auto_media_detection = enabled
             current_active_media = (none)
    
         Commands:
             cd
             set
             show

    NICが機能していない場合は、active_mediaおよびcurrent_active_mediaを適切な値に変更します。

    • 25Gトランシーバ(ファイバ・ケーブルまたは銅ケーブル)の場合は、これらのパラメータをSPF28に設定する必要があります
    • RJ-25で終端されたCAT6ケーブルを使用している10Gネットワークの場合は、これらのパラメータをRJ45に設定する必要があります

2.7 Oracle Exadata Database Machine X6-2以降でのネットワーク・カードの追加および構成

Oracle Exadata Database Machine X6-2以降のシステムで追加のネットワーク・カードを追加できます。

前提条件

Oracle Exadata Database Machine X7-2およびX8-2計算ノードに、正しいリンク速度を使用していることを確認してください。X7およびX8システム用クライアント・ネットワーク・ポートのリンク速度の検証および変更のステップを完了します。

Oracle Exadata Database Machine X6-2

Oracle Exadata Database Machine X6-2データベース・サーバーでは、マザーボードで高可用性の銅線10Gネットワークが提供され、スロット2のPCIカードを介して光学10Gネットワークが提供されます。オラクル社では、追加の接続を必要とするお客様のために追加のイーサネット・カードを用意しています。追加のカードにより、デュアル・ポートの10GEの銅線接続(部品番号7100488)またはデュアル・ポートの10GEの光学接続(部品番号X1109A-Z)が提供されます。このカードは、Oracle Exadata Database Machine X6-2データベース・サーバー上のPCIeスロット1に取り付けます。

カードを取り付けてネットワークに接続すると、Oracle Exadata System Softwareは、自動的にその新しいカードを認識してX6-2データベース・サーバー上で2つのポートをeth6およびeth7インタフェースとして構成します。これらの追加のポートを使用して追加のクライアント・ネットワークを提供することも、個別のバックアップまたはデータ・リカバリ・ネットワークを作成することもできます。仮想マシンを実行するデータベース・サーバーでは、これを使用して2つの仮想マシンからトラフィックを分離できます。

Oracle Exadata Database Machine X7-2

Oracle Exadata Database Machine X7-2以降のデータベース・サーバーでは、マザーボード上で2つの銅線(RJ45)ネットワーク接続または2つの光(SFP28)ネットワーク接続を利用できるだけでなく、PCIeカード・スロット1で2つの光(SFP28)ネットワーク接続を追加で利用できます。オラクル社では、追加の接続を必要とするお客様のために4つの追加の銅線(RJ45) 10Gネットワーク接続を用意しています。追加のカードはOracle Quad Port 10GBase-Tカード(部品番号7111181)です。データベース・サーバーのPCIeスロット3にこのカードを設置します。

カードを取り付けてネットワークに接続すると、Oracle Exadata System Softwareは、自動的にその新しいカードを認識してデータベース・サーバー上で4つのポートをeth5 - eth8インタフェースとして構成します。これらの追加のポートを使用して追加のクライアント・ネットワークを提供することも、個別のバックアップまたはデータ・リカバリ・ネットワークを作成することもできます。仮想マシンを実行するデータベース・サーバーでは、この追加のクライアント・ネットワークを使用して、2つの仮想マシンからのトラフィックを分離できます。

データベース・サーバーにカードを追加した後、カードを構成する必要があります。手順については、次の各トピックを参照してください。

Oracle Exadata Database Machine X8-2

Oracle Exadata Database Machine X8-2データベース・サーバーでは、マザーボード上で2つの銅線(RJ45)ネットワーク接続または2つの銅線/光(SFP28)ネットワーク接続を利用できるだけでなく、PCIeカード・スロット1で2つの光(SFP28)ネットワーク接続を追加で利用できます。オラクル社では、追加の接続を必要とするお客様のために追加の4つの銅線1/10G (RJ45)または2つの光10/25G (SFP28)ネットワーク接続を用意しています。2つの追加カードは次のとおりです。

  • Oracle Quad Port 10GBase-Tカード(部品番号7111181)
  • Oracleデュアル・ポート25Gbイーサネット・アダプタ(部品番号7118016)

追加カードは、データベース・サーバーのPCIeスロット3に取り付けます。

カードを取り付けてネットワークに接続すると、Oracle Exadata System Softwareはデータベース・サーバーで新しいカードを自動的に認識し、クアッド・ポート・カードの場合は4つのポートをeth5からeth8のインタフェースとして構成し、デュアル・ポート・カードの場合はeth5とeth6を構成します。これらの追加のポートを使用して追加のクライアント・ネットワークを提供することも、個別のバックアップまたはデータ・リカバリ・ネットワークを作成することもできます。仮想マシンを実行するデータベース・サーバーでは、この追加のクライアント・ネットワークを使用して、2つの仮想マシンからのトラフィックを分離できます。

2.7.1 ネットワーク・インタフェースの表示

ネットワーク・インタフェースを表示するには、ipconf.plコマンドを実行します。

例2-4 Oracle Exadata Database Machine X8M-2データベース・サーバーのデフォルト・ネットワーク・インタフェースの表示

次に、追加のネットワーク・カードを装備していないOracle Exadata Database Machine X8M-2データベース・サーバーの出力例を示します。RDMAネットワーク・ファブリックのインタフェースの他に、この出力には3つのネットワーク・カードのインタフェースが示されています。

  • シングル・ポートの1/10Gbカード、eth0
  • eth1およびeth2のデュアル・ポート10または25Gbカード
  • デュアル・ポートの10または25Gbカード、eth3およびeth4
root@scaz23adm01 ibdiagtools]# /opt/oracle.cellos/ipconf.pl 
[Info]: ipconf command line: /opt/oracle.cellos/ipconf.pl
Logging started to /var/log/cellos/ipconf.log
Interface re0   is      Linked.    hca: mlx5_0
Interface re1   is      Linked.    hca: mlx5_0
Interface eth0  is      Linked.    driver/mac: igb/00:10:e0:c3:b7:9c
Interface eth1  is      Unlinked.  driver/mac: bnxt_en/00:10:e0:c3:b7:9d (slave of bondeth0)
Interface eth2  is      Linked.    driver/mac: bnxt_en/00:10:e0:c3:b7:9d (slave of bondeth0)
Interface eth3  is      Unlinked.  driver/mac: bnxt_en/00:0a:f7:c3:28:30
Interface eth4  is      Unlinked.  driver/mac: bnxt_en/00:0a:f7:c3:28:38

例2-5 Oracle Exadata Database Machine X7-2またはX8-2データベース・サーバーのデフォルト・ネットワーク・インタフェースの表示

次に、追加のネットワーク・カードを装備していないOracle Exadata Database Machine X7-2またはX8-2データベース・サーバーの出力例を示します。RDMAネットワーク・ファブリックのインタフェースの他に、この出力には3つのネットワーク・カードのインタフェースが示されています。

  • eth0のシングル・ポート10Gbカード
  • eth1およびeth2のデュアル・ポート10または25Gbカード
  • eth3およびeth4のデュアル・ポート25Gbカード
# /opt/oracle.cellos/ipconf.pl
Logging started to /var/log/cellos/ipconf.log 
Interface ib0   is          Linked.    hca: mlx4_0 
Interface ib1   is          Linked.    hca: mlx4_0 
Interface eth0  is          Linked.    driver/mac: igb/00:
10:e0:c3:ba:72 
Interface eth1  is          Linked.    driver/mac: bnxt_en
/00:10:e0:c3:ba:73 
Interface eth2  is          Linked.    driver/mac: bnxt_en
/00:10:e0:c3:ba:74 
Interface eth3  is          Linked.    driver/mac: bnxt_en
/00:0a:f7:c3:14:a0 (slave of bondeth0) 
Interface eth4  is          Linked.    driver/mac: bnxt_en
/00:0a:f7:c3:14:a0 (slave of bondeth0)

例2-6 Oracle Exadata Database Machine X6-2データベース・サーバーのデフォルト・ネットワーク・インタフェースの表示

次に、追加のネットワーク・カードを装備していないOracle Exadata Database Machine X6-2データベース・サーバーの出力例を示します。RDMAネットワーク・ファブリックのインタフェースの他に、この出力には2つのネットワーク・カードのインタフェースが示されています。

  • eth0からeth3のクアッド・ポート10Gbカード
  • eth4およびeth5のデュアル・ポート10Gbカード
# cd /opt/oracle.cellos/

# ./ipconf.pl
Logging started to /var/log/cellos/ipconf.log
Interface ib0   is          Linked.    hca: mlx4_0
Interface ib1   is          Linked.    hca: mlx4_0
Interface eth0  is          Linked.    driver/mac: ixgbe/00:10:e0:8b:24:b6
Interface eth1  is .....    Linked.    driver/mac: ixgbe/00:10:e0:8b:24:b7
Interface eth2  is .....    Linked.    driver/mac: ixgbe/00:10:e0:8b:24:b8
Interface eth3  is .....    Linked.    driver/mac: ixgbe/00:10:e0:8b:24:b9
Interface eth4  is          Linked.    driver/mac: ixgbe/90:e2:ba:ac:20:ec (slave of bondeth0)
Interface eth5  is           Linked.    driver/mac: ixgbe/90:e2:ba:ac:20:ec (slave of bondeth0)

2.7.2 Oracle VM環境での追加のネットワーク・カードの構成

Oracle VM環境のOracle Exadata Database Machine X6-2以降のデータベース・サーバーでは追加のネットワーク・カードを構成できます。

この手順では、Oracle Exadata Database Machineデータベース・サーバーにネットワーク・カードがすでにインストールされているが、まだOracle Exadata Deployment Assistant (OEDA)で構成を完了していないことを前提としています。

警告:

Oracle Exadata Database MachineOracle Grid Infrastructureがすでにインストールされている場合、Oracle Clusterwareのドキュメントを参照してください。クラスタのネットワーク・インタフェースは慎重に変更してください。
  1. 新しいネットワーク・カードについて、次の情報を確認します。
    ipconf.plを実行するとき、この情報を入力することが必要になります。
    • IPアドレス
    • ネットマスク
    • ゲートウェイ
  2. ipconf.plスクリプトを実行して、カードを構成します。

    次の例は、ipconf.plセッションのサンプルを示しています。出力には3つのネットワーク・カードが示されます。

    • eth0からeth3のクアッド・ポート10Gbカード
    • ポートが1つのみ接続された、eth4およびeth5のデュアル・ポート10Gbカード
    • ポートが1つのみ接続された、eth6およびeth7のデュアル・ポート10Gbカード。これが新しいネットワーク・カードです。

    Oracle Exadata Database Machine X7-2の出力例は、「ネットワーク・インタフェースの表示」を参照してください。

    # cd /opt/oracle.cellos/
    # ./ipconf.pl
    
    Logging started to /var/log/cellos/ipconf.log
    Interface ib0   is                      Linked.    hca: mlx4_0
    Interface ib1   is                      Linked.    hca: mlx4_0
    Interface eth0  is                      Linked.    driver/mac: 
    ixgbe/00:10:e0:8b:22:e8 (slave of vmeth0)
    Interface eth1  is                      Linked.    driver/mac: 
    ixgbe/00:10:e0:8b:22:e9 (slave of bondeth0)
    Interface eth2  is                      Linked.    driver/mac: 
    ixgbe/00:10:e0:8b:22:e9 (slave of bondeth0)
    Interface eth3  is                      Linked.    driver/mac: 
    ixgbe/00:10:e0:8b:22:eb
    Interface eth4  is                      Linked.    driver/mac: 
    ixgbe/90:e2:ba:ac:1d:e4
    Interface eth5  is .................... Unlinked.  driver/mac: 
    ixgbe/90:e2:ba:ac:1d:e5
    Interface eth6  is ...                  Linked.    driver/mac: 
    ixgbe/90:e2:ba:78:d0:10
    Interface eth7  is .................... Unlinked.  driver/mac: 
    ixgbe/90:e2:ba:78:d0:11
    
    bondeth0 eth1,eth2 UP      vmbondeth0 10.128.1.169  255.255.240.0
    10.128.0.1  SCAN       test08client02.example.com
    bondeth1 None      UNCONF 
    bondeth2 None      UNCONF 
    bondeth3 None      UNCONF 
    Select interface name to configure or press Enter to continue: eth6
    Selected interface. eth6
    IP address or up or none: 10.129.19.34
    Netmask: 255.255.248.0
    Gateway (IP address or none) or none: 10.129.16.0
    
    Select network type for interface from the list below
    1: Management
    2: SCAN
    3: Other
    Network type: 3
    
    Fully qualified hostname or none: test08adm02-bkup.example.com
    Continue configuring or re-configuring interfaces? (y/n) [y]: n
    ...
    Do you want to configure basic ILOM settings (y/n) [y]: n
    [Info]: Custom changes have been detected in /etc/sysconfig/network-script
    s/ifcfg-eth6
    [Info]: Original file /etc/sysconfig/network-scripts/ifcfg-eth6 will be 
    saved in /opt/oracle.cellos/conf/network-scripts/backup_by_Exadata_ipconf
    [Info]: Original file /etc/ssh/sshd_config will be saved in /etc/ssh/sshd_
    config.backupbyExadata
    [Info]: Generate /etc/ssh/sshd_config with ListenAddress(es) 10.128.18.106, 
    10.129.19.34, 10.128.1.169, 192.168.18.44, 192.168.18.45
    Stopping sshd:                                             [  OK  ]
    Starting sshd:                                             [  OK  ]
    [Info]: Save /etc/sysctl.conf in /etc/sysctl.conf.backupbyExadata
    [Info]: Adjust settings for IB interfaces in /etc/sysctl.conf
    Re-login using new IP address 10.128.18.106 if you were disconnected after 
    following commands
    ip addr show vmbondeth0
    ip addr show bondeth0
    ip addr show vmeth0
    ip addr show eth0
    ifup eth6
    sleep 1
    ifup vmeth6
    sleep 1
    ip addr show vmeth6
    ip addr show eth6
    sleep 4
    service sshd condrestart
    
  3. VLANでネットワーク・カードを設定する必要がある場合は、次のステップを実行します。
    1. /opt/oracle.cellos/cell.confファイルにVLAN IDを追加します。
      • ファイル内でイーサネット・インタフェースを探します。次に例を示します。

        <Interfaces>
          <Gateway>10.129.16.0</Gateway>
          <Hostname>test08adm02-bkup.example.com</Hostname>
          <IP_address>10.129.19.34</IP_address>
          <IP_enabled>yes</IP_enabled>
          <IP_ssh_listen>enabled</IP_ssh_listen>
          <Inet_protocol>IPv4</Inet_protocol>
          <Name>eth6</Name>
          <Net_type>Other</Net_type>
          <Netmask>255.255.248.0</Netmask>
          <State>1</State>
          <Status>UP</Status>
          <Vlan_id>0</Vlan_id>
        </Interfaces>
        
      • <Vlan_id>要素にVLAN IDを追加します。次の例は、2122のVLAN IDで構成したインタフェースを示しています。

        <Interfaces>
          <Gateway>10.129.16.0</Gateway>
          <Hostname>test08adm02-bkup.example.com</Hostname>
          <IP_address>10.129.19.34</IP_address>
          <IP_enabled>yes</IP_enabled>
          <IP_ssh_listen>enabled</IP_ssh_listen>
          <Inet_protocol>IPv4</Inet_protocol>
          <Name>eth6</Name>
          <Net_type>Other</Net_type>
          <Netmask>255.255.248.0</Netmask>
          <State>1</State>
          <Status>UP</Status>
          <Vlan_id>2122</Vlan_id>
        </Interfaces>
        
    2. 次のコマンドを実行して、変更したcell.confファイルを使用してネットワーク・インタフェースを構成します。
      # /opt/oracle.cellos/ipconf.pl -init -force
      
    3. ファイル名にVLAN IDを含むファイルが/etc/sysconfig/network-scriptsディレクトリ内に含まれることを確認して、インタフェースでVLANが構成されていることを検証します。たとえば、VLAN IDが2122の場合、次のファイルが表示されます。
      # ls -ltr /etc/sysconfig/network-scripts/*2122*
      
      -rw-r----- 1 root root 250 Sep  7 14:39 /etc/sysconfig/network-scripts/ifcfg-eth6.2122
      -rw-r----- 1 root root  85 Sep  7 14:39 /etc/sysconfig/network-scripts/route-eth6.2122
      -rw-r----- 1 root root  56 Sep  7 14:39 /etc/sysconfig/network-scripts/rule-eth6.2122
  4. データベース・サーバーを再起動し、変更を有効にします。
    # shutdown -r now
  5. ゲートウェイをpingして、ネットワークが機能していることを確認します。次に例を示します。
    # ping 10.129.16.0

2.7.3 Oracle VM環境での追加のネットワーク・カードの構成

Oracle VM環境のOracle Exadata Database Machine X6-2以降のデータベース・サーバーでは追加のネットワーク・カードを構成できます。

この手順では、Oracle Exadata Database Machineデータベース・サーバーにネットワーク・カードがすでにインストールされているが、まだOracle Exadata Deployment Assistant (OEDA)で構成を完了していないことを前提としています。

注意:

Oracle Exadata Database MachineOracle Grid Infrastructureをすでにインストールしている場合は、この手順を実行しないでください。
  1. dom0の/EXAVMIMAGES/conf/virtual_machine_config_file構成ファイルで、新しいネットワークのセクションを追加します。

    次の例では、ブリッジの名前をvmeth6、インタフェースの名前をeth1としています。仮想マシンの構成ファイル名は、/EXAVMIMAGES/conf/test08adm01vm01.example.com-vm.xmlです。

    <Interfaces>
      <Bridge>vmeth6</Bridge>
      <Gateway>10.129.16.0</Gateway>
      <Hostname>test08adm02-bkup.example.com</Hostname>
      <IP_address>10.129.19.34</IP_address>
      <Name>eth1</Name>
      <IP_enabled>yes</IP_enabled>
      <IP_ssh_listen>disabled</IP_ssh_listen>
      <Net_type>Other</Net_type>
      <Netmask>255.255.248.0</Netmask>
      <Vlan_id>0</Vlan_id>
      <State>1</State>
      <Status>UP</Status>
    </Interfaces>
    

    VLANを使用している場合は、<Vlan_id>要素に適切なVLAN ID [1-4095]を入力します。

  2. ブリッジを作成します。
    1. vmeth6という名前の、ボンディングされていないブリッジを作成するには、次のコマンドを使用します。
      # /opt/exadata_ovm/exadata.img.domu_maker add-single-bridge-dom0 vmeth6
      
    2. ボンディングされたブリッジを作成するには、次のようなコマンドを使用します。
      # /opt/exadata_ovm/exadata.img.domu_maker add-bonded-bridge-dom0 bridge_name slave1 slave2 [vlan]

      slave1slave2は、結合されたインタフェースの名前です。

      次に例を示します。

      # /opt/exadata_ovm/exadata.img.domu_maker add-bonded-bridge-dom0 vmbondeth1 eth6 eth7
  3. (X2からX8までのサーバーのみ) RDMA over InfiniBandネットワーク・ファブリックにGUIDを割り当てます。
    # /opt/exadata_ovm/exadata.img.domu_maker allocate-guids virtual_machine_config_file virtual_machine_config_file_final
    

    仮想マシンの構成ファイルは、/EXAVMIMAGES/confディレクトリにあります。次に例を示します。

    # /opt/exadata_ovm/exadata.img.domu_maker allocate-guids /EXAVMIMAGES/conf/
    test08adm01vm01.example.com-vm.xml /EXAVMIMAGES/conf/final-test08adm01vm01
    .example.com-vm.xml
    
  4. ゲストを停止してから再起動します。
    # /opt/exadata_ovm/exadata.img.domu_maker remove-domain /EXAVMIMAGES/conf
    /final-test08adm01vm01.example.com-vm.xml
    
    # /opt/exadata_ovm/exadata.img.domu_maker start-domain /EXAVMIMAGES/conf
    /final-test08adm01vm01.example.com-vm.xml
  5. ゲストが実行されたら、ip addrコマンドを使用して、インタフェースが有効であることを確認します。

    次の例では、eth1インタフェースを確認します。

    # ip addr show eth1
    eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
      link/ether 00:16:3e:53:56:00 brd ff:ff:ff:ff:ff:ff
      inet 10.129.19.34/21 brd 10.129.23.255 scope global eth1
         valid_lft forever preferred_lft forever
    

2.8 データベース・サーバーのアクティブ・コア数の増加

キャパシティ・オンデマンドを使用して、Oracle Exadata Database Machineのアクティブ・コア数を増やすことができます。

Oracle Exadata Database Machine X4-2以降のシステムで実行されるデータベース・サーバー上のアクティブ・コア数を、インストール中に減らすことができます。追加の容量が必要な場合は、アクティブ・コア数を増やすことができます。これは、キャパシティ・オンデマンドと呼ばれます。

追加のコアは、Oracle Exadata Database Machine X4-2およびそれ以降のシステムでは2コア増分で、Oracle Exadata Database Machine X4-8フル・ラックおよびそれ以降のシステムでは8コア増分で増やします。次の表に、キャパシティ・オンデマンドのコア・プロセッサの構成を示します。

表2-3 キャパシティ・オンデマンドのコア・プロセッサの構成

Oracle Exadata Database Machine 対象となるシステム サーバー当たりの最小コア数 サーバー当たりの最大コア数 コアの増分

Oracle Exadata Database Machine X7-2、X8-2およびX8M-2

エイス・ラック以外の構成

14

48

14から48、2の倍数。

14, 16, 18, …, 46, 48

Oracle Exadata Database Machine X7-2、X8-2およびX8M-2

エイス・ラック

8

24

8から24、2の倍数。

8, 10, 12, …, 22, 24

Oracle Exadata Database Machine X6-2

エイス・ラック以外の構成

14

44

14から44、2の倍数。

14, 16, 18, …, 42, 44

Oracle Exadata Database Machine X6-2

エイス・ラック

8

22

8から22、2の倍数。

8, 10, 12, …, 20, 22

Oracle Exadata Database Machine X5-2

エイス・ラック以外の構成

14

36

14から36、2の倍数。

14, 16, 18, …, 34, 36

Oracle Exadata Database Machine X5-2

エイス・ラック

8

18

8から18、2の倍数。

8, 10, 12, 14, 16, 18

Oracle Exadata Database Machine X4-2

フル・ラック

ハーフ・ラック

クオータ・ラック

12

24

12から24、2の倍数。

12, 14, 16, 18, 20, 22, 24

Oracle Exadata Database Machine X7-8、X8-8およびX8M-8

任意の構成

56

192

56から192、8の倍数。

56, 64, 72, …, 184, 192

Oracle Exadata Database Machine X6-8およびX5-8

任意の構成

56

144

56から144、8の倍数。

56, 64, 72, …, 136, 144

Oracle Exadata Database Machine X4-8

フル・ラック

48

120

48から120、8の倍数。

48, 56, 64, …, 112, 120

注意:

フェイルオーバーに備えて、各サーバーに同数のコアをライセンスすることをお薦めします。

追加できるデータベース・サーバーは一度に1つずつで、キャパシティ・オンデマンドは個別のデータベース・サーバーに適用されます。このオプションはOracle Exadata Database Machine X5-2エイス・ラックでも使用できます。

追加したコアを有効化してから、データベース・サーバーを再起動する必要があります。データベース・サーバーがクラスタの一部の場合、ローリング方式で有効化されます。

  1. 次のコマンドを使用して、アクティブ物理コア数を確認します。
    DBMCLI> LIST DBSERVER attributes coreCount
    
  2. 次のコマンドを使用して、アクティブ・コア数を増やします。
    DBMCLI> ALTER DBSERVER pendingCoreCount = new_number_of_active_physical_cores
    
  3. 次のコマンドを使用して、承認待ちのアクティブ物理コア数を確認します。
    DBMCLI> LIST DBSERVER attributes pendingCoreCount
    
  4. サーバーを再起動します。
  5. 次のコマンドを使用して、アクティブ物理コア数を確認します。
    DBMCLI> LIST DBSERVER attributes coreCount
    

2.9 LVMパーティションの拡張

Logical Volume Manager (LVM)により、データベース・サーバー内のパーティションを再編成する柔軟性が提供されます。

注意:

  • VGExaDbボリューム・グループ内に、少なくとも1GBの空き領域が必要です。この領域は、ソフトウェア保守の際に、dbnodeupdate.shユーティリティで作成したLVMスナップショットで使用します。

  • 「Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成」のステップに従い、/ (root)および/u01ディレクトリのバックアップをスナップショット・ベースで作成する場合、VGExaDbボリューム・グループに少なくとも6GBの空き領域が必要です。

この項では、次の項目について説明します。

2.9.1 ルートLVMパーティションの拡張

ルートLVMパーティションを拡張する手順は、Oracle Exadata System Softwareのリリースによって異なります。

2.9.1.1 Oracle Exadata System Softwareリリース11.2.3.2.1以上を実行するシステムでの、ルートLVMパーティションの拡張

次の手順では、Oracle Exadata System Softwareリリース11.2.3.2.1以上を実行するシステム上で、ルート(/)パーティションのサイズを拡大する方法について説明します。

注意:

  • この手順では、サーバーを停止する必要はありません。

  • 管理ドメインのシステムの場合、アクティブおよび非アクティブのSys LVMは、LVDbSys2およびLVDbSys3です(LVDbSys1およびLVDbSys2ではありません)。

  • LVDbSys1およびLVDbSys2のサイズが同じに設定されていることを確認します。

  1. 現在の環境に関する情報を収集します。
    1. dfコマンドを使用して、ルート・パーティション(/).の空き領域および使用済領域の容量を確認します
      # df -h /
      

      次に、コマンドの出力例を示します。

      Filesystem            Size  Used Avail Use% Mounted on
      /dev/mapper/VGExaDb-LVDbSys1
                             30G  22G  6.2G  79% / 
      

      注意:

      アクティブなrootパーティションは、それ以前の保守アクティビティによりLVDbSys1またはLVDbSys2のいずれかに決定されます。

    2. lvsコマンドを使用して、現在のボリューム構成を表示します。
      # lvs -o lv_name,lv_path,vg_name,lv_size
      

      次に、コマンドの出力例を示します。

      LV                 Path                            VG       LSize
      LVDbOra1           /dev/VGExaDb/LVDbOra1           VGExaDb  100.00g
      LVDbSwap1          /dev/VGExaDb/LVDbSwap1          VGExaDb  24.00g
      LVDbSys1           /dev/VGExaDb/LVDbSys1           VGExaDb  30.00g
      LVDbSys2           /dev/VGExaDb/LVDbSys2           VGExaDb  30.00g
      LVDoNotRemoveOrUse /dev/VGExaDb/LVDoNotRemoveOrUse VGExaDb  1.00g
      
  2. tune2fsコマンドを使用して、オンラインのサイズ変更オプションを確認します。
    tune2fs -l /dev/mapper/vg_name-lv_name | grep resize_inode
    

    次に例を示します。

    tune2fs -l /dev/mapper/VGExaDb-LVDbSys1 | grep resize_inode
    

    resize_inodeオプションが、コマンド出力に表示されます。オプションが表示されない場合、パーティションのサイズ変更の操作をする以前に、ファイル・システムがアンマウントしています。「Oracle Exadata System Softwareリリース11.2.3.2.1より前のリリースを実行するシステムでの、ルートLVMパーティションの拡張」を参照して、パーティションのサイズを変更してください。

  3. ボリューム・グループVGExaDbの使用可能な領域を確認するには、vgdisplayコマンドを使用します。
    # vgdisplay -s
    

    次に、コマンドの出力例を示します。

    "VGExaDb" 834.89 GB [184.00 GB used / 650.89 GB free]
    

    ボリューム・グループは、2つのシステム・パーティションのサイズを増やすことができる空き領域を持ち、アップグレードの際にdbnodeupdate.shユーティリティで作成されるLVMスナップショットで使用するために、少なくとも1GBの空き領域を維持する必要があります。

    十分な空き領域がない場合、reclaimdisks.shユーティリティが実行中であるかどうか確認してください。ユーティリティが実行されていない場合、次のコマンドを実行して、ディスク領域をリクレイムします。

    # /opt/oracle.SupportTools/reclaimdisks.sh -free -reclaim 
    

    ユーティリティが実行中で、十分な空き領域がない場合、LVMはサイズ変更できません。

    注意:

    reclaimdisks.shは、RAID再構築(ディスクの置換えまたは拡張)と同時に実行できません。RAID再構築が完了するまで待機してから、reclaimdisks.shを実行してください。

  4. LVDbSys1およびLVDbSys2論理ボリュームのサイズを変更するには、lvextendコマンドを使用します。

    次の例のXGは、論理ボリュームが拡大される領域の量(GB)です。いずれのシステム・パーティションにも、等しい容量の領域を追加します。

    # lvextend -L +XG --verbose /dev/VGExaDb/LVDbSys1
    # lvextend -L +XG --verbose /dev/VGExaDb/LVDbSys2
    

    次の例では、拡大する論理ボリュームは10GBです。

    # lvextend -L +10G /dev/VGExaDb/LVDbSys1
    # lvextend -L +10G /dev/VGExaDb/LVDbSys2
    
  5. 論理ボリューム内のファイル・システムのサイズを変更するには、resize2fsを使用します。
    # resize2fs /dev/VGExaDb/LVDbSys1
    # resize2fs /dev/VGExaDb/LVDbSys2
    
  6. dfコマンドを使用して、アクティブなシステム・パーティションで領域が拡大されたことを確認します。
    # df -h /
    
2.9.1.2 Oracle Exadata System Softwareリリース11.2.3.2.1より前のリリースを実行するシステムでの、ルートLVMパーティションの拡張

この手順を使用すると、Oracle Exadata System Software 11.2.3.2.1より前のリリースを実行するシステムでルート(/)パーティションのサイズを拡張できます。

注意:

  • この手順では、システムをオフラインにしてから再起動する必要があります。

  • ソフトウェア保守の際にdbnodeupdate.shユーティリティで作成されるLVMスナップショットのために、VGExaDbボリューム・グループ内に、少なくとも1GBの空き領域が必要です。「Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成」のステップに従い、/ (root)および/u01ディレクトリのバックアップをスナップショット・ベースで作成する場合、VGExaDbボリューム・グループに少なくとも6GBの空き領域が必要です。

  • 管理ドメインのシステムの場合、アクティブおよび非アクティブのSys LVMは、LVDbSys2LVDbSys3です(LVDbSys1LVDbSys2ではありません)。

  • LVDbSys1およびLVDbSys2のサイズが同じに設定されていることを確認します。

  1. 現在の環境に関する情報を収集します。
    1. dfコマンドを使用して、ルート・パーティション(/)およびルート以外のパーティション(/u01)のマウント・ポイント、およびそれぞれのLVMを確認します。

      次に、コマンドの出力例を示します。

      # df
      Filesystem                    1K-blocks   Used    Available Use% Mounted on
      /dev/mapper/VGExaDb-LVDbSys1 30963708   21867152   7523692  75%    /
      /dev/sda1                      126427      16355    103648  14%    /boot
      /dev/mapper/VGExaDb-LVDbOra1 103212320  67404336  30565104  69%    /u01
      tmpfs                         84132864   3294608  80838256   4%    /dev/shm
      

      dfコマンド出力のファイル・システム名は次のような形式になります。

      /dev/mapper/VolumeGroup-LogicalVolume
      

      前述の例のルート・ファイル・システムの完全論理ボリューム名は/dev/VGExaDb/LVDbSys1になります。

    2. lvscanコマンドを使用して、論理ボリュームを表示します。
      #lvm lvscan
      
      ACTIVE            '/dev/VGExaDb/LVDbSys1'  [30.00 GB]  inherit
      ACTIVE            '/dev/VGExaDb/LVDbSwap1' [24.00 GB]  inherit
      ACTIVE            '/dev/VGExaDb/LVDbOra1'  [100.00 GB] inherit
      
    3. lvdisplayコマンドを使用して、現在の論理ボリュームおよびボリューム・グループ構成を表示します。
      #lvm lvdisplay /dev/VGExaDb/LVDbSys1
      
      --- Logical volume ---
      LV Name               /dev/VGExaDb/LVDbSys1
      VG Name               VGExaDb
      LV UUID               GScpD7-lKa8-gLg9-oBo2-uWaM-ZZ4W-Keazih
      LV Write Access       read/write
      LV Status             available
      # open                1
      LV Size               30.00 GB
      Current LE            7680
      Segments              1
      Allocation            inherit
      Read ahead sectors    auto
      - currently set to    256
      Block device          253:0
      
    4. 論理ボリュームを拡大できるように、ボリューム・グループVGExaDbに使用可能な領域があることを確認します。
      # lvm vgdisplay VGExaDb -s
      "VGExaDb" 556.80 GB [154.00 GB used / 402.80 GB free]
      

      コマンドで空き領域がゼロと表示された場合は、論理ボリュームまたはファイル・システムは拡大できません。

  2. システムを診断モードで再起動します。
    1. ILOMインタフェースを使用して、/opt/oracle.SupportTools/diagnostics.isoファイルをマシンのディレクトリにコピーします。
    2. ILOM Webインタフェースにログインします。
    3. リモート制御タブを選択します。
    4. リダイレクトタブを選択します。
    5. リモート・コンソールの起動をクリックします。

      ILOMリモート・コンソールウィンドウが表示されます。

    6. ILOMリモート・コンソールウィンドウで、「デバイス」メニューを選択します。
    7. 「CD-ROMイメージ」をクリックします。
    8. ファイルのオープンダイアログ・ボックスで、ローカル・マシンのdiagnostics.isoファイルの場所に移動します。
    9. diagnostics.isoファイルを選択します。
    10. 「開く」をクリックします。

      次のようなメッセージがコンソールに表示されます。

    11. リモート制御タブからホスト制御を選択します。
    12. 次の起動デバイスとしてCDROMを値リストから選択します。
    13. 「保存」をクリックします。

      システムが再起動すると、diagnostics.isoイメージが使用されます。システムは次の再起動後にデフォルトに戻ります。

    14. ILOMリモート・コンソールウィンドウで、rootユーザーとしてログインします。
    15. サーバーを再起動します。
      # shutdown -r now
      

      システムはdiagnostics.isoイメージを使用して再起動します。

  3. eを入力して、診断シェルに入ります。
    Choose from following by typing letter in '()':
    (e)nter interactive diagnostics shell. Must use credentials from Oracle
    support to login (reboot or power cycle to exit the shell),
    (r)estore system from NFS backup archive,
    Select:e
    
  4. rootユーザーとしてシステムにログインします。パスワードを要求されます。
    localhost login: root
    Password: *********
    -sh-3.1# 
    
  5. rootファイル・システムをアンマウントします。
    # cd /
    # umount /mnt/cell
    
  6. 論理ボリューム名を確認します。
    # lvm lvscan
    ACTIVE '/dev/VGExaDb/LVDbSys1' [30.00 GB] inherit
    ACTIVE '/dev/VGExaDb/LVDbSwap1' [24.00 GB] inherit
    ACTIVE '/dev/VGExaDb/LVDbOra1' [100.00 GB] inherit
    
  7. 現行およびバクアップのルート・ファイル・システムを保持するLVDbSys1LVDbSys2のサイズを変更します。

    次のコマンドのXGは、論理ボリュームが拡大される領域の量(GB)です。

    # lvm lvextend -L+XG --verbose /dev/VGExaDb/LVDbSys1
    # lvm lvextend -L+XG --verbose /dev/VGExaDb/LVDbSys2
    

    たとえば、論理ボリュームを5 GB拡大する場合、コマンドは次のようになります。

    # lvm lvextend -L+5G --verbose /dev/VGExaDb/LVDbSys1
    # lvm lvextend -L+5G --verbose /dev/VGExaDb/LVDbSys2
    
  8. e2fsckを使用してファイル・システムが有効であることを確認します。
    # e2fsck -f /dev/VGExaDb/LVDbSys1
    # e2fsck -f /dev/VGExaDb/LVDbSys2
    
  9. ファイルシステムのサイズ変更
    # resize2fs -p /dev/VGExaDb/LVDbSys1
    # resize2fs -p /dev/VGExaDb/LVDbSys2
    
  10. システムを通常のモードで再起動します。
    # shutdown -r now
  11. システムにログインします。
  12. ルート・ファイル・システム・マウントが新しいサイズで問題なくマウントされていることを確認します。

2.9.2 ルート以外のLVMパーティションのサイズ変更

ルート以外のLVMパーティションのサイズを変更する手順は、Oracle Exadata System Softwareのリリースによって異なります。

2.9.2.1 Oracle Exadata System Softwareリリース11.2.3.2.1以上を実行するシステムでの、非ルートLVMパーティションの拡張

この手順では、Oracle Exadata System Softwareリリース11.2.3.2.1以降を実行するシステム上で、非ルート(/u01)パーティションのサイズを拡大する方法について説明します。

この手順では、サーバーを停止する必要はありません。

  1. 現在の環境に関する情報を収集します。
    1. dfコマンドを使用して、/u01パーティションの空き領域および使用済領域の容量を確認します。
      # df -h /u01
      

      次に、コマンドの出力例を示します。

      Filesystem            Size  Used Avail Use% Mounted on
      /dev/mapper/VGExaDb-LVDbOra1
                            99G   25G  70G   26% /u01
    2. lvsコマンドを使用して、/u01ファイル・システムで使用される現在の論理ボリューム構成を表示します。
      # lvs -o lv_name,lv_path,vg_name,lv_size
      

      次に、コマンドの出力例を示します。

       LV        Path                   VG      LSize
       LVDbOra1  /dev/VGExaDb/LVDbOra1  VGExaDb 100.00G
       LVDbSwap1 /dev/VGExaDb/LVDbSwap1 VGExaDb  24.00G
       LVDbSys1  /dev/VGExaDb/LVDbSys1  VGExaDb  30.00G
       LVDbSys2  /dev/VGExaDb/LVDbSys2  VGExaDb  30.00G
      
  2. tune2fsコマンドを使用して、オンラインのサイズ変更オプションを確認します。
    tune2fs -l /dev/mapper/vg_name | grep resize_inode
    

    resize_inodeオプションが、コマンド出力に表示されます。オプションが表示されない場合、パーティションのサイズ変更の操作をする以前に、ファイル・システムがアンマウントしています。パーティションのサイズを変更する場合は、Oracle Exadata System Softwareリリース11.2.3.2.1より前のリリースを実行するシステムでの、非ルートLVMパーティションの拡張を参照してください。

  3. ボリューム・グループVGExaDbの使用可能な領域を確認するには、vgdisplayコマンドを使用します。
    # vgdisplay -s
    

    次に、コマンドの出力例を示します。

    "VGExaDb" 834.89 GB [184.00 GB used / 650.89 GB free]
    

    コマンドの出力で空き領域が1GB未満と表示された場合は、論理ボリュームもファイル・システムも拡大できません。アップグレードの際にdbnodeupdate.shユーティリティで作成されるLVMスナップショットのために、VGExaDbボリューム・グループ内に、少なくとも1GBの空き領域が必要です。

    十分な空き領域がない場合、reclaimdisks.shユーティリティが実行中であるかどうか確認してください。ユーティリティが実行されていない場合、次のコマンドを実行して、ディスク領域をリクレイムします。

    # /opt/oracle.SupportTools/reclaimdisks.sh -free -reclaim 
    

    ユーティリティが実行中で、十分な空き領域がない場合、LVMはサイズ変更できません。

    注意:

    • reclaimdisks.shは、RAID再構築(ディスクの置換えまたは拡張)と同時に実行できません。RAID再構築が完了するまで待機してから、reclaimdisks.shを実行してください。

  4. 論理ボリュームのサイズを変更するには、lvextendコマンドを使用します。
    # lvextend -L +sizeG /dev/VGExaDb/LVDbOra1
    

    前述のコマンドで、sizeは論理ボリュームに追加する領域の容量です。

    次の例では、拡大する論理ボリュームは10GBです。

    # lvextend -L +10G /dev/VGExaDb/LVDbOra1
    
  5. 論理ボリューム内のファイル・システムのサイズを変更するには、resize2fsコマンドを使用します。
    # resize2fs /dev/VGExaDb/LVDbOra1
  6. dfコマンドを使用して、領域が拡張されたことを確認します
    # df -h /u01
    
2.9.2.2 Oracle Exadata System Softwareリリース11.2.3.2.1より前のリリースを実行するシステムでの、非ルートLVMパーティションの拡張

この手順では、Oracle Exadata System Softwareリリース11.2.3.2.1より前のリリースを実行するシステム上で、非ルート(/u01)パーティションのサイズを拡大する方法について説明します。

ここでは、/dev/VGExaDb/LVDbOra1/u01でマウントされます。

注意:

  • VGExaDbボリューム・グループ内に、少なくとも1GBの空き領域が必要です。この領域は、ソフトウェア保守の際に、dbnodeupdate.shユーティリティで作成したLVMスナップショットで使用します。

  • 「Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成」のステップに従い、/ (root)および/u01ディレクトリのバックアップをスナップショット・ベースで作成する場合、VGExaDbボリューム・グループに少なくとも6GBの空き領域が必要です。

  1. 現在の環境に関する情報を収集します。
    1. dfコマンドを使用して、ルート・パーティション(/)およびルート以外のパーティション(/u01)のマウント・ポイント、およびそれぞれのLVMを確認します。
      # df
      Filesystem                    1K-blocks   Used    Available Use% Mounted on
      /dev/mapper/VGExaDb-LVDbSys1 30963708   21867152   7523692  75%    /
      /dev/sda1                      126427      16355    103648  14%    /boot
      /dev/mapper/VGExaDb-LVDbOra1 103212320  67404336  30565104  69%    /u01
      tmpfs                         84132864   3294608  80838256   4%    /dev/shm
      
    2. lvm lvscanコマンドを使用して、論理ボリュームを表示します。
      ACTIVE            '/dev/VGExaDb/LVDbSys1'  [30.00 GB]  inherit
      ACTIVE            '/dev/VGExaDb/LVDbSwap1' [24.00 GB]  inherit
      ACTIVE            '/dev/VGExaDb/LVDbOra1'  [100.00 GB] inherit
      
    3. lvdisplayコマンドを使用して、現在のボリューム・グループ構成を表示します。
      # lvdisplay /dev/VGExaDb/LVDbOra1
      
      --- Logical volume ---
      LV Name               /dev/VGExaDb/LVDbOra1
      VG Name               VGExaDb
      LV UUID               vzoIE6-uZrX-10Du-UD78-314Y-WXmz-f7SXyY
      LV Write Access       read/write
      LV Status             available
      # open                1
      LV Size               100.00 GB
      Current LE            25600
      Segments              1
      Allocation            inherit
      Read ahead sectors    auto
      - currently set to    256
      Block device          253:2
      
    4. 論理ドライブを拡大できるように、ボリューム・グループVGExaDbに使用可能な領域があることを確認します。

      コマンドで空き領域がゼロと表示された場合は、論理ボリュームもファイル・システムも拡大できません。

      # lvm vgdisplay VGExaDb -s
      
      "VGExaDb" 556.80 GB [154.00 GB used / 402.80 GB free]
      
  2. /u01を使用するソフトウェアを停止します。

    次のソフトウェアは、通常/u01を使用します。

    • Oracle ClusterwareOracle ASMおよびOracle Database

      # Grid_home/bin/crsctl stop crs
      
    • Trace File Analyzer

      # Grid_home/bin/tfactl stop
      
    • OS Watcher

      # /opt/oracle.oswatcher/osw/stopOSW.sh
      
    • Oracle Enterprise Managerエージェント

      (oracle)$ agent_home/bin/emctl stop agent
      
  3. rootユーザーとしてパーティションをアンマウントします。
    # umount /u01
    

    注意:

    umountコマンドでファイル・システムがビジーとレポートされた場合、umountコマンドが成功するには、fuser(1)コマンドを使用して、停止する必要があるが、ファイル・システムにまだアクセスしているプロセスを特定します。

    # umount /u01
    umount: /u01: device is busy
    umount: /u01: device is busy
     
    # fuser -mv /u01
     
            USER      PID ACCESS COMMAND
    /u01:   root     6788 ..c..  ssh
            root     8422 ..c..  bash
            root    11444 ..c..  su
            oracle  11445 ..c..  bash
            oracle  11816 ....m  mgr
            root    16451 ..c..  bash
  4. ファイル・システムを確認します。
    # e2fsck -f /dev/VGExaDb/LVDbOra1
    
  5. パーティションを拡張します。

    この例では、論理ボリュームが物理ボリュームのサイズの80%まで拡大されています。同時に、ファイル・システムがコマンドによってサイズ変更されます。

    # lvextend -L+XG --verbose /dev/VGExaDb/LVDbOra1
    

    前述のコマンドのXGは、拡大される論理ボリュームの量(GB)です。次の例は、論理ボリュームを200GB追加して拡大する方法を示しています。

    # lvextend -L+200G --verbose /dev/VGExaDb/LVDbOra1
    

    注意:

    サイズを縮小する場合は、十分に注意してください。新しいサイズは、パーティションの元の内容すべてを収容できる十分な大きさにする必要があります。サイズを縮小するには、次のようなコマンドを使用します。

    lvreduce -L60G --resizefs --verbose /dev/VGExaDb/LVDbOra1
    

    前述のコマンドでは、/u01のサイズが60GBに縮小されています。

  6. e2fsckコマンドを使用して、/u01ファイル・システムを確認します。
    # e2fsck -f /dev/VGExaDb/LVDbOra1
    
  7. /u01ファイル・システムのサイズを変更します。
    # resize2fs -p /dev/VGExaDb/LVDbOra1
    
  8. パーティションをマウントします。
    # mount -t ext3 /dev/VGExaDb/LVDbOra1 /u01
    
  9. 領域が拡張されたことを確認します。
    $ df -h /u01
    
  10. 次のように、ステップ2で停止したソフトウェアを再起動します。
    • Oracle ClusterwareOracle ASMおよびOracle Database

      # Grid_home/bin/crsctl start crs
      
    • Trace File Analyzer

      # Grid_home/bin/tfactl start
      
    • OS Watcher

      # /opt/oracle.cellos/vldrun -script oswatcher
      
    • Oracle Enterprise Managerエージェント

      (oracle)$ agent_home/bin/emctl start agent
      
2.9.2.3 Oracle Exadata System Softwareリリース11.2.3.2.1以上を実行するシステムでの、非ルートLVMパーティションの縮小

Oracle Exadata System Softwareリリース11.2.3.2.1以降を実行しているシステムでは、ルート以外(/u01)のパーティションサイズを縮小できます。

注意:

  • この手順では、サーバーを停止する必要はありません。

  • この手順を実行する前に、ファイル・システムをバックアップすることをお薦めします。

  1. dfコマンドを使用して、/u01パーティションの空き領域および使用済領域の容量を確認します。
    # df -h /u01
    

    次に、出力の例を示します。

    Filesystem                    Size  Used Avail Use% Mounted on
    /dev/mapper/VGExaDb-LVDbOra1  193G   25G  159G  14% /u01
    
  2. lvmコマンドを使用して、/u01ファイル・システムで使用される現在の論理ボリューム構成を表示します。

    この例では、LVDbSys2 (サイズは30.00 GB)をdbserver_backup.shスクリプトで作成できるように、LVDbOra1パーティションのサイズを縮小する必要があります。

    # lvm vgdisplay VGExaDb -s
      "VGExaDb" 271.82 GB [250.04 GB used / 21.79 GB free]
    
    # lvm lvscan
      ACTIVE            '/dev/VGExaDb/LVDbSys1' [30.00 GB] inherit
      ACTIVE            '/dev/VGExaDb/LVDbSwap1' [24.00 GB] inherit
      ACTIVE            '/dev/VGExaDb/LVDbOra1' [196.04 GB] inherit
    
  3. /u01を使用するソフトウェアを停止します。

    次のソフトウェアは、通常/u01を使用します。

    • Oracle ClusterwareOracle ASMおよびOracle Database

      # Grid_home/bin/crsctl stop crs
      
    • Trace File Analyzer

      # Grid_home/bin/tfactl stop
      
    • OS Watcher (11.2.3.3.0より前のリリース)

      # /opt/oracle.oswatcher/osw/stopOSW.sh
      
    • ExaWatcher (リリース11.2.3.3.0以上)

      # /opt/oracle.ExaWatcher/ExaWatcher.sh --stop
      
    • Oracle Enterprise Managerエージェント

      (oracle)$ agent_home/bin/emctl stop agent
      
  4. rootユーザーとしてパーティションをアンマウントします。
    # umount /u01
    

    注意:

    umountコマンドでファイル・システムがビジーとレポートされた場合、umountコマンドを正常に実行するには、fuser(1)コマンドを使用して、停止する必要があるファイル・システムにまだアクセスしているプロセスを特定します。

    # umount /u01
    umount: /u01: device is busy
    umount: /u01: device is busy
    
    # fuser -mv /u01
    
            USER      PID ACCESS COMMAND
    /u01:   root     6788 ..c..  ssh
            root     8422 ..c..  bash
            root    11444 ..c..  su
            oracle  11445 ..c..  bash
            oracle  11816 ....m  mgr
            root    16451 ..c..  bash
  5. ファイル・システムを確認します。
    # e2fsck -f /dev/VGExaDb/LVDbOra1
    
    fsck 1.39 (29-May-2006)
    e2fsck 1.39 (29-May-2006)
    Pass 1: Checking inodes, blocks, and sizes
    Pass 2: Checking directory structure
    Pass 3: Checking directory connectivity
    Pass 4: Checking reference counts
    Pass 5: Checking group summary information
    DBORA: 72831/25706496 files (2.1% non-contiguous), 7152946/51389440 blocks
    
  6. 必要なサイズ(次の例では120G)までファイル・システムのサイズを縮小します。
    # resize2fs /dev/VGExaDb/LVDbOra1 120G
    resize2fs 1.39 (29-May-2017)
    Resizing the filesystem on /dev/VGExaDb/LVDbOra1 to 26214400 (4k) blocks.
    The filesystem on /dev/VGExaDb/LVDbOra1 is now 26214400 blocks long.
    
  7. 目的のサイズまでLVMのサイズを縮小します。
    # lvm lvreduce -L 120G --verbose /dev/VGExaDb/LVDbOra1
        Finding volume group VGExaDb
      WARNING: Reducing active logical volume to 120.00 GB
      THIS MAY DESTROY YOUR DATA (filesystem etc.)
    Do you really want to reduce LVDbOra1? [y/n]: y
        Archiving volume group "VGExaDb" metadata (seqno 8).
      Reducing logical volume LVDbOra1 to 120.00 GB
        Found volume group "VGExaDb"
        Found volume group "VGExaDb"
        Loading VGExaDb-LVDbOra1 table (253:2)
        Suspending VGExaDb-LVDbOra1 (253:2) with device flush
        Found volume group "VGExaDb"
        Resuming VGExaDb-LVDbOra1 (253:2)
        Creating volume group backup "/etc/lvm/backup/VGExaDb" (seqno 9).
      Logical volume LVDbOra1 successfully resized
    
  8. パーティションをマウントします。
    # mount -t ext3 /dev/VGExaDb/LVDbOra1 /u01
    
  9. 領域が縮小されたことを確認します。
    # df -h /u01
    Filesystem                    Size  Used Avail Use% Mounted on
    /dev/mapper/VGExaDb-LVDbOra1  119G   25G   88G  22% /u01
    
    # lvm vgdisplay -s
      "VGExaDb" 271.82 GB [174.00 GB used / 97.82 GB free]
    
  10. 次のように、ステップ3で停止したソフトウェアを再起動します。
    • Oracle ClusterwareOracle ASMおよびOracle Database

      # Grid_home/bin/crsctl start crs
      
    • Trace File Analyzer

      # Grid_home/bin/tfactl start
      
    • OS Watcher (11.2.3.3.0より前のリリース)

      # /opt/oracle.cellos/vldrun -script oswatcher
      
    • ExaWatcher (リリース11.2.3.3.0以上)

      # /opt/oracle.cellos/vldrun -script oswatcher
      
    • Oracle Enterprise Managerエージェント

      (oracle)$ agent_home/bin/emctl start agent
      

2.9.3 スワップ・パーティションの拡張

この手順では、スワップ(/swap)パーティションのサイズを拡大する方法について説明します。

注意:

この手順では、システムをオフラインにしてから再起動する必要があります。

ソフトウェア保守の際にdbnodeupdate.shユーティリティで作成されるLogical Volume Manager (LVM)スナップショットのために、VGExaDbボリューム・グループ内に、少なくとも1GBの空き領域が必要です。「Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成」のステップに従い、/ (root)および/u01ディレクトリのバックアップをスナップショット・ベースで作成する場合、VGExaDbボリューム・グループに少なくとも6GBの空き領域が必要です。

  1. 現在の環境に関する情報を収集します。
    1. swaponコマンドを使用して、スワップ・パーティションを確認します。
      # swapon -s
      Filename    Type        Size       Used   Priority
      /dev/dm-2   partition   25165816   0      -1
      
    2. lvm lvscanコマンドを使用して、論理ボリュームを表示します。
      # lvm lvscan
      ACTIVE '/dev/VGExaDb/LVDbSys1' [30.00 GiB] inherit
      ACTIVE '/dev/VGExaDb/LVDbSys2' [30.00 GiB] inherit
      ACTIVE '/dev/VGExaDb/LVDbSwap1' [24.00 GiB] inherit
      ACTIVE '/dev/VGExaDb/LVDbOra1' [103.00 GiB] inherit
      ACTIVE '/dev/VGExaDb/LVDoNotRemoveOrUse' [1.00 GiB] inherit
      
    3. vgdisplayコマンドを使用して、現在のボリューム・グループ構成を表示します。
      # vgdisplay
        --- Volume group ---
        VG Name               VGExaDb
        System ID            
        Format                lvm2
        Metadata Areas        1
        Metadata Sequence No  4
        VG Access             read/write
        VG Status             resizable
        MAX LV                0
        Cur LV                3
        Open LV               3
        Max PV                0
        Cur PV                1
        Act PV                1
        VG Size               556.80 GB
        PE Size               4.00 MB
        Total PE              142541
        Alloc PE / Size       39424 / 154.00 GB
        Free  PE / Size       103117 / 402.80 GB
        VG UUID               po3xVH-9prk-ftEI-vijh-giTy-5chm-Av0fBu
      
    4. pvdisplayコマンドを使用して、LVMで作成され、オペレーティング・システムで使用される物理デバイスの名前を表示します。
      # pvdisplay
        --- Physical volume ---
        PV Name               /dev/sda2
        VG Name               VGExaDb
        PV Size               556.80 GB / not usable 2.30 MB
        Allocatable           yes
        PE Size (KByte)       4096
        Total PE              142541
        Free PE               103117
        Allocated PE          39424
        PV UUID               Eq0e7e-p1fS-FyGN-zrvj-0Oqd-oUSb-55x2TX
  2. 正常なデータベース・サーバーにある/opt/oracle.SupportTools/diagnostics.isoファイルをリストア対象のデータベース・サーバーのILOMに仮想メディアとして接続します。

    次に、ILOMインタフェースを使用した仮想CD-ROMの設定方法の例を示します。

    1. Oracle Exadata System Softwareリリース19.1以上をデータベース・サーバーにインストールした場合は、使用しているOracle Exadata System Softwareリリースに関連するパッチ(リリース19.1.0.0.0のパッチ27162010など)を使用して、My Oracle Supportからdiagnostics.isoファイルをダウンロードします。
    2. Oracle Exadata System Softwareリリース18.1.x以前をデータベース・サーバーにインストールした場合は、ILOMインタフェースを使用して/opt/oracle.SupportTools/diagnostics.isoファイルをマシンのディレクトリにコピーします。
    3. ILOM Webインタフェースにログインします。
    4. リモート制御タブからリモート・コンソールを選択します。これにより、コンソールが起動します。
    5. 「デバイス」メニューを選択します。
    6. CD-ROMイメージオプションを選択します。
    7. diagnostics.isoファイルの場所に移動します。
    8. diagnostics.isoファイルを開きます。
    9. リモート制御タブからホスト制御を選択します。
    10. 次の起動デバイスとしてCDROMを値リストから選択します。
    11. 「保存」をクリックします。
  3. サーバーを診断モードで再起動します。
  4. ファイル・システムが有効であることを確認します。

    以下のコマンドを使用します。

    #fsck -f /dev/VGExaDb/LVDbSwap1
    
  5. パーティションを拡張します。

    この例では、論理ボリュームが物理ボリュームのサイズの80%まで拡大されています。同時に、ファイル・システムがこのコマンドによってサイズ変更されます。次のコマンドで、LogicalVolumePathの値はlvm lvscanコマンドによって取得され、PhysicalVolumePathの値はpvdisplayコマンドによって取得されます。

    #lvextend -l+80%PVS --resizefs --verbose LogicalVolumePath PhysicalVolumePath
    
  6. システムを通常のモードで再起動します。

2.10 Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成

データベース・サーバーのソフトウェアの重要な変更の前後にバックアップを行う必要があります。たとえば、次の手順の前後にバックアップを作成する必要があります。

  • オペレーティング・システム・パッチの適用
  • Oracleパッチの適用
  • 重要な操作パラメータの再構成
  • 重要なOracle以外のソフトウェアのインストールまたは再構成

Oracle Exadata System Softwareリリース19.1.0以降では、SSHDのClientAliveIntervalは600秒にデフォルト設定されます。バックアップの完了に必要な時間が10分を超える場合は、/etc/ssh/sshd_configファイルでClientAliveIntervalにより大きな値を指定できます。変更内容を反映するには、SSHサービスを再起動する必要があります。長時間実行の操作が完了したら、ClientAliveIntervalパラメータへの変更を削除し、SSHサービスを再起動します。

この項では、次の項目について説明します。

2.10.1 Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成 - パーティションをカスタマイズしていない場合

この手順は、スナップショット・ベースのバックアップを取得する方法を示しています。手順で示す値は、例です。

元の出荷時の構成からデータベース・サーバー・パーティションをカスタマイズしていない場合、この項の手順を使用してバックアップを作成し、そのバックアップを使用してデータベース・サーバーをリストアします。

注意:

  • リカバリ手順により、出荷時の名前およびサイズを含む正確なパーティションがリストアされます。パーティションを少しでも変更した場合、この手順は使用できません。変更には、サイズや名前の変更、パーティションの追加または削除が含まれます。

  • rootユーザーとして、すべてのステップを実行する必要があります。

  1. バックアップの保存先を準備します。

    書込み可能な大きいNFSの場所を指定できます。NFSの場所は、バックアップtarファイルを保存できるように十分大きい必要があります。カスタマイズされていないパーティションの場合は、145GBで十分です。

    1. NFS共有のマウント・ポイントを作成します。
      mkdir -p /root/tar
    2. NFSの場所をマウントします。

      次のコマンドで、ip_addressはNFSサーバーのIPアドレス、nfs_locationはNFSの場所です。

      mount -t nfs -o rw,intr,soft,proto=tcp,nolock
      ip_address:/nfs_location/ /root/tar
      
  2. /(ルート)、/u01および/bootディレクトリのスナップショット・ベース・バックアップを取得します。
    1. ルート・ディレクトリにroot_snapという名前のスナップショットを作成します。

      次の例ではLVDbSys1が使用されていますが、imageinfoの出力に基づく値を使用する必要があります。アクティブ・イメージがLVDbSys2にある場合、コマンドはlvcreate -L1G -s -c 32K -n root_snap /dev/VGExaDb/LVDbSys2になります。

      lvcreate -L1G -s -c 32K -n root_snap /dev/VGExaDb/LVDbSys1
    2. スナップショットにラベルを付けます。

      Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

      xfs_admin -L DBSYS_SNAP /dev/VGExaDb/root_snap 

      Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

      e2label /dev/VGExaDb/root_snap DBSYS_SNAP
      
    3. / (ルート)および/u01ディレクトリのファイル・システム・タイプを確認します。
      • Oracle Exadata System Softwareリリース19.3.0以降を実行しているOracle Exadata Database Server X8Mは、xfsファイル・システム・タイプを使用します。
      • Oracle Exadata System Softwareリリース12.1.2.1.0以降を実行しているInfiniBandベースのサーバーでは、ext4ファイル・システム・タイプを使用します。
      • 12.1.2.1.0以前のリリースのOracle Exadata System Softwareを実行しているInfiniBandベースのサーバーでは、ext3ファイル・システム・タイプを使用します。
      • Oracle Exadata System Softwareリリース12.1.2.1.0以降に更新されたExadataサーバーX5以降は、ext3ファイル・システム・タイプも使用します。
      # mount -l
    4. スナップショットをマウントします。

      次のmountコマンドでは、filesystem_type_of_u01_directoryが前のステップで決定したファイル・システム・タイプのプレースホルダになります。

      mkdir /root/mnt
      mount /dev/VGExaDb/root_snap /root/mnt -t filesystem_type_of_u01_directory
    5. /u01ディレクトリにu01_snapという名前のスナップショットを作成します。
      lvcreate -L5G -s -c 32K -n u01_snap /dev/VGExaDb/LVDbOra1
    6. スナップショットにラベルを付けます。

      Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

      xfs_admin -L DBORA_SNAP /dev/VGExaDb/u01_snap

      Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

      e2label /dev/VGExaDb/u01_snap DBORA_SNAP
    7. スナップショットをマウントします。

      次のmountコマンドでは、filesystem_type_of_u01_directoryが前述のステップ2.cで決定したファイル・システム・タイプのプレースホルダになります。

      mkdir -p /root/mnt/u01
      mount /dev/VGExaDb/u01_snap /root/mnt/u01 -t filesystem_type_of_u01_directory
    8. バックアップのディレクトリに変更します。
      cd /root/mnt
    9. 次のいずれかのコマンドを使用して、バックアップ・ファイルを作成します。
      • システムにNFSマウント・ポイントがない場合:

        # tar -pjcvf /root/tar/mybackup.tar.bz2 * /boot --exclude \
        tar/mybackup.tar.bz2 > /tmp/backup_tar.stdout 2> /tmp/backup_tar.stderr
      • システムにNFSマウント・ポイントがある場合:

        次のコマンドのnfs_mount_pointsは、NFSマウント・ポイントです。マウント・ポイントを除外すると、大きいファイルと長いバックアップ時間が生成できなくなります。

        # tar -pjcvf /root/tar/mybackup.tar.bz2 * /boot --exclude \
        tar/mybackup.tar.bz2 --exclude nfs_mount_points >         \
        /tmp/backup_tar.stdout 2> /tmp/backup_tar.stderr
    10. /tmp/backup_tar.stderrファイルをチェックして、重大なエラーがないかを確認します。
      tarオープン・ソケットの障害に関するエラーおよび他の同様のエラーは無視できます。
  3. スナップショットをアンマウントし、/ (ルート)および/01ディレクトリのスナップショットを削除します。
    cd /
    umount /root/mnt/u01
    umount /root/mnt
    /bin/rm -rf /root/mnt
    lvremove /dev/VGExaDb/u01_snap
    lvremove /dev/VGExaDb/root_snap
  4. NFS共有をアンマウントします。
    umount /root/tar

2.10.2 Oracle Linuxデータベース・サーバーのスナップショット・ベースのバックアップの作成 - パーティションをカスタマイズしている場合

データベース・サーバー・パーティションをカスタマイズしている場合、バックアップ手順はパーティションをカスタマイズしていない場合の手順と同じですが、次の例外があります。

  • /u01のような追加パーティションをバックアップに追加する必要があります。

  • パーティションの名前を変更した場合は、環境に定義した名前を使用してください。たとえば、/u01の名前が/myown_u01に変更された場合、コマンドに/myown_u01を使用します。

2.11 スナップショット・ベースのバックアップを使用したOracle Linuxデータベース・サーバーのリカバリ

Oracle Linuxを実行するデータベース・サーバーのファイル・システムは、データベース・サーバーで重大な障害が発生した後またはサーバー・ハードウェアを新しいハードウェアに交換した後に、スナップショット・ベースのバックアップを使用してリカバリできます。

たとえば、すべてのハード・ディスクを交換すると、システムの元のソフトウェアはトレースできません。これは、ソフトウェアの完全なシステムの交換と似ています。さらに、障害状態になる前にデータベース・サーバーが正常であったときに取得したLVMスナップショット・ベースのバックアップを使用するデータベース・サーバーの障害リカバリ方法を提供します。

この項で説明するリカバリの手順には、ストレージ・サーバーまたはOracleデータベースに格納されたデータのバックアップやリカバリは含まれません。バックアップとリカバリ手順は定期的にテストすることをお薦めします。

2.11.1 データベース・サーバーのスナップショット・ベースのリカバリの概要

リカバリ・プロセスは、一連の作業で構成されています。

リカバリ手順では、diagnostics.isoイメージを仮想CD-ROMとして使用し、ILOMを使用してレスキュー・モードでデータベース・サーバーを再起動します。

注意:

テープからリストアする場合は、追加のドライブをロードする必要がありますが、この章では扱いません。ファイルはNFSの場所にバックアップし、既存のテープ・オプションを使用して、NFSホストとの間でバックアップとリカバリを行うことをお薦めします。

一般的なワークフローに含まれる作業は次のとおりです。

  1. 次のものを再作成します。

    • ブート・パーティション
    • 物理ボリューム
    • ボリューム・グループ
    • 論理ボリューム
    • ファイル・システム
    • スワップ・パーティション
  2. スワップ・パーティションをアクティブ化します。
  3. /bootパーティションがアクティブなブート・パーティションであることを確認します。
  4. データをリストアします。
  5. GRUBを再構成します。
  6. サーバーを再起動します。

quorumディスクを使用する場合は、バックアップからデータベース・サーバーをリカバリした後に、リカバリされたサーバーのquorumディスクを手動で再構成する必要があります。詳細は、データベース・サーバーのリストア後のquorumディスクの再構成を参照してください。

2.11.2 Oracle Linuxデータベース・サーバーのリカバリ - パーティションをカスタマイズしていない場合

パーティションをカスタマイズしていない場合にスナップショット・ベースのバックアップを使用してOracle Linuxデータベース・サーバーをリカバリできます。

この手順は、パーティション、論理ボリューム、ファイル・システム、およびそれらのサイズの配置がデータベース・サーバーの最初のデプロイ時の配置と等しい場合に適用されます。

注意:

ディスクの既存のすべてのデータは、この手順の実行中に失われます。
  1. NFSサーバーを準備して、バックアップ・アーカイブmybackup.tar.bz2をホストします。

    PIアドレスを使用して、NFSサーバーにアクセスできる必要があります。たとえば、IPアドレスnfs_ipを使用するNFSサーバーで/exportディレクトリがNFSマウントからエクスポートされる場合は、/exportディレクトリにmybackup.tar.bz2ファイルを置きます。

  2. 正常なデータベース・サーバーにある/opt/oracle.SupportTools/diagnostics.isoファイルをリストア対象のデータベース・サーバーのILOMに仮想メディアとして接続します。

    次に、ILOMインタフェースを使用した仮想CD-ROMの設定方法の例を示します。

    1. Oracle Exadata System Softwareリリース19.1以上をデータベース・サーバーにインストールした場合は、使用しているOracle Exadata System Softwareリリースに関連するパッチ(リリース19.1.0.0.0のパッチ27162010など)を使用して、My Oracle Supportからdiagnostics.isoファイルをダウンロードします。
    2. Oracle Exadata System Softwareリリース18.1.x以前をデータベース・サーバーにインストールした場合は、ILOMインタフェースを使用して/opt/oracle.SupportTools/diagnostics.isoファイルをマシンのディレクトリにコピーします。
    3. ILOM Webインタフェースにログインします。
    4. リモート制御タブからリモート・コンソールを選択します。これにより、コンソールが起動します。
    5. 「デバイス」メニューを選択します。
    6. CD-ROMイメージオプションを選択します。
    7. diagnostics.isoファイルの場所に移動します。
    8. diagnostics.isoファイルを開きます。
    9. リモート制御タブからホスト制御を選択します。
    10. 次の起動デバイスとしてCDROMを値リストから選択します。
    11. 「保存」をクリックします。
  3. ISOファイルからシステムを再起動します。

    起動中に、CD-ROMを起動デバイスとして選択します。次のコマンドを使用して、ブート中に手動で起動デバイスを選択するかわりに、リストア対象のデータベース・サーバーのILOMにアクセスできる他のマシンからipmitoolコマンドを使用して、起動デバイスを事前に設定することもできます。

    ipmitool -H ILOM_ip_address_or_hostname \
    -U root_user chassis bootdev cdrom
    
    ipmitool -H ILOM_ip_address_or_hostname \
    -U root_user chassis power cycle
    
  4. システムで要求された場合は、次のように入力します。レスポンスは太字で示されています。

    Oracle Exadata System Softwareリリース12.1.2.2.0以上では、DHCPが使用されるため、ネットワークを手動で設定する必要はありません。

    • Oracle Exadata System Softwareリリース18.1以降を使用していて、Oracle Exadata Database Machine X7以降で実行している場合は、次のようなプロンプトが表示されます。


      boot_screen_18.1.jpgの説明が続きます
      図boot_screen_18.1.jpgの説明
    • Oracle Exadata System Softwareリリース18.1以降を使用していて、Oracle Exadata Database Machine X3-2、X4-2、X5-2またはX6-2の10GbEイーサネットSFP+ポートのいずれかを使用してリストアしている場合は、次のようなプロンプトが表示されます。

      ------------------------------------------------------------------------------ 
               Choose from the following by typing letter in '()': 
                 (e)nter interactive diagnostics shell. 
                   Use diagnostics shell password to login as root user 
                   (reboot or power cycle to exit the shell), 
                 (r)estore system from NFS backup archive, 
       Select: r 
       Continue (y/n) [n]: y 
       Rescue password: 
       [INFO     ] Enter path to the backup file on the NFS server in format: 
               Enter path to the backup file on the NFS server in format: 
               <ip_address_of_the_NFS_share>:/<path>/<archive_file> 
               For example, 10.124.1.15:/export/nfs/share/backup.2010.04.08.tar.bz2 
       NFS line: <nfs_ip>:/export/mybackup.tar.bz2 
       [INFO     ] The backup file could be created either from LVM or non-LVM 
      based COMPUTE node 
       [INFO     ] Versions below 11.2.1.3.0 do not support LVM based partitioning 
       Use LVM based scheme. (y/n) [y]: y 
       Configure network settings on host via DHCP. (y/n) [y]: n 
       Configure bonded network interface. (y/n) [y]: y 
       IP Address of bondeth0 on this host: <IP address of the DB host> 
       
      Netmask of bondeth0 on this host: <netmask for the above IP address>
       Bonding mode:active-backup or 802.3ad [802.3ad]: active-backup 
       Slave interface1 for bondeth0 (ethX) [eth4]: eth4 
       Slave interface2 for bondeth0 (ethX) [eth5]: eth5 
      ...
       [  354.619610] bondeth0: first active interface up!
       [  354.661427] ixgbe 0000:13:00.1 eth5: NIC Link is Up 10 Gbps, Flow Control: RX/TX
       [  354.724414] bondeth0: link status definitely up for interface eth5, 10000 Mbps full duplex
       Default gateway: <Gateway for the above IP address>
      ------------------------------------------------------------------------------ 
    • Oracle Exadata System Softwareリリース12.1.xまたは12.2.xを使用している場合は、次のようなプロンプトが表示されます。

      ------------------------------------------------------------------------------ 
       Use diagnostics shell password to login as root user
                  (reboot or power cycle to exit the shell),
                (r)estore system from NFS backup archive.
      Select: r
      Continue (y/n) [n]: y
      Rescue password:
      [INFO: ] Enter path to the backup file on the NFS server in format:
             Enter path to the backup file on the NFS server in format:
             <ip_address_of_the_NFS_share>:/<path>/<archive_file>
             For example, 10.124.1.15:/export/nfs/share/backup.2010.04.08.tar.bz2
      NFS line: <nfs_ip>:/export/mybackup.tar.bz2
      [INFO: ] The backup file could be created either from LVM or non-LVM based COMPUTE node
      [INFO: ] Versions below 11.2.1.3.0 do not support LVM based partitioning
      Use LVM based scheme. (y/n) [y]: y
      ------------------------------------------------------------------------------ 
    • 12.1.2.2.0より前のリリースのOracle Exadata System Softwareを使用している場合、プロンプトは次のようになります。

      ------------------------------------------------------------------------------ 
            Choose from following by typing letter in '()':
         (e)nter interactive diagnostics shell. Must use credentials from Oracle
            support to login (reboot or power cycle to exit the shell),
         (r)estore system from NFS backup archive,
      Select:r
      Are you sure (y/n) [n]:y
       
      The backup file could be created either from LVM or non-LVM based compute node
      versions below 11.2.1.3.1 and 11.2.2.1.0 or higher do not support LVM based partitioning
      use LVM based scheme(y/n):y
       
      Enter path to the backup file on the NFS server in format:
      ip_address_of_the_NFS_share:/path/archive_file
      For example, 10.10.10.10:/export/operating_system.tar.bz2
      NFS line:<nfs_ip>:/export/mybackup.tar.bz2
      IP Address of this host:IP address of the DB host
      Netmask of this host:netmask for the above IP address
      Default gateway:Gateway for the above IP address. If there is no default gateway in your network, enter 0.0.0.0.
      ------------------------------------------------------------------------------ 
      

    リカバリが完了すると、ログイン画面が表示されます。

  5. rootユーザーとしてログインします。
    rootユーザーのパスワードがない場合は、Oracleサポート・サービスに問い合せてください。
  6. システムを再起動します。
    # shutdown -r now
    リストア・プロセスが完了です。
  7. データベース・サーバーにログインして、すべてのOracleソフトウェアが起動して動作していることを確認します。
    /usr/local/bin/imagehistoryコマンドは、データベース・サーバーが再構築されたことを示します。

    次に、出力の例を示します。

    # imagehistory
    
    Version                  : 11.2.2.1.0
    Image activation date    : 2010-10-13 13:42:58 -0700
    Imaging mode             : fresh
    Imaging status           : success
    
    Version                  : 11.2.2.1.0
    Image activation date    : 2010-10-30 19:41:18 -0700
    Imaging mode             : restore from nfs backup
    Imaging status           : success
    
  8. リストアしたデータベース・サーバーで、reclaimdisks.shを実行します。
    /opt/oracle.SupportTools/reclaimdisks.sh -free -reclaim
  9. リカバリをOracle Exadata Database Machineエイス・ラックで実行した場合は、「Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーのリカバリ後の構成」の手順を実行します。

2.11.3 Exadata Database Server X7以降のリカバリ - パーティションをカスタマイズしている場合

次の手順では、パーティションをカスタマイズしている場合に、スナップショット・ベースのバックアップを使用してOracle Exadata Database Machine X7-2以降のOracle Linuxデータベース・サーバーをリカバリする方法について説明します。

注意:

このタスクは、Oracle Exadata System Softwareリリース18c (18.1.0)以降を実行していることが前提です。
  1. Oracle Linuxデータベース・サーバーのリカバリ - パーティションをカスタマイズしていない場合」のステップ1からステップ3を完了します。
  2. Oracle Linux Database Serverのリカバリ - パーティションをカスタマイズしていない場合のステップ4で診断シェルの入力を選択し、rootユーザーとしてログインします。

    rootユーザーのパスワードがない場合は、Oracleサポート・サービスに問い合せてください。

  3. 必要に応じて、/opt/MegaRAID/storcli/storcli64 (またはOracle Exadata System Software 19cより前のリリースの場合は/opt/MegaRAID/MegaCli/MegaCli64)を使用して、ディスク・コントローラを構成してディスクを設定します。
  4. /bootにマウントする少なくとも128MBのプライマリ・ブート・パーティションが作成されていることを確認します。
    ブート領域にLVMパーティションは指定できません。
  5. ブート・パーティションを作成します。
    umount /mnt/cell
    parted /dev/sda
    

    インタラクティブ・シェルが表示されます。次の手順では、システム・プロンプトに応答する方法について説明します。

    1. ディスク・ラベルを割り当てます。
      (parted) mklabel gpt
    2. ユニット・サイズをセクターとして設定します。
      (parted) unit s
    3. 既存のパーティションを表示して、パーティション表を確認します。
      (parted) print
    4. 再作成するパーティションを削除します。
      (parted) rm <part#>
    5. 新しい最初のパーティションを作成します。
      (parted) mkpart primary 64 1048639
    6. これがブート可能パーティションであることを指定します。
      (parted) set 1 boot on
  6. 2番目のプライマリ(起動)と3番目のプライマリ(LVM)のパーティションを作成します。
    1. UEFIブート・パーティションとして2番目のプライマリ・パーティションをfat32で作成します。
      (parted) mkpart primary fat32 1048640s 1572927s 
      (parted) set 2 boot on
    2. 新しい3つ目のパーティションを作成します。
      (parted) mkpart primary 1572928 –1
    3. 物理ボリュームとして3番目のパーティションを構成します。
      (parted) set 3 lvm on
    4. ディスクに情報を書き込んで、終了します。
      (parted) quit
  7. /sbin/lvmコマンドを使用してカスタマイズされたLVMパーティションを再作成し、mkfsを使用してファイル・システムを作成します。
    1. 次に示すように、物理ボリューム、ボリューム・グループおよび論理ボリュームを作成します。
      # lvm pvcreate /dev/sda3
      # lvm vgcreate VGExaDb /dev/sda3

      論理ボリュームまたはボリューム・グループがすでに存在する場合は、論理ボリュームまたはボリューム・グループを次のように削除してから再作成します。

      # lvm vgremove VGExaDb
      # lvm pvremove /dev/sda3
      # lvm pvcreate /dev/sda3
      # lvm vgcreate VGExaDb /dev/sda3
    2. /(ルート)ディレクトリの論理ボリュームおよびファイル・システムを作成し、ラベルを付けます。
      • 論理ボリュームを作成します。

        # lvm lvcreate -n LVDbSys1 -L40G VGExaDb
        
      • ファイル・システムを作成します。

        Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

        # mkfs.xfs /dev/VGExaDb/LVDbSys1 -f

        Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

        # mkfs.ext4 /dev/VGExaDb/LVDbSys1
        
      • ファイル・システムにラベルを付けます。

        Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

        # xfs_admin -L DBSYS /dev/VGExaDb/LVDbSys1

        Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

        # e2label /dev/VGExaDb/LVDbSys1 DBSYS
    3. swapディレクトリの論理ボリュームを作成して、ラベルを付けます。
      # lvm lvcreate -n LVDbSwap1 -L24G VGExaDb
      # mkswap -L SWAP /dev/VGExaDb/LVDbSwap1
      
    4. root/u01ディレクトリの論理ボリュームを作成して、ラベルを付けます。
      • 論理ボリュームを作成します。

        # lvm lvcreate -n LVDbOra1 -L100G VGExaDb
        
      • LVDbOra1にファイル・システムを作成します。

        Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

        # mkfs.xfs /dev/VGExaDb/LVDbOra1 -f

        Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

        # mkfs.ext4 /dev/VGExaDb/LVDbOra1
      • ファイル・システムにラベルを付けます。

        Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

        # xfs_admin -L DBORA /dev/VGExaDb/LVDbOra1

        Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

        # e2label /dev/VGExaDb/LVDbOra1 DBORA
      • /dev/sda2ファイル・システムにラベルを付けます。

        # dosfslabel /dev/sda2 ESP
        
    5. /bootパーティションにファイル・システムを作成し、ラベルを付けます。
      • ファイル・システムを作成します。

        Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

        # mkfs.xfs /dev/sda1 -f

        Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

        # mkfs.ext4 /dev/sda1
        
      • ファイル・システムにラベルを付けます。

        Oracle Linux KVM環境で作業している場合は、次のコマンドを使用します。

        # xfs_admin -L BOOT /dev/sda1

        Xen管理対象のOracle VM環境で作業している場合は、次のコマンドを使用します。

        # e2label /dev/sda1 BOOT
        

      注意:

      カスタマイズされたファイル・システム配置の場合は、ここで追加の論理ボリュームを作成できます。カスタマイズされた配置では、異なるサイズが使用される場合があります。
  8. すべてのパーティションのマウント・ポイントを作成して元のシステムをミラー化し、各パーティションをマウントします。

    たとえば、/mntがこの最上位ディレクトリとして使用されると、マウントされるパーティションのリストは次のようになります。

    /dev/VGExaDb/LVDbSys1 on /mnt
    /dev/VGExaDb/LVDbOra1 on /mnt/u01
    /dev/sda1 on /mnt/boot
    

    次のように、ディレクトリを作成してパーティションをマウントします。

    file_systemプレースホルダーには、Oracle Linux KVMではxfs、Xen管理対象Oracle VMではext4を使用します。

    
    # mount /dev/VGExaDb/LVDbSys1 /mnt -t file_system
    # mkdir /mnt/u01 /mnt/boot
    # mount /dev/VGExaDb/LVDbOra1 /mnt/u01 -t file_system
    # mount /dev/sda1 /mnt/boot -t file_system
    

    注意:

    カスタマイズされたファイル・システム配置で追加の論理ボリュームがある場合は、このステップで追加のマウント・ポイントを作成する必要があります。
  9. マウント・ポイント/mnt/boot/efiを作成して、vfatタイプで/mnt/boot/efi/dev/sda2をマウントします。
    # mkdir /mnt/boot/efi
    # mount /dev/sda2 /mnt/boot/efi -t vfat
    
  10. インタフェースを起動します。
    ip address add ip_address_for_eth0/netmask_for_eth0 dev eth0
    ip link set up eth0
    ip route add default via gateway_address dev eth0
    
  11. バックアップがあるNFSサーバーをマウントします。

    IPアドレスnfs_ipを使用したNFSサーバーをマウントし、バックアップの場所に/exportとしてエクスポートします。

    # mkdir -p /root/mnt
    # mount -t nfs -o ro,intr,soft,proto=tcp,nolock nfs_ip:/export /root/mnt
    
  12. バックアップをリストアします。
    # tar -pjxvf /root/mnt/mybackup.tar.bz2 -C /mnt
    
  13. リストアされたファイル・システムをアンマウントします。
    # umount /mnt/u01
    # umount /mnt/boot/efi
    # umount /mnt/boot
    # umount /mnt
    
  14. diagnostics.isoファイルを切り離します。
  15. 起動デバイスとExadataLinux_1デバイスの起動順序を確認します。
    1. 使用可能な起動デバイスを確認します。
      # efibootmgr
      BootCurrent: 000C
      Timeout: 1 seconds
      BootOrder: 000C,0001,0002,0003,0004,0005,0007,0008,0009,000A,000B
      Boot0001* NET0:PXE IP4 Intel(R) I210 Gigabit  Network Connection
      Boot0002* NET1:PXE IP4 Oracle Dual Port 10GBase-T Ethernet Controller
      Boot0003* NET2:PXE IP4 Oracle Dual Port 10GBase-T Ethernet Controller
      Boot0004* PCIE1:PXE IP4 Oracle Dual Port 25Gb Ethernet Adapter
      Boot0005* PCIE1:PXE IP4 Oracle Dual Port 25Gb Ethernet Adapter
      Boot0007* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot0008* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot0009* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot000A* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot000B* Oracle Linux
      Boot000C* USB:SUN
      

      Boot0000* ExadataLinux_1デバイスがリストされていない場合は、そのデバイスを作成します。

      # efibootmgr -c -d /dev/sda -p 2 -l '\EFI\REDHAT\SHIM.EFI' -L 'ExadataLinux_1'
      BootCurrent: 000C
      Timeout: 1 seconds
      BootOrder: 0000,000C,0001,0002,0003,0004,0005,0007,0008,0009,000A,000B
      Boot0001* NET0:PXE IP4 Intel(R) I210 Gigabit  Network Connection
      Boot0002* NET1:PXE IP4 Oracle Dual Port 10GBase-T Ethernet Controller
      Boot0003* NET2:PXE IP4 Oracle Dual Port 10GBase-T Ethernet Controller
      Boot0004* PCIE1:PXE IP4 Oracle Dual Port 25Gb Ethernet Adapter
      Boot0005* PCIE1:PXE IP4 Oracle Dual Port 25Gb Ethernet Adapter
      Boot0007* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot0008* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot0009* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot000A* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot000B* Oracle Linux
      Boot000C* USB:SUN
      Boot0000* ExadataLinux_1
    2. Boot0000* ExadataLinux_1デバイスが起動順序の最初になるように構成します。
      # efibootmgr -o 0000
      BootCurrent: 000B
      Timeout: 1 seconds
      BootOrder: 0000
      Boot0000* ExadataLinux_1
      Boot0001* NET0:PXE IP4 Intel(R) I210 Gigabit  Network Connection
      Boot0002* NET1:PXE IP4 Oracle Dual Port 10GBase-T Ethernet Controller
      Boot0003* NET2:PXE IP4 Oracle Dual Port 10GBase-T Ethernet Controller
      Boot0004* PCIE1:PXE IP4 Oracle Dual Port 25Gb Ethernet Adapter
      Boot0005* PCIE1:PXE IP4 Oracle Dual Port 25Gb Ethernet Adapter
      Boot0007* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot0008* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot0009* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot000A* PCIE3:PXE IP4 Oracle Quad Port 10GBase-T Adapter
      Boot000B* USB:SUN
      Boot000C* UEFI OS
  16. システムを再起動してBIOSの起動順序を更新します。
    # reboot
    

    起動順序を変更して、ExadataLinux_1起動デバイスが最初のデバイスになるように設定します。

    1. システムの起動時に[F2]を押します。
    2. 設定ユーティリティに進みます。
    3. BOOT」を選択します。
    4. ブート・オプション#1にExadataLinux_1を設定します。
    5. 設定ユーティリティを終了します。

    これで、サーバーのリストア手順が完了です。

  17. リストアしたデータベース・サーバーで、reclaimdisks.shを実行します。
    /opt/oracle.SupportTools/reclaimdisks.sh -free -reclaim
  18. リカバリをOracle Exadata Database Machineエイス・ラックで実行した場合は、「Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーのリカバリ後の構成」の手順を実行します。

2.11.4 Exadata X6以前のデータベース・サーバーのリカバリ - パーティションをカスタマイズしている場合

次の手順では、カスタマイズしたパーティションを使用しているときに、Oracle Linuxを実行しているOracle Exadata Database Machine X6-2以前のOracle Exadata Database Serverをスナップショット・ベースのバックアップからリカバリする方法について説明します。

このステップは、diagnostics.isoを使用してデータベース・サーバーを起動した後にenter interactive diagnostics shellおよびrestore system from NFS backup archiveオプションの選択を要求されるまで、カスタマイズされていないパーティションのリストア・ステップと同じです。

  1. 診断シェルの入力を選択して、rootユーザーとしてログインします。

    rootユーザーのパスワードがない場合は、Oracleサポート・サービスに問い合せてください。

  2. 必要に応じて、/opt/MegaRAID/MegaCli/MegaCli64を使用して、ディスク・コントローラを構成してディスクを設定します。
  3. /bootにマウントする少なくとも128MBのプライマリ・ブート・パーティションが作成されていることを確認します。
    ブート領域にLVMパーティションは指定できません。
  4. ブート・パーティションを作成します。
    umount /mnt/cell
    parted /dev/sda
    

    インタラクティブ・シェルが表示されます。次の手順では、システム・プロンプトに応答する方法について説明します。

    1. ディスク・ラベルを割り当てます。
      • Oracle Exadata System Softwareリリース11.2.3.3.0以上を実行している場合:

        (parted) mklabel gpt
      • Oracle Exadata System Softwareリリース11.2.3.3.0より前のリリースを実行している場合:

        (parted) mklabel msdos
    2. ユニット・サイズをセクターとして設定します。
      (parted) unit s
    3. 既存のパーティションを表示して、パーティション表を確認します。
      (parted) print
    4. 再作成するパーティションを削除します。
      (parted) rm <part#>
    5. 新しい最初のパーティションを作成します。
      (parted) mkpart primary 63 1048639
    6. これがブート可能パーティションであることを指定します。
      (parted) set 1 boot on
  5. 追加のプライマリ(LVM)パーティションを作成します。
    • Oracle Exadata System Softwareリリース18.1.0.0.0以降を使用している場合、2番目のプライマリ(bios_grub)パーティションと3番目のプライマリ(LVM)パーティションを作成します。
      1. 2番目のパーティションを新規作成するには、「mkpart primary 1048640 1050687」と入力します。

      2. これがGRUB BIOSパーティションであることを指定するために「set 2 bios_grub on」と入力します。

      3. 新しい3番目のパーティションを作成するには、「mkpart primary 1050688 1751949278」と入力します。

      4. これが物理ボリュームであることを指定するために「set 3 lvm on」と入力します。

      5. 情報をディスクに書き込むために「quit」と入力し、終了します。

    • Oracle Exadata System Softwareリリース18.1.0.0.0より前のリリースを使用している場合は、次を実行します。
      1. 2番目のパーティションを新規作成するには、「mkpart primary 1048640 -1」と入力します。

      2. これが物理ボリュームであることを指定するために「set 2 lvm on」と入力します。

      3. 情報をディスクに書き込むために「quit」と入力し、終了します。

  6. /sbin/lvmコマンドを使用してカスタマイズされたLVMパーティションを再作成し、mkfsを使用してファイル・システムを作成します。
    1. 次に示すように、物理ボリューム、ボリューム・グループおよび論理ボリュームを作成します。
      lvm pvcreate /dev/sda2
      lvm vgcreate VGExaDb /dev/sda2
      
    2. /(ルート)ディレクトリの論理ボリュームおよびファイル・システムを作成し、ラベルを付けます。
      • 論理ボリュームを作成します。

        lvm lvcreate -n LVDbSys1 -L40G VGExaDb
        
      • Oracle Exadata System Softwareリリース12.1.2.2.0以降を使用している場合は、予約パーティション用の論理ボリュームを作成します。

        # lvm lvcreate -n LVDoNotRemoveOrUse –L1G VGExaDb
        

        注意:

        この論理ボリュームにファイル・システムを作成しないでください。
      • ファイル・システムを作成します。

        • ext4ファイル・システムがすでにある場合は、次のようにmkfs.ext4コマンドを使用します。

          mkfs.ext4 /dev/VGExaDb/LVDbSys1
          
        • ext3ファイル・システムがすでにある場合は、次のようにmkfs.ext3コマンドを使用します。

          mkfs.ext3 /dev/VGExaDb/LVDbSys1
          
      • ファイル・システムにラベルを付けます。

        e2label /dev/VGExaDb/LVDbSys1 DBSYS
        
    3. swapディレクトリの論理ボリュームを作成して、ラベルを付けます。
      lvm lvcreate -n LVDbSwap1 -L24G VGExaDb
      mkswap -L SWAP /dev/VGExaDb/LVDbSwap1
      
    4. root/u01ディレクトリの論理ボリュームを作成して、ラベルを付けます。
      • 論理ボリュームを作成します。

        lvm lvcreate -n LVDbOra1 -L100G VGExaDb
        
      • ファイル・システムを作成します。

        • ext4ファイル・システムがすでにある場合は、次のようにmkfs.ext4コマンドを使用します。

          mkfs.ext4 /dev/VGExaDb/LVDbOra1
          
        • ext3ファイル・システムがすでにある場合は、次のようにmkfs.ext3コマンドを使用します。

          mkfs.ext3 /dev/VGExaDb/LVDbOra1
          
      • ファイル・システムにラベルを付けます。

        e2label /dev/VGExaDb/LVDbOra1 DBORA
        
    5. /bootパーティションにファイル・システムを作成し、ラベルを付けます。
      • ファイル・システムを作成します。

        • ext4ファイル・システムがすでにある場合は、次のようにmkfs.ext4コマンドを使用します。

          mkfs.ext4 /dev/sda1
          
        • ext3ファイル・システムがすでにある場合は、次のようにmkfs.ext3コマンドを使用します。

          mkfs.ext3 /dev/sda1
          
      • ファイル・システムにラベルを付けます。

        e2label /dev/sda1 BOOT
        

      注意:

      カスタマイズされたファイル・システム配置の場合は、ここで追加の論理ボリュームを作成できます。カスタマイズされた配置では、異なるサイズが使用される場合があります。
  7. すべてのパーティションのマウント・ポイントを作成して元のシステムをミラー化し、各パーティションをマウントします。

    たとえば、/mntがこの最上位ディレクトリとして使用されると、マウントされるパーティションのリストは次のようになります。

    /dev/VGExaDb/LVDbSys1 on /mnt
    /dev/VGExaDb/LVDbOra1 on /mnt/u01
    /dev/sda1 on /mnt/boot
    

    注意:

    カスタマイズされたファイル・システム配置で追加の論理ボリュームがある場合は、このステップで追加のマウント・ポイントを作成する必要があります。

    次の例は、Oracle Exadata Database Machine X6-2以前のシステムでrootファイル・システムをマウントする方法と、2つのマウント・ポイントを作成する方法を示しています。次のコマンドのfilesystem_type_of_/_directoryは、/ (root)ディレクトリのファイル・システム(ext3またはext4のいずれか)を指定します。

    mount /dev/VGExaDb/LVDbSys1 /mnt -t filesystem_type_of_/_directory
    mkdir /mnt/u01 /mnt/boot
    
    mount /dev/VGExaDb/LVDbOra1 /mnt/u01 -t filesystem_type_of_/u01_directory
    mount /dev/sda1 /mnt/boot -t filesystem_type_of_/boot_directory
    
  8. インタフェースを起動します。
    • オペレーティング・システムがOracle Linux 6以上の場合:
      ip address add ip_address_for_eth0/netmask_for_eth0 dev eth0
      ip link set up eth0
      ip route add default via gateway_address dev eth0
      
    • オペレーティング・システムがOracle Linux 5の場合:
      ifconfig eth0 ip_address_for_eth0 netmask netmask_for_eth0 up
      
  9. バックアップがあるNFSサーバーをマウントします。

    IPアドレスnfs_ipを使用したNFSサーバーをマウントし、バックアップの場所に/exportとしてエクスポートします。

    mkdir -p /root/mnt
    mount -t nfs -o ro,intr,soft,proto=tcp,nolock nfs_ip:/export /root/mnt
    
  10. バックアップをリストアします。
    tar -pjxvf /root/mnt/mybackup.tar.bz2 -C /mnt
    
  11. リストアしたファイル・システムをアンマウントし、/bootパーティションを再マウントします。
    umount /mnt/u01
    umount /mnt/boot
    umount /mnt
    mkdir /boot
    mount /dev/sda1 /mnt/boot -t filesystem_type_of_/boot_directory
    
  12. ブート・ローダーを設定します。

    次の手順では、/dev/sda1/boot領域です。

    • Oracle Exadata System Softwareリリース18.1.0.0.0以降を使用している場合は、次を実行します。
      grub2-install /dev/sda
      
      Installing for i386-pc platform.
      Installation finished. No error reported.
    • Oracle Exadata System Softwareリリース18.1.0.0.0より前のリリースを使用している場合は、次を実行します。
      grub
      find /I_am_hd_boot     (1)
      root (hdX,0)
      setup (hdX)
      quit
      

      前述のコマンドの(1)により、(hd0,0)などのI_am_hd_bootファイルを含むハード・ディスクhdXが検索されます。

  13. diagnostics.isoファイルを切り離します。
  14. /bootパーティションをアンマウントします。
    umount /boot
    
  15. システムを再起動します。
    # shutdown -r now

    これで、サーバーのリストア手順が完了です。

  16. リカバリをOracle Exadata Database Machineエイス・ラックで実行した場合は、「Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーのリカバリ後の構成」の手順を実行します。

2.11.5 Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーのリカバリ後の構成

Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーを再イメージ化、リストアまたはレスキューした場合は、エイス・ラックを再構成できます。

2.11.5.1 Oracle Exadata Storage Serverリリース12.1.2.3.0以上を実行するX3-2以上のマシンでのエイス・ラックの構成

Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーを再イメージ化、リストアまたはレスキューした場合は、次の手順を実行する必要があります。

X3-2システムでは、Oracle Exadata System Softwareリリース12.1.2.3.0以上を実行している場合のみこの方法を使用します。

  1. リカバリしたサーバーで、resourcecontrolユーティリティが/opt/oracle.SupportToolsディレクトリに存在することを確認します。そうでない場合は、リカバリしたサーバーに別のデータベース・サーバーからコピーします。
  2. resourcecontrolユーティリティに対して適切な権限が設定されていることを確認します。
    # chmod 740 /opt/oracle.SupportTools/resourcecontrol
    
  3. 現在の構成を確認します。
    # dbmcli -e LIST DBSERVER ATTRIBUTES coreCount
    

    それぞれのマシンの構成で許可されるコアの数は、表2-3を参照してください。正しい値が表示されている場合、構成の変更は不要です。その値が表示されなかった場合は、ステップ4に進みます。

  4. 有効になっているコアの構成を変更します。
    # dbmcli -e ALTER DBSERVER pendingCoreCount=new_core_count FORCE
    

    エイス・ラックのnew_core_countは次のとおりです。

    • X8-2: 24
    • X7–2: 24
    • X6-2: 22
    • X5-2: 18
    • X4-8: 60
    • X4-2: 12
  5. サーバーを再起動します。
    # reboot
    
  6. 構成の変更を確認します。
    # dbmcli -e LIST DBSERVER ATTRIBUTES coreCount
    
2.11.5.2 Oracle Exadata Storage Serverリリース12.1.2.2.3以下を実行するX3-2マシンでのエイス・ラックの構成

Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーを再イメージ化、リストアまたはレスキューした場合は、次の手順を実行する必要があります。

  1. 別のデータベース・サーバーにある/opt/oracle.SupportTools/resourcecontrolユーティリティを、リカバリしたサーバーの/opt/oracle.SupportTools/resourcecontrolディレクトリにコピーします。
  2. ユーティリティに対して適切な権限が設定されていることを確認します。
    # chmod 740 /opt/oracle.SupportTools/resourcecontrol
    
  3. 現在の構成を確認します。

    コマンドの出力は次のようになります。

    # /opt/oracle.SupportTools/resourcecontrol -show
    
      Validated hardware and OS. Proceed.
      Number of cores active: 8
    

    エイス・ラック構成の場合、8個のコアが有効になっている必要があります。その値が表示された場合、構成の変更は不要です。その値が表示されなかった場合は、ステップ4に進みます。

    注意:

    ユーティリティの実行後に次のようなエラーが発生した場合は、通常、サーバーを1回以上再起動すると、エラーが解消されます。

    Validated hardware and OS. Proceed.
    Cannot get ubisconfig export. Cannot Proceed. Exit.
  4. 有効になっているコアの構成を変更します。
    # /opt/oracle.SupportTools/resourcecontrol -cores 8
    
  5. サーバーを再起動します。
    # shutdown -r now
    
  6. 構成の変更を確認します。
    # /opt/oracle.SupportTools/resourcecontrol -show
    

    コマンドを実行すると、データベース・サーバーについて次のような出力が表示されると予想されます。

    This is a Linux database server.
    Validated hardware and OS. Proceed.
    Number of cores active per socket: 4

2.12 Oracle Exadata Database Serverの再イメージ化

様々な理由によりデータベース・サーバーを初期状態にする必要がある場合は、再イメージ化の手順が必要になります。

データベース・サーバーの再イメージ化は、次のような場合に求められます。

  • 新しいサーバーをインストールするときに、すでにサーバーにインストールされているイメージよりも前のリリースを使用する必要がある場合。
  • 障害が発生したデータベース・サーバーを新しいデータベース・サーバーに交換する必要がある場合。
  • データベース・サーバーに複数のディスク障害があるためローカル・ディスクのストレージに障害が発生していて、データベース・サーバーのバックアップがない場合。
  • 新しいラックでサーバーを再利用する場合。

再イメージ化手順の実行中に、Oracle Exadata Database Machineの他のデータベース・サーバーを使用できます。クラスタに新しいサーバーを追加すると、ソフトウェアが既存のデータベース・サーバーから新しいサーバーにコピーされます。スクリプト、CRONジョブ、保守処置、Oracle以外のソフトウェアのリストアはユーザーが行います。

注意:

この項の手順は、データベースがOracle Database 11gリリース2 (11.2)以降であると仮定します。

Oracle Exadata System Softwareリリース19.1.0以降、ハードウェアがSecure Eraserをサポートしている場合、Secure Eraserは再イメージ化中に自動的に起動されます。これにより、パフォーマンスを維持しながら再イメージ化手順が大幅に簡略化されます。ラックを再購入する場合は、ラックをイメージ化するだけで、プロセスの一環としてセキュア・データ消去が透過的に行われます。

次のタスクは、Oracle Linuxを実行するOracle Exadata Database Serverを再イメージ化する方法を示しています。

2.12.1 Oracleサポート・サービスへの連絡

障害が発生したサーバーを交換する場合は、Oracleサポート・サービスでサポート・リクエストを開きます。

サポート・エンジニアが障害が発生したサーバーを確認し、交換サーバーを送ります。サポート・エンジニアは、残存データベース・サーバーから実行したimagehistoryコマンドの出力結果を要求します。出力結果により、元のデータベース・サーバーのイメージ化に使用したcomputeImageMakerファイルへのリンクと、システムを同じレベルにリストアする手段が提供されます。

2.12.2 クラスタ検証ユーティリティの最新リリースのダウンロード

クラスタ検証ユーティリティ(cluvfy)の最新リリースは、My Oracle Supportで入手できます。

ダウンロードの手順およびその他の情報は、My Oracle Supportノート316817.1を参照してください。

2.12.3 クラスタからのデータベース・サーバーの削除

障害が発生したサーバーを再イメージ化する場合やサーバーを再利用する場合は、この作業のステップに従って、再イメージ化の前にクラスタからサーバーを削除します。それ以外の理由のためにサーバーを再イメージ化する場合は、このタスクをスキップし、その次の再イメージ化の作業に進んでください。

この作業のステップは、クラスタで動作しているデータベース・サーバーを使用して実行されます。次のコマンドのworking_serverは、動作しているデータベース・サーバーです。また、failed_serverは、障害が発生しているか再利用のために削除するデータベース・サーバーです。

  1. クラスタのデータベース・サーバーにoracleユーザーとしてログインします。
    oracleユーザーは、Oracle Databaseソフトウェアのインストール環境を所有するオペレーティング・システム・ユーザーを指します。$ORACLE_HOME変数は、データベース・ホームの場所を指している必要があります。
  2. 障害が発生したサーバーで実行されているリスナーを無効化します。
    $ srvctl disable listener -n failed_server
    $ srvctl stop listener -n failed_server
    
  3. OracleインベントリからOracleホームを削除します。

    次のコマンドのlist_of_working_serversは、dm01db02dm01db03などのクラスタで動作しているサーバーのリストです。

    次のコマンドでは、/u01/app/oracle/product/12.1.0.2/dbhome_1をOracle Databaseのホーム・ディレクトリの場所に置き換えます。

    $ cd $ORACLE_HOME/oui/bin
    $ ./runInstaller -updateNodeList ORACLE_HOME= \
    /u01/app/oracle/product/12.1.0.2/dbhome_1 "CLUSTER_NODES=list_of_working_servers"
    
  4. データベース・サーバーにgridユーザーとしてログインします。
    gridユーザーは、Oracle Grid Infrastructureソフトウェアのインストール環境を所有するオペレーティング・システム・ユーザーを指します。$ORACLE_HOME変数は、Gridホームの場所を指している必要があります。
  5. 障害が発生したサーバーの固定が解除されたことを確認します。
    $ olsnodes -s -t
    

    次に、コマンドの出力例を示します。

    dm01db01        Inactive        Unpinned
    dm01db02        Active          Unpinned
    
  6. データベース・サーバーにrootユーザーとしてログインします。
  7. 障害が発生したデータベース・サーバーのVIPリソースを停止して削除します。
    # srvctl stop vip -i failed_server-vip
    PRCC-1016 : failed_server-vip.example.com was already stopped
    
    # srvctl remove vip -i failed_server-vip
    Please confirm that you intend to remove the VIPs failed_server-vip (y/[n]) y
    
  8. クラスタからサーバーを削除します。
    # crsctl delete node -n failed_server
    CRS-4661: Node dm01db01 successfully deleted.
    

    次のようなエラー・メッセージを受領したら、投票ディスクを移動します。

    CRS-4662: Error while trying to delete node dm01db01.
    CRS-4000: Command Delete failed, or completed with errors.
    

    投票ディスクを移動するには、次のステップを実行します。

    1. 投票ディスクの現在の場所を特定します。
      # crsctl query css votedisk
      

      次に、コマンドの出力例を示します。現在の場所はDBFS_DGです。

      ##  STATE    File Universal Id          File Name                Disk group
      --  -----    -----------------          ---------                ----------
      1. ONLINE   123456789abab (o/192.168.73.102/DATA_CD_00_dm01cel07) [DBFS_DG]
      2. ONLINE   123456789cdcd (o/192.168.73.103/DATA_CD_00_dm01cel08) [DBFS_DG]
      3. ONLINE   123456789efef (o/192.168.73.100/DATA_CD_00_dm01cel05) [DBFS_DG]
      Located 3 voting disk(s).
      
    2. 投票ディスクを別のディスク・グループに移動します。
      # ./crsctl replace votedisk +DATA
      
      Successful addition of voting disk 2345667aabbdd.
      ...
      CRS-4266: Voting file(s) successfully replaced
      
    3. 次のコマンドを使用して、投票ディスクを元の場所に移動します。
      # ./crsctl replace votedisk +DBFS_DG
      
    4. クラスタからサーバーを削除します。
  9. データベース・サーバーにgridユーザーとしてログインします。
    gridユーザーは、Oracle Grid Infrastructureソフトウェアのインストール環境を所有するオペレーティング・システム・ユーザーを指します。$ORACLE_HOME変数は、Gridホームの場所を指している必要があります。
  10. Oracleインベントリを更新します。

    次のコマンドでは、/u01/app/12.1.0.2/gridをOracle Grid Infrastructureのホーム・ディレクトリの場所に置き換えます。

    $ cd $ORACLE_HOME/oui/bin
    $ ./runInstaller -updateNodeList ORACLE_HOME=/u01/app/12.1.0.2/grid \
      "CLUSTER_NODES=list_of_working_servers" CRS=TRUE
    
  11. サーバーが正常に削除されたことを確認します。
    $ cluvfy stage -post nodedel -n failed_server -verbose
    

    次に、コマンドの出力例を示します。

    Performing post-checks for node removal
    Checking CRS integrity...
    The Oracle clusterware is healthy on node "dm01db02"
    CRS integrity check passed
    Result:
    Node removal check passed
    Post-check for node removal was successful.

2.12.4 データベース・サーバーのイメージ化

データベース・サーバーのインストール後または交換後に、新しいデータベース・サーバーのイメージを作成できます。

USBサム・ドライブでインストール・メディアを使用することも、ILOMにアタッチされているPXEまたはISOを使用してタッチレス・オプションを使用することもできます。詳細は、Oracle Exadata Database Machineインストレーションおよび構成ガイド新規システムのイメージ化を参照してください。

2.12.5 再イメージ化したデータベースの構成

再イメージ化したデータベース・サーバーには、ホスト名、IPアドレス、DNSまたはNTPの設定がありません。この作業のステップでは、再イメージ化したデータベース・サーバーを構成する方法について説明します。

再イメージ化したデータベースの構成前に、次の情報が必要になります。

  • ネーム・サーバー
  • 南北アメリカ/シカゴなどのタイムゾーン
  • NTPサーバー
  • 管理ネットワークのIPアドレス情報
  • クライアント・アクセス・ネットワークのIPアドレス情報
  • RDMAネットワーク・ファブリックのIPアドレス情報
  • 標準的なホスト名
  • デフォルトのゲートウェイ

Oracle Exadata Database Machineのすべてのデータベース・サーバーで情報を同じにする必要があります。IPアドレスは、DNSから取得できます。また、Oracle Exadata Database Machineがインストールされたときに、この情報を含むドキュメントが提供されています。

次の手順では、再イメージ化したデータベース・サーバーを構成する方法について説明します。

  1. 交換データベース・サーバーの電源を投入します。システムがブートすると、自動的にOracle Exadataの構成ルーチンが実行され、情報の入力が要求されます。
  2. 要求された場合は情報を入力して、設定を確認します。起動プロセスが続行されます。

注意:

  • データベース・サーバーがすべてのネットワーク・インタフェースを使用していない場合は、構成プロセスが停止し、いずれかのネットワーク・インタフェースが切断されているという警告が出されます。検出プロセスを再試行するかどうかの確認を求められます。環境に応じて、yesまたはnoと入力します。

  • クライアント・アクセス・ネットワークにボンディングが使用される場合、この時点でデフォルトのアクティブ/パッシブ・モードに設定されます。

2.12.6 再イメージ化したデータベース・サーバーのクラスタのための準備

この作業では、初期インストール時に、再イメージ化したベア・メタルのデータベース・サーバーに確実に変更が加えられるようにする方法について説明します。

注意:

Oracle VMシステムの場合は、「OEDACLIを使用したExadataでのOracle VM Oracle RACクラスタの拡張」に記載の手順に従ってください。
  1. 動作しているデータベース・サーバーのファイルを参照して、次のファイルの内容をコピーまたはマージします。
    1. /etc/security/limits.confファイルの内容をコピーします。
    2. /etc/hostsファイルの内容をマージします。
    3. /etc/oracle/cell/network-config/cellinit.oraファイルをコピーします。
    4. /etc/oracle/cell/network-config/cellinit.oraファイルを、交換サーバーのifcfg-bondib0インタフェース(アクティブ-パッシブ・ボンディングの場合)またはib0およびib1インタフェース(アクティブ-アクティブ・ボンディングの場合)のIP_ADDRESSで更新します。
    5. /etc/oracle/cell/network-config/cellip.oraファイルをコピーします。
      すべてのデータベース・サーバーでcellip.oraファイルの内容を同じにする必要があります。
    6. 10GbEなど、追加ネットワーク要件を構成します。
    7. modprobe構成をコピーします。

      すべてのデータベース・サーバーで構成ファイルの内容を同じにする必要があります。

      • Oracle Linux 5または6: このファイルは/etc/modprobe.confにあります。
      • Oracle Linux 7: このファイルは/etc/modprobe.d/exadata.confにあります。
    8. /etc/sysctl.confファイルをコピーします。
      すべてのデータベース・サーバーでファイルの内容を同じにする必要があります。
    9. cellroute.oraを更新します。

      /etc/oracle/cell/network-config/cellroute.oraファイルのコピーを作成します。新しいノードでローカルのInfiniBandインタフェースを使用するように、交換サーバー上のコンテンツを変更します。

    10. データベース・サーバーを再起動し、ネットワーク変更を有効にします。
  2. グループを追加して、交換データベース・サーバーにソフトウェア所有者のユーザーを設定します。
    ロール別管理を使用している場合、通常、ユーザーはoracleおよびgridです。単一のソフトウェア所有者を使用する場合、通常、ユーザーはoracleです。グループ情報は、動作しているデータベース・サーバーで使用できます。
    1. 動作しているデータベース・サーバーから現在のグループ情報を取得します。
      # id oracle
      uid=1000(oracle) gid=1001(oinstall) groups=1001(oinstall),1002(dba),1003(oper),1004(asmdba)
      
    2. groupaddコマンドを使用して、グループ情報を交換データベース・サーバーに追加します。
      # groupadd -g 1001 oinstall
      # groupadd -g 1002 dba
      # groupadd -g 1003 oper
      # groupadd -g 1004 asmdba
      
    3. 動作しているデータベース・サーバーから現在のユーザー情報を取得します。
      # id oracle uid=1000(oracle) gid=1001(oinstall) \
        groups=1001(oinstall),1002(dba),1003(oper),1004(asmdba)
      
    4. ユーザー情報を交換データベース・サーバーに追加します。
      # useradd -u 1000 -g 1001 -G 1001,1002,1003,1004 -m -d /home/oracle -s \
        /bin/bash oracle
      
    5. Oracle BaseとGridのホーム・ディレクトリ(たとえば、/u01/app/oracle/u01/app/12.2.0.1/grid)を作成します。
      # mkdir -p /u01/app/oracle
      # mkdir -p /u01/app/12.2.0.1/grid
      # chown -R oracle:oinstall /u01/app
      
    6. cellip.oraファイルとcellinit.oraファイルの所有権を変更します。

      通常、所有権はoracle:oinstallです。

      # chown -R oracle:oinstall /etc/oracle/cell/network-config
      
    7. リストアしたデータベース・サーバーの安全を確保します。
      $ chmod u+x /opt/oracle.SupportTools/harden_passwords_reset_root_ssh
      $ /opt/oracle.SupportTools/harden_passwords_reset_root_ssh
      

      データベース・サーバーが再起動されます。プロンプトが表示されたら、rootユーザーとしてログインします。新しいパスワードが要求されます。他のデータベース・サーバーのパスワードrootと一致するパスワードを設定します。

    8. Oracleソフトウェア所有者のパスワードを設定します。
      通常、所有者はoracleです。
      # passwd oracle
      
  3. oracleアカウント用にSSHを設定します。
    1. 交換データベース・サーバーでoracleアカウントにログインします。
      # su - oracle
      
    2. Oracleクラスタのサーバーをリストする交換データベース・サーバーのdcliグループ・ファイルを作成します。
    3. 交換データベース・サーバーで次のコマンドを実行します。
      $ dcli -g dbs_group -l oracle -k
      
    4. 交換データベース・サーバーでoracleユーザーとしてログインします。
      # su - oracle
      
    5. SSHの同等性を検証します。
      $ dcli -g dbs_group -l oracle date
      
  4. カスタムのログイン・スクリプトを動作しているデータベース・サーバーから交換データベース・サーバーにコピーするか設定します。

    次のコマンドのreplacement_serverは、新しいサーバーの名前(dm01db01など)です。

    $ scp .bash* oracle@replacement_server:. 
    

2.12.7 Oracle Exadata System Softwareのパッチ・バンドルの交換データベース・サーバーへの適用

Oracle Exadata Database MachineOracle Exadata System Softwareパッチ・バンドルが定期的にリリースされています。

computeImageMakerファイルのリリースよりも新しいパッチ・バンドルが動作しているデータベース・サーバーに適用された場合、パッチ・バンドルを交換するOracle Exadata Database Serverに適用する必要があります。次に示すように、パッチ・バンドルが適用されているか確認します。

  • Oracle Exadata System Softwareリリース11.2.1.2.3以前のデータベース・サーバーは、バージョン履歴情報を保持していません。リリース番号を確認するには、Oracle Exadata Storage Serverにログインし、次のコマンドを実行します。

    imageinfo -ver
    

    コマンドによりcomputeImageMakerファイルで使用されるリリースと異なるリリースが表示された場合は、Oracle Exadata System SoftwareパッチがOracle Exadata Database Machineに適用されています。交換用のOracle Exadata Database Serverに適用する必要があります。

  • Oracle Exadata System Softwareリリース11.2.1.2.3以降では、imagehistoryコマンドがOracle Exadata Database Serverにあります。交換用のOracle Exadata Database Serverの情報を、動作しているOracle Exadata Database Serverの情報と比較します。動作しているデータベースのリリースが新しい場合、Oracle Exadata Storage Serverパッチ・バンドルを交換用のOracle Exadata Storage Serverに適用します。

2.12.8 交換データベース・サーバーへのOracle Grid Infrastructureのクローニング

この手順では、交換データベース・サーバーにOracle Grid Infrastructureをクローニングする方法について説明します。

次のコマンドのworking_serverは動作しているデータベース・サーバー、replacement_serverは交換データベース・サーバーです。この手順中のコマンドは、動作しているデータベース・サーバーからグリッド・ホーム所有者として実行します。コマンドの実行にrootユーザーが必要な場合はコールアウトされます。

  1. クラスタ検証ユーティリティ(cluvfy)を使用して、ハードウェアおよびオペレーティング・システムのインストールを検証します。
    $ cluvfy stage -post hwos -n replacement_server,working_server -verbose
    

    レポートの最後にPost-check for hardware and operating system setup was successfulのフレーズが表示されます。クラスタ検証ユーティリティが交換サーバーの記憶域の検証に失敗した場合は、それらのメッセージを無視できます。

  2. ピア互換性を検証します。
    $ cluvfy comp peer -refnode working_server -n replacement_server  \
      -orainv oinstall -osdba dba | grep -B 3 -A 2 mismatched
    

    次に、出力の例を示します。

    Compatibility check: Available memory [reference node: dm01db02]
    Node Name Status Ref. node status Comment
    ------------ ----------------------- ----------------------- ----------
    dm01db01 31.02GB (3.2527572E7KB) 29.26GB (3.0681252E7KB) mismatched
    Available memory check failed
    Compatibility check: Free disk space for "/tmp" [reference node: dm01db02]
    Node Name Status Ref. node status Comment
    ------------ ----------------------- ---------------------- ----------
    dm01db01 55.52GB (5.8217472E7KB) 51.82GB (5.4340608E7KB) mismatched
    Free disk space check failed
    

    障害が発生したコンポーネントだけが物理メモリー、スワップ領域およびディスク領域に関連している場合は、手順を継続できます。

  3. サーバーを追加するための前提条件チェックを実行します。
    1. GRID_HOME/network/admin/samplesディレクトリの権限が750に設定されていることを確認します。
    2. データベース・サーバーの追加を検証します。

      oracleユーザーとして次のコマンドを実行します。このコマンドでは、rootユーザーのパスワードを入力するよう求められます。

      $ cluvfy stage -pre nodeadd -n replacement_server -fixup -method root -verbose
      Enter "ROOT" password:

      障害が発生したコンポーネントだけがスワップ領域に関連している場合は、手順を継続できます。

      コマンドでエラーが返される場合は、次の環境変数を設定してコマンドを再実行します。

      $ export IGNORE_PREADDNODE_CHECKS=Y
      
  4. クラスタに交換データベース・サーバーを追加します。

    Oracle Grid Infrastructureリリース12.1以上を使用している場合は、次の例に示すようにCLUSTER_NEW_NODE_ROLES属性を含めます。

    $ cd GRID_HOME/addnode
    
    $ ./addnode.sh -silent "CLUSTER_NEW_NODES={replacement_server}" \
         "CLUSTER_NEW_VIRTUAL_HOSTNAMES={replacement_server-vip}" \
         "CLUSTER_NEW_NODE_ROLES={hub}"
    

    2つ目のコマンドを使用すると、Oracle Universal InstallerによってOracle Clusterwareソフトウェアが交換データベース・サーバーにコピーされます。次のようなメッセージが表示されます。

    WARNING: A new inventory has been created on one or more nodes in this session.
    However, it has not yet been registered as the central inventory of this
    system. To register the new inventory please run the script at
    '/u01/app/oraInventory/orainstRoot.sh' with root privileges on nodes
    'dm01db01'. If you do not register the inventory, you may not be able to update
    or patch the products you installed.
    
    The following configuration scripts need to be executed as the "root" user in
    each cluster node:
    
    /u01/app/oraInventory/orainstRoot.sh #On nodes dm01db01
    
    /u01/app/12.1.0.2/grid/root.sh #On nodes dm01db01
    
  5. 構成スクリプトを実行します。
    rootユーザーとして、次の例に示すコマンドを使用して、まずHAIPを無効にしてから、交換データベース・サーバーでorainstRoot.shおよびroot.shスクリプトを実行します。
    # export HAIP_UNSUPPORTED=true
    # /u01/app/oraInventory/orainstRoot.sh
    Creating the Oracle inventory pointer file (/etc/oraInst.loc)
    Changing permissions of /u01/app/oraInventory.
    Adding read,write permissions for group.
    Removing read,write,execute permissions for world.
    Changing groupname of /u01/app/oraInventory to oinstall.
    The execution of the script is complete.
     
    # GRID_HOME/root.sh
    

    注意:

    GRID_HOME/install/ログ・ファイルで、root.shスクリプトの出力結果を確認します。

    Oracle Grid Infrastructureリリース11.2を実行している場合、スクリプトによって作成された出力ファイルで、交換したデータベース・サーバーのリスナー・リソースの起動が失敗したことがレポートされます。これは予想された出力です。

    /u01/app/11.2.0/grid/bin/srvctl start listener -n dm01db01 \
    ...Failed
    /u01/app/11.2.0/grid/perl/bin/perl \
    -I/u01/app/11.2.0/grid/perl/lib \
    -I/u01/app/11.2.0/grid/crs/install \
    /u01/app/11.2.0/grid/crs/install/rootcrs.pl execution failed

    スクリプトの実行後、次のメッセージが表示されます。

    The Cluster Node Addition of /u01/app/12.1.0.2/grid was successful.
    Please check '/tmp/silentInstall.log' for more details.
    
  6. クラスタを確認します。
    $ GRID_HOME/bin/crsctl check cluster -all
    
    **************************************************************
    node1:
    CRS-4537: Cluster Ready Services is online
    CRS-4529: Cluster Synchronization Services is online
    CRS-4533: Event Manager is online
    **************************************************************
    node2:
    CRS-4537: Cluster Ready Services is online
    CRS-4529: Cluster Synchronization Services is online
    CRS-4533: Event Manager is online
    **************************************************************
    node3:
    CRS-4537: Cluster Ready Services is online
    CRS-4529: Cluster Synchronization Services is online
    CRS-4533: Event Manager is online
  7. Oracle Grid Infrastructureリリース11.2を実行している場合は、リスナー・リソースを再度有効にします。

    交換データベース・サーバーで次のコマンドを実行します。

    # GRID_HOME/grid/bin/srvctl enable listener -l LISTENER \
      -n replacement_server
    
    # GRID_HOME/grid/bin/srvctl start listener -l LISTENER  \
      -n replacement_server
  8. 交換サーバーでディスク・グループを起動します。
    1. ディスク・グループのステータスを確認します。

      次の例では、交換サーバーでディスク・グループがオフラインになっていることに注意してください。

      $ crsctl stat res -t
      --------------------------------------------------------------------------------
      Name           Target  State        Server                   State details       
      --------------------------------------------------------------------------------
      Local Resources
      --------------------------------------------------------------------------------
      ora.DATAC1.dg
                     ONLINE  ONLINE       node1              STABLE
                     OFFLINE OFFLINE      node2              STABLE
      ora.DBFS_DG.dg
                     ONLINE  ONLINE       node1              STABLE
                     ONLINE  ONLINE       node2              STABLE
      ora.LISTENER.lsnr
                     ONLINE  ONLINE       node1              STABLE
                     ONLINE  ONLINE       node2              STABLE
      ora.RECOC1.dg
                     ONLINE  ONLINE       node1              STABLE
                     OFFLINE OFFLINE      node2              STABLE
      
    2. オフライン・ディスク・グループごとに、元のサーバーまたは交換サーバーからオフラインであるディスク・グループごとにSTART DISKGROUPコマンドを実行します。
      $ srvctl start diskgroup -diskgroup dgname

2.12.9 交換データベース・サーバーへのOracle Databaseホームのクローニング

次の手順は、交換サーバーへのOracle Databaseホームのクローニング方法を示しています。

動作しているデータベース・サーバーから、oracleユーザーとしてコマンドを実行します。コマンドの実行にrootユーザーが必要な場合はコールアウトされます。

  1. 次のコマンドを使用して、Oracle Database ORACLE_HOMEを交換データベース・サーバーに追加します。
    $ cd /u01/app/oracle/product/12.1.0.2/dbhome_1/addnode
    
    $ ./addnode.sh -silent "CLUSTER_NEW_NODES={replacement_server}"
    

    2つ目のコマンドを使用すると、Oracle Universal InstallerによってOracle Databaseソフトウェアが交換データベース・サーバーにコピーされます。

    WARNING: The following configuration scripts need to be executed as the "root"
    user in each cluster node.
    /u01/app/oracle/product/12.1.0.2/dbhome_1/root.sh #On nodes dm01db01
    To execute the configuration scripts:
    Open a terminal window.
    Log in as root.
    Run the scripts on each cluster node.
     

    スクリプトの完了後、次のメッセージが表示されます。

    The Cluster Node Addition of /u01/app/oracle/product/12.1.0.2/dbhome_1 was successful.
    Please check '/tmp/silentInstall.log' for more details.
    
  2. 交換データベース・サーバーで次のスクリプトを実行します。
    # /u01/app/oracle/product/12.1.0.2/dbhome_1/root.sh
     

    スクリプトの出力で/u01/app/orcale/product/12.1.0.2/dbhome_1/install/root_replacement_server.com_date.logファイルを確認します。

  3. 対話型モードでOracle Database Configuration Assistant (DBCA)を実行して、ターゲット・ノードにデータベース・インスタンスを追加します。
    1. DBCAを起動します。

      $ cd /u01/app/oracle/product/12.1.0.2/dbhome_1/bin
      
      $ ./dbca
    2. 「データベース操作」画面で、「インスタンス管理」を選択します。「次へ」をクリックします。

    3. 「インスタンス操作」画面で、「インスタンスの追加」を選択します。「次へ」をクリックします。

    4. 「データベース・リスト」画面で、インスタンスを追加するクラスタ・データベースを選択します。

    5. 「リスト・インスタンス」画面に現在のインスタンスが表示されます。「次へ」をクリックして新しいインスタンスを追加します。

    6. 「インスタンスの追加」画面に、デフォルト名と、クラスタに新しく追加されたノードが表示されます。デフォルトを受け入れて「次へ」をクリックします。

    7. 「サマリー」画面で、計画を確認し、「終了」をクリックします。

    8. 「進行状況」画面で、完了率が100%になるまで待機します。

    9. 「終了」画面で、新しいインスタンスが正常に追加されたという確認を承認します。

    インスタンスが追加されたことを確認します。

    $ srvctl config database -db dbm01
    

    ターゲット・ノードの管理権限を確認します。

    $ cd /u01/app/oracle/product/12.1.0.2/dbhome_1/bin
    
    $ ./cluvfy comp admprv -o db_config -d /u01/app/oracle/product/12.1.0.2/dbhome_1 -n new_node
  4. インスタンス・パラメータが交換したデータベース・インスタンスに設定されていることを確認します。次に、CLUSTER_INTERCONNECTSパラメータの例を示します。
    SQL> SHOW PARAMETER cluster_interconnects
    
    NAME                                 TYPE        VALUE
    ------------------------------       --------    -------------------------
    cluster_interconnects                string
     
    SQL> ALTER SYSTEM SET cluster_interconnects='192.168.73.90' SCOPE=spfile SID='dbm1';
    
  5. 構成ファイルを次のように検証します。
    • Oracle_home/dbs/initSID.oraファイルは、Oracle ASM共有記憶域のSPFILEを指します。

    • Oracle_home/dbsディレクトリにコピーされるパスワード・ファイルは、orapwSIDに変更されています。

  6. 以前にこのインスタンスを取り込んだサービスがないかを確認して、サービスを更新してこの交換インスタンスを含めます。
  7. この手順をOracle Exadata Database Machineエイス・ラックで実行した場合は、Oracle Exadata Database Machineエイス・ラックのOracle Linuxデータベース・サーバーのリカバリ後の構成の手順を実行します。

2.13 データベース・サーバーの既存のエラスティック構成の変更

エラスティック構成により、Oracle Exadata Database Machineのサーバー構成に柔軟性と効率性が提供されます。

2.13.1 クラスタへの新しいデータベース・サーバーの追加

新しいデータベース・サーバーは、Oracle Exadata Database Machineで実行されている既存のOracle Real Application Clusters (Oracle RAC)クラスタに追加できます。

  1. 新しいデータベース・サーバーの再イメージ化またはアップグレードが必要かどうかを確認します。

    新しいデータベース・サーバーを追加するクラスタ内のデータベース・サーバーのイメージ・ラベルをチェックします。

  2. 次のタスクを実行して、クラスタにデータベース・サーバーを追加します。
  3. Oracle EXAchkの最新バージョンをダウンロードして実行し、結果の構成にOracle Exadata Database Machineの最新のベスト・プラクティスが実装されたことを確認します。

2.13.2 別のクラスタへの既存データベース・サーバーの移動

既存のデータベース・サーバーを再利用し、同じOracle Exadataラック内の別のクラスタに移動できます。

  1. 既存のOracle Real Application Clusters (Oracle RAC)クラスタからデータベース・サーバーを削除します。
    1. データベース・サーバー上のOracle Grid Infrastructureを停止します。
      Grid_home/bin/crstl stop crs
      
    2. クラスタからデータベース・サーバーを削除するために、「クラスタからのデータベース・サーバーの削除」に記載のステップを実行します。
  2. 再利用するデータベース・サーバーの再イメージ化が必要かどうかを確認します。

    データベース・サーバーを追加するクラスタ内の既存のデータベース・サーバーのイメージ・ラベルをチェックします。追加したデータベース・サーバーのイメージ・ラベルがクラスタ内の既存のデータベース・サーバーのイメージ・ラベルと一致しない場合は、追加したデータベース・サーバーを再イメージ化します。次のタスクを実行します。

    アップグレードが必要な場合は、patchmgrを使用してアップグレードを実行できます。詳細は、Exadataソフトウェアの更新を参照してください。

  3. クラスタにデータベース・サーバーを追加します。
  4. Oracle EXAchkの最新バージョンをダウンロードして実行し、結果の構成にOracle Exadata Database Machineの最新のベスト・プラクティスが実装されたことを確認します。

2.13.3 Oracle RACクラスタからのデータベース・サーバーの削除

Oracle Real Application Clusters (Oracle RAC)クラスタのメンバーであるデータベース・サーバーを削除できます。

  1. 削除するデータベース・サーバー上のOracle Grid Infrastructureを停止します。
    $ Grid_home/bin/crstl stop crs
    
  2. クラスタからデータベース・サーバーを削除するために、「クラスタからのデータベース・サーバーの削除」に記載のステップを実行します。
  3. 最新のOracle EXAchkをダウンロードして実行し、結果の構成にOracle Exadata Database Machineの最新のベスト・プラクティスが実装されたことを確認します。

2.14 高冗長性ディスク・グループのためのQuorumディスクの管理

quorumディスクにより、2つの追加の障害グループが存在することからストレージ・サーバーが5台に満たないOracle Exadataラックに配置された高冗長性ディスク・グループに、Oracle RAC投票ファイルを保存できるようになります。

2.14.1 フォルト・トレランスを向上するためのquorumディスクの使用

quorumディスクは、5台のストレージ・サーバーがないシステムで、高冗長性ディスク・グループごとに5つの障害グループという最小要件を満たすために使用します。

障害グループはディスク・グループ内のディスクのサブセットです。これらのディスクはハードウェアを共有するため、同時に障害が発生する可能性があります。パートナ・ステータス表(PST)の必要な数のコピーを維持し、ストレージ・ハードウェアの障害に関する堅牢性を確保するには、標準冗長性ディスク・グループでは3つ以上の障害グループ、高冗長性ディスク・グループでは5つ以上の障害グループを指定することをお薦めします。Engineered Systemsでは、こうした推奨事項がシステムの可用性を最大にするために強制実施されています。

PSTには、ディスク・グループ内のOracle Automatic Storage Management (Oracle ASM)ディスクに関する情報(ディスク番号、ステータス(オンラインまたはオフライン)、パートナ・ディスク番号、障害グループ情報、ハートビート情報など)が格納されています。単一のハードウェア障害に耐えるには、2/3の過半数を形成するために合計3つのPSTのコピーが使用できる必要があります。2つのハードウェア障害が発生した場合は、二重障害の後にも3/5の過半数を維持できるようPSTのコピーが合計5つ必要になります。

定数障害グループは、ユーザー・データを格納していない特殊な障害グループです。定数障害グループは、PSTの格納に使用されます。また、定数障害グループは、Oracle Clusterwareの投票ファイルのコピーを格納するためにも使用できます。クォーラム障害グループ内のディスクにはユーザー・データが含まれないため、ユーザー・データを格納するための冗長性要件を決定するときには、このグループは考慮されません。

システム障害時、標準冗長性ディスク・グループの3つの障害グループにより、3つのPST間での比較が実行され、最新かつ正しいPSTバージョンが正確に判別されますが、これは2つのPST間のみの比較では不可能です。高冗長性ディスク・グループと同様に、2つの障害グループがオフラインの場合、Oracle ASMは残りの3つのPST間で比較を実行できます。

定数障害グループはExadataのデプロイ時にOracle Exadata Deployment Assistant (OEDA)で作成することも、デプロイ後にQuorumディスク管理ユーティリティを使用して追加することもできます。iSCSI quorumディスクはデータベース・ノードに作成され、そのquorumディスクに投票ファイルが作成されます。こうした追加の定数障害グループは、高冗長性ディスク・グループごとに5つの投票ファイルとPSTという最小要件を満たすために使用されます。quorumディスクは、次の条件が成立するときに必要になります。

  • Oracle Exadataラックにあるストレージ・サーバーが5台未満の場合。
  • Oracle Exadataラックに2つ以上のデータベース・ノードがある場合。
  • Oracle Exadataラックに1つ以上の高冗長性ディスク・グループがある場合。

定数障害グループにより、ストレージ・サーバーが5台未満のOracle Exadataラックに、2つの追加の障害グループを作成することで高冗長性ディスク・グループを配置できるようになります。この機能を使用しないと、ディスク・グループはPSTや投票ファイルquorumの消失につながる二重パートナ・ストレージ・サーバー障害に対して脆弱になります。これは、クラスタとデータベースの完全な停止の原因になります。この状況でクラスタウェアとデータベースを再起動する方法は、My Oracle Supportノート1339373.1を参照してください。

RDSの使用でRDMAネットワーク・ファブリックのIPアドレスの可用性が高くなるため、iSCSI quorumディスクの実装は高い可用性を実現します。

次の図内の各iSCSIデバイスは、iSCSIターゲットに向かう特定のパスに対応しています。それぞれのパスが、データベース・ノードのRDMAネットワーク・ファブリック・ポートに対応しています。アクティブ–アクティブ・システム内のマルチパスquorumディスク・デバイスごとに、2つのiSCSIデバイス(ib0またはre0用とib1またはre1用)があります。

図2-1 アクティブ-アクティブ・システムにおいて、両方のiSCSIデバイスに接続するマルチパス・デバイス

図2-1の説明が続きます
「図2-1 アクティブ-アクティブ・システムにおいて、両方のiSCSIデバイスに接続するマルチパス・デバイス」の説明

quorumディスクは、ベア・メタルのOracle Real Application Clusters (Oracle RAC)クラスタおよびOracle VM Oracle RACクラスタで使用できます。Oracle VM Oracle RACクラスタの場合、次の図に示すように、quorumディスク・デバイスはOracle VMユーザー・ドメインであるOracle RACクラスタ・ノードに存在します。

図2-2 Oracle VM Oracle RACクラスタ上のquorumディスク・デバイス

図2-2の説明が続きます
「図2-2 Oracle VM Oracle RACクラスタ上のquorumディスク・デバイス」の説明

注意:

pkey対応の環境では、ターゲットの検出に使用するインタフェースはOracle Clusterware通信に使用するpkeyインタフェースにする必要があります。これらのインタフェースは次のコマンドを使用すると表示されます。

Grid_home/bin/oifcfg getif | grep cluster_interconnect | awk '{print $1}'

2.14.2 Quorumディスク管理の概要

Oracle Exadata System Softwareリリース12.1.2.3.0に導入されたQuorumディスク管理ユーティリティは、quorumディスクの管理に利用できます。

このユーティリティを使用すると、iSCSI quorumディスクを2つのデータベース・ノード上に作成して、それら2つのquorumディスクに投票ファイルを格納できます。追加された2つの投票ファイルは、投票ファイル5つという高冗長性ディスク・グループの最小要件を満たすために使用されます。

Quorumディスク管理ユーティリティ(quorumdiskmgr)は、iSCSI構成、iSCSIターゲット、iSCSI LUN、iSCSIデバイスなど、quorumディスクの実装に必要なすべてのコンポーネントを作成および管理するために使用します。

関連トピック

2.14.3 Quorumディスク管理のソフトウェア要件

Quorumディスク管理ユーティリティを使用するには、ソフトウェアの最小要件を満たす必要があります。

この機能を使用するには、次のリリースが必要です。

  • Oracle Exadata System Softwareリリース12.1.2.3.0以降

  • すべてのOracle Databaseに対するパッチ23200778の適用

  • Oracle Grid Infrastructureリリース12.1.0.2.160119 (パッチ22722476と22682752を適用)またはOracle Grid Infrastructureリリース12.1.0.2.160419以降

    新規デプロイメントの場合は、Oracle Exadata Deployment Assistant (OEDA)によりパッチが自動的にインストールされます。

2.14.4 quorumdiskmgrリファレンス

quorumディスク管理ユーティリティ(quorumdiskmgr)を各データベース・サーバーで実行すると、iSCSI quorumディスクをデータベース・サーバー上に作成できます。quorumdiskmgrを使用して、iSCSI quorumディスクをデータベース・サーバーで作成、リスト、変更および削除できます。出荷時に、ユーティリティはデータベース・サーバーにインストールされます。

2.14.4.1 Quorumディスク管理ユーティリティの構文

quorumディスク管理ユーティリティは、コマンドライン・ツールです。構文は次のとおりです。

quorumdiskmgr --verb --object [--options] 

verbは、オブジェクト上で実行されるアクションです。これは、altercreatedeletelistのいずれかです。

objectは、コマンドでアクションを実行するオブジェクトです。

optionsは、コマンドの追加パラメータを使用できるようにコマンドの組合せの使用範囲を拡大します。

quorumdiskmgrユーティリティを使用する場合は、次のルールが適用されます:

  • 動詞、オブジェクトおよびオプションは、明示的に指定されている場合を除き、大/小文字が区別されます。

  • 二重引用符文字を使用して、オプションの値をスペースおよび句読点を含めて囲みます。

2.14.4.2 quorumdiskmgrオブジェクト
オブジェクト 説明

config

quorumディスク構成には、iSCSI quorumディスクを追加するASMインスタンスの所有者およびグループ、およびローカルおよびリモートiSCSI quorumディスクの発見で使用するネットワーク・インタフェースのリストが含まれます。

target

ターゲットは、各データベース・サーバー上のエンドポイントで、iSCSIイニシエータがセッションを確立するまで待機し、必要なIOデータ転送を提供します。

device

デバイスは、iSCSIデバイスで、ローカルまたはリモート・ターゲットへのログインで作成されます。

2.14.4.3 Quorumディスク構成の作成(--create --config)

--create --configアクションは、quorumディスク構成を作成します。

構成は、ターゲットまたはデバイスが作成される前に作成する必要があります。

構文

quorumdiskmgr --create --config [--owner owner --group group] 
  --network-iface-list network-iface-list 

パラメータ

次の表に、--create --configアクションのパラメータを示します。

パラメータ 説明

--owner

iSCSI quorumディスクを追加するOracle ASMインスタンスの所有者を指定します。これはオプションのパラメータです。デフォルト値は、gridです。

--group

iSCSI quorumディスクを追加するOracle ASMインスタンスのグループを指定します。これはオプションのパラメータです。デフォルト値はdbaです。

--network-iface-list

ローカルおよびリモートのターゲットの検出に使用されるRDMAネットワーク・ファブリック・インタフェース名のリストを指定します。

例2-7 RDMA over InfiniBandネットワーク・ファブリックによるシステム用のquorumディスク構成の作成

quorumdiskmgr --create --config --owner=oracle --group=dba --network-iface-list="ib0, ib1"

例2-8 RDMA over RoCEネットワーク・ファブリックによるシステム用のquorumディスク構成の作成

quorumdiskmgr --create --config --owner=oracle --group=dba --network-iface-list="re0, re1"
2.14.4.4 ターゲットの作成(--create --target)

--create --targetアクションでは、指定したOracle ASMディスク・グループに追加するデバイスの作成に使用されるターゲットを作成します。

--create --targetアクションでは、指定したIPアドレスのリストにあるRDMAネットワーク・ファブリックIPアドレスで、データベース・サーバーがアクセスできるターゲットを作成します。

ターゲットの作成後に、asm-disk-group属性、host-name属性およびsize属性を変更することはできません。

構文

quorumdiskmgr --create --target --asm-disk-group asm_disk_group --visible-to ip_list
   [--host-name host_name] [--size size]

パラメータ

パラメータ 説明

--asm-disk-group

ターゲットから作成したデバイスを追加するOracle ASMディスク・グループを指定します。asm-disk-groupの値は、大/小文字が区別されません。

--visible-to

RDMAネットワーク・ファブリックIPアドレスのリストを指定します。このリストに登録されているRDMAネットワーク・ファブリックIPアドレスのデータベース・サーバーは、ターゲットにアクセスできます。

--host-name

quorumdiskmgrを実行するデータベース・サーバーのホスト名を指定します。asm-disk-grouphost-nameの値の合計長は、26文字以下にする必要があります。ホスト名が長すぎるときには、ラック内の各データベース・サーバーに別々のホスト名が指定されている場合にかぎり、短いホスト名を指定できます。

これはオプションのパラメータです。デフォルト値は、quorumdiskmgrを実行するデータベース・サーバーのホスト名です。host-nameの値は、大/小文字が区別されません。

--size

ターゲットのサイズを指定します。これはオプションのパラメータです。デフォルト値は128MBです。

例2-9 Oracle ASMディスク・グループ・デバイス用のターゲットの作成

この例では、DATAC1ディスク・グループに追加するデバイス用のターゲットを作成する方法を示しています。そのターゲットは、RDMAネットワーク・ファブリックIPアドレスが192.168.10.45または192.168.10.46のデータベース・サーバーからのみ認識可能になります。

quorumdiskmgr --create --target --asm-disk-group=datac1 --visible-to="192.168.10.45, 192.168.10.46"
 --host-name=db01
2.14.4.5 デバイスの作成(--create --device)

--create --deviceアクションでは、指定したIPアドレスのリストにあるRDMAネットワーク・ファブリックIPアドレスでターゲットを検出してターゲットにログインすることでデバイスを作成します。

作成されたデバイスは、Oracle ASMインスタンスにより、構成の作成中に指定した所有者およびグループで自動的に検出されます。

構文

quorumdiskmgr --create --device --target-ip-list target_ip_list

パラメータ

  • --target-ip-list: RDMAネットワーク・ファブリックIPアドレスのリストを指定します。

    quorumdiskmgrは、このリスト内にあるIPアドレスを持つデータベース・サーバー上のターゲットを検出して、そのターゲットにログインしてデバイスを作成します。

例2-10 ターゲットからのOracle ASMディスク・グループ用のデバイスの作成

この例では、IPアドレスが192.168.10.45または192.168.10.46のデータベース・サーバー上のターゲットを使用して、デバイスを作成する方法を示しています。

quorumdiskmgr --create --device --target-ip-list="192.168.10.45, 192.168.10.46"
2.14.4.6 Quorumディスク構成のリスト(--list --config)

--list --configアクションは、quorumディスク構成をリストします。

構文

quorumdiskmgr --list --config

出力例

例2-11 RDMA over InfiniBandネットワーク・ファブリックによるラック上のquorumディスク構成のリスト

$ quorumdiskmgr --list --config
Owner: grid
Group: dba
ifaces: exadata_ib1 exadata_ib0

例2-12 RDMA over RoCEネットワーク・ファブリックによるラック上のquorumディスク構成のリスト

$ quorumdiskmgr --list --config
Owner: grid
Group: dba
ifaces: exadata_re1 exadata_re0
2.14.4.7 ターゲットのリスト(--list --target)

--list --targetアクションでは、ターゲットの属性をリスト表示します。

リスト表示されるターゲットの属性には、ターゲット名、サイズ、ホスト名、Oracle ASMディスク・グループ名、ターゲットにアクセスできるデータベース・サーバーを示すIPアドレスのリスト(visible-to IPアドレス・リスト)、ターゲットにログインしているデータベース・サーバーを示すIPアドレスのリスト(discovered-by IPアドレス・リスト)などが含まれます。

Oracle ASMディスク・グループ名を指定した場合、このアクションでは、指定したOracle ASMディスク・グループ用に作成されたすべてのローカル・ターゲットをリスト表示します。それ以外の場合、アクションは、quorumディスクに作成されたすべてのローカル・ターゲットをリストします。

構文

quorumdiskmgr --list --target [--asm-disk-group asm_disk_group]

パラメータ

  • --asm-disk-group: Oracle ASMディスク・グループを指定します。quorumdiskmgrでは、このOracle ASMのすべてのローカル・ターゲットが表示されます。asm-disk-groupの値は、大/小文字が区別されません。

例2-13 特定のOracle ASMディスク・グループのターゲット属性のリスト表示

この例では、DATAC1ディスク・グループのターゲットの属性をリスト表示する方法を示しています。

quorumdiskmgr --list --target --asm-disk-group=datac1 
Name: iqn.2015-05.com.oracle:qd--datac1_db01 
Size: 128 MB 
Host name: DB01 
ASM disk group name: DATAC1 
Visible to: iqn.1988-12.com.oracle:192.168.10.23, iqn.1988-12.com.oracle:192.168.10.24,
 iqn.1988-12.com.oracle:1b48248af770, iqn.1988-12.com.oracle:7a4a399566
Discovered by: 192.168.10.47, 192.168.10.46

注意:

Oracle Exadata System Software 19.1.0より以前のリリースを使用してインストールしたシステムの場合、Nameiqn.2015-05.com.oracle:QD_DATAC1_DB01と表示されることがあります。また、Visible toフィールドには名前ではなくIPアドレスが表示されます。
2.14.4.8 デバイスのリスト(--list --device)

--list --deviceアクションは、デバイス・パス、サイズ、ホスト名およびASMディスク・グループを含むデバイスの属性をリストします。

  • Oracle ASMディスク・グループ名のみを指定した場合、この出力にはOracle ASMディスク・グループに追加されているすべてのデバイスが含まれます。

  • ホススト名のみを指定した場合、この出力にはホスト上のターゲットから作成されたすべてのデバイスが含まれます。

  • Oracle ASMディスク・グループ名とホスト名の両方を指定した場合、この出力にはOracle ASMディスク・グループに追加されているホスト上のターゲットから作成された単一のデバイスが含まれます。

  • Oracle ASMディスク・グループ名とホスト名のどちらも指定しないと、この出力にはすべてのquorumディスク・デバイスが含まれます。

構文

quorumdiskmgr --list --device [--asm-disk-group asm_disk_group] [--host-name host_name]

パラメータ

パラメータ 説明

--asm-disk-group

デバイスが追加されているOracle ASMディスク・グループを指定します。asm-disk-groupの値は、大/小文字が区別されません。

--host-name

ターゲット・デバイスが作成されたデータベース・サーバーのホスト名を指定します。host-nameの値は、大/小文字が区別されません。

例2-14 Oracle ASMディスク・グループのデバイス属性のリスト表示

この例では、DATAC1ディスク・グループで使用されているデバイスの属性をリスト表示する方法を示します。

$ quorumdiskmgr --list --device --asm-disk-group datac1
Device path: /dev/exadata_quorum/QD_DATAC1_DB01 
Size: 128 MB 
Host name: DB01 
ASM disk group name: DATAC1

Device path: /dev/exadata_quorum/QD_DATAC1_DB02 
Size: 128 MB 
Host name: DB02
ASM disk group name: DATAC1
2.14.4.9 構成の削除(--delete --config)

--delete --configアクションは、quorumディスク構成を削除します。

構成は、ターゲットまたはデバイスが存在しない場合にのみ削除できます。

構文

quorumdiskmgr --delete --config
2.14.4.10 ターゲットの削除(--delete --target)

--delete --targetアクションは、データベース・サーバー上のquorumディスクに作成されたターゲットを削除します。

Oracle ASMディスク・グループ名を指定した場合、このコマンドでは、指定したOracle ASMディスク・グループ用に作成されたすべてのローカル・ターゲットを削除します。それ以外の場合、このコマンドでは、quorumディスク用に作成されたすべてのローカル・ターゲットを削除します。

構文

quorumdiskmgr --delete --target [--asm-disk-group asm_disk_group]

パラメータ

  • --asm-disk-group: Oracle ASMディスク・グループを指定します。このディスク・グループに作成されたローカル・ターゲットが削除されます。

    asm-disk-groupの値は、大/小文字が区別されません。

例2-15 Oracle ASMディスク・グループ用に作成したターゲットの削除

この例では、DATAC1ディスク・グループ用に作成したターゲットを削除する方法を示します。

quorumdiskmgr --delete --target --asm-disk-group=datac1
2.14.4.11 デバイスの削除(--delete --device)

--delete --deviceコマンドは、quorumディスク・デバイスを削除します。

  • Oracle ASMディスク・グループ名のみを指定した場合、このコマンドではOracle ASMディスク・グループに追加されているすべてのデバイスを削除します。

  • ホスト名のみを指定した場合、このコマンドではホスト上のターゲットから作成したすべてのデバイスを削除します。

  • Oracle ASMディスク・グループ名とホスト名の両方を指定した場合、このコマンドでは、Oracle ASMディスク・グループに追加されているホスト上のターゲットから作成された単一のデバイスを削除します。

  • Oracle ASMディスク・グループ名とホスト名のどちらも指定しない場合、このコマンドではすべてのquorumディスク・デバイスを削除します。

構文

quorumdiskmgr --delete --device [--asm-disk-group asm_disk_group] [--host-name host_name]

パラメータ

パラメータ 説明

--asm-disk-group

削除するデバイスが含まれているOracle ASMディスク・グループを指定します。asm-disk-groupの値は、大/小文字が区別されません。

--host-name

データベース・サーバーのホスト名を指定します。このホスト上のターゲットから作成されたデバイスが削除されます。host-nameの値は、大/小文字が区別されません。

例2-16 特定のホスト上のターゲットから作成したquorumディスク・デバイスの削除

この例では、ホストDB01上のターゲットから作成したすべてのquorumディスク・デバイスを削除する方法を示します。

quorumdiskmgr --delete --device --host-name=db01
2.14.4.12 所有者とグループ値の変更(--alter --config)

--alter --configアクションは、所有者およびグループ構成を変更します。

構文

quorumdiskmgr --alter --config --owner owner --group group

パラメータ

パラメータ 説明

--owner

quorumディスク構成の新しい所有者を指定します。このパラメータは省略可能です。指定しない場合、所有者は変更されません。

--group

quorumディスク構成の新しいグループを指定します。このパラメータは省略可能です。指定しない場合、グループは変更されません。

例2-17 quorumディスク・デバイスの所有者およびグループ構成の変更

この例では、quorumディスク・デバイスに割り当てられた所有者とグループを変更する方法を示しています。

quorumdiskmgr --alter --config --owner=grid --group=dba
2.14.4.13 RDMAネットワーク・ファブリックIPアドレスの変更(--alter --target)

--alter --targetコマンドでは、指定したOracle ASMディスク・グループ用に作成されたローカル・ターゲットにアクセスできるデータベース・サーバーのRDMAネットワーク・ファブリックIPアドレスを変更します。

構文

quorumdiskmgr --alter --target --asm-disk-group asm_disk_group --visible-to ip_list

パラメータ

パラメータ 説明

--asm-disk-group

ターゲットから作成したデバイスを追加するOracle ASMディスク・グループを指定します。asm-disk-groupの値は、大/小文字が区別されません。

--visible-to

RDMAネットワーク・ファブリックIPアドレスのリストを指定します。このリストに登録されているRDMAネットワーク・ファブリックIPアドレスのデータベース・サーバーは、ターゲットにアクセスできます。

例2-18 ターゲットにアクセスするRDMAネットワーク・ファブリックIPアドレスの変更

この例では、DATAC1ディスク・グループ用に作成されたローカル・ターゲットにアクセスできるデータベース・サーバーを判別する、RDMAネットワーク・ファブリックIPアドレスのリストを変更する方法を示します。

quorumdiskmgr --alter --target --asm-disk-group=datac1 --visible-to="192.168.10.45, 192.168.10.47

2.14.5 Quorumディスクのデータベース・ノードへの追加

quorumディスクは、高冗長性ディスク・グループを格納していてストレージ・サーバーが5台未満のOracle Exadataラックにあるデータベース・ノードに追加できます。

この項の例では、2つのデータベース・ノード(db01db02)を備えたOracle Exadataラックにquorumディスクを作成します。

これは、アクティブ-アクティブ・システムです。db01db02の両方に2つのRDMAネットワーク・ファブリック・ポートがあります。

  • RDMA over InfiniBandネットワーク・ファブリック: ib0およびib1
  • RDMA over RoCEネットワーク・ファブリック: re0およびre1

iSCSIデバイスとの通信に使用するネットワーク・インタフェースは次のコマンドを使用して確認できます。

$ oifcfg getif | grep cluster_interconnect | awk '{print $1}'

各インタフェースのIPアドレスは次のコマンドを使用して確認できます。

ip addr show interface_name

この例では、RDMAネットワーク・ファブリックIPアドレスは次のようになります。

db01:

  • ネットワーク・インタフェース: ib0またはre0、IPアドレス: 192.168.10.45
  • ネットワーク・インタフェース: ib1またはre1、IPアドレス: 192.168.10.46

db02:

  • ネットワーク・インタフェース: ib0またはre0、IPアドレス: 192.168.10.47
  • ネットワーク・インタフェース: ib1またはre1、IPアドレス: 192.168.10.48

quorumディスクが追加されるOracle ASMディスク・グループは、DATAC1です。Oracle ASM所有者はgridです。また、ユーザー・グループはdbaです。

投票ファイルは最初に標準冗長性ディスク・グループRECOC1に配置されています:

$ Grid_home/bin/crsctl query css votedisk
##  STATE    File Universal Id                File Name Disk group
--  -----    -----------------                --------- ---------
 1. ONLINE   21f5507a28934f77bf3b7ecf88b26c47 (o/192.168.76.187;192.168.76.188/RECOC1_CD_00_celadm12) [RECOC1]
 2. ONLINE   387f71ee81f14f38bfbdf0693451e328 (o/192.168.76.189;192.168.76.190/RECOC1_CD_00_celadm13) [RECOC1]
 3. ONLINE   6f7fab62e6054fb8bf167108cdbd2f64 (o/192.168.76.191;192.168.76.192/RECOC1_CD_00_celadm14) [RECOC1]
Located 3 voting disk(s).
  1. db01db02rootユーザーとしてログインします。
  2. quorumdiskmgrコマンドを--create --configオプションを使用して実行し、quorumディスク構成をdb01およびdb02の両方に作成します。
    • RDMA over InfiniBandネットワーク・ファブリックの場合:

      # /opt/oracle.SupportTools/quorumdiskmgr --create --config --owner=grid --group=dba --network-iface-list="ib0, ib1"
      
    • RDMA over RoCEネットワーク・ファブリックの場合:

      # /opt/oracle.SupportTools/quorumdiskmgr --create --config --owner=grid --group=dba --network-iface-list="re0, re1"
      
  3. quorumdiskmgrコマンドを--list --configオプションを使用して実行し、構成がdb01およびdb02の両方に正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --config
    
    出力は次のいずれかのようになります。
    • Oracle Exadata System Softwareリリース18.x以前の場合、出力は次のようになります。

      Owner: grid
      Group: dba
      ifaces: exadata_ib1 exadata_ib0
      
    • 以前のリリースからOracle Exadata System Softwareリリース19.1.0以降にアップグレードした場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_ib0 
      Initiatior name: iqn.1988-12.com.oracle:7a4a399566
    • Oracle Exadata System Softwareリリース19.1.0以降でイメージ化した(アップグレードしていない)システムの場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_ib0 
      Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
    • ラックがRDMA over RoCEネットワーク・ファブリックを使用している場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_re0 
      Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
  4. --create --targetオプションを指定してquorumdiskmgrコマンドを実行し、Oracle ASMディスク・グループDATAC1のターゲットをdb01db02の両方に作成し、db01db02の両方で認識されるようにします。

    たとえば、次のようなコマンドを使用します。

    # /opt/oracle.SupportTools/quorumdiskmgr --create --target --asm-disk-group=datac1 
    --visible-to="192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48"
    
  5. quorumdiskmgrコマンドを--list --targetオプションを使用して実行し、ターゲットがdb01およびdb02の両方に正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --target
    

    Oracle Exadata System Softwareリリース19.1.0より以前からアップグレードしたシステムの場合にのみ、この出力のVisible toリストにIPアドレスとイニシエータ名の両方が表示されます。それ以外の場合、Visible toリストにはIPアドレスのみが表示されます。

    • Oracle Exadata System Softwareリリース18.x以前を実行している場合、各ノードについての出力は次のようになります。

      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01 
      Size: 128 MB 
      Host name: DB01
      ASM disk group name: DATAC1 
      Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48
      Discovered by:
      
      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB02 
      Size: 128 MB 
      Host name: DB02
      ASM disk group name: DATAC1 
      Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48
      Discovered by:
      
    • Oracle Exadata System Softwareリリース19.x以降を実行している場合、各ノードについての出力は次のようになります。

      
      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01 
      Size: 128 MB 
      Host name: DB01
      ASM disk group name: DATAC1 
      Visible  to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 
      192.168.10.48, iqn.1988-12.com.oracle:ee657eb81b53, 
      iqn.1988-12.com.oracle:db357ba82b24
      
      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB02
      Size: 128 MB
      Host name: DB02
      ASM disk group name: DATAC1
      Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 
      192.168.10.48, iqn.1988-12.com.oracle:ee657eb81b53,
      iqn.1988-12.com.oracle:db357ba82b24
  6. quorumdiskmgrコマンドを--create --deviceオプションを使用して実行し、db01およびdb02の両方のターゲットから、db01およびdb02の両方にデバイスを作成します。

    たとえば、次のようなコマンドを使用します。

    # /opt/oracle.SupportTools/quorumdiskmgr --create --device --target-ip-list="192.168.10.45, 192.168.10.46,
     192.168.10.47, 192.168.10.48"
    
  7. quorumdiskmgrコマンドを--list --deviceオプションを使用して実行し、デバイスがdb01およびdb02の両方に正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --device
    

    db01およびdb02の両方で、出力は次のようになります。

    Device path: /dev/exadata_quorum/QD_DATAC1_DB01 
    Size: 128 MB 
    Host name: DB01
    ASM disk group name: DATAC1 
    
    Device path: /dev/exadata_quorum/QD_DATAC1_DB02 
    Size: 128 MB 
    Host name: DB02
    ASM disk group name: DATAC1
    
  8. db01またはdb02のいずれかで、gridユーザーに切り替えます。
  9. Oracle ASM環境を設定します。
  10. asm_diskstring初期化パラメータを変更し、既存の文字列に/dev/exadata_quorum/*を追加します
    SQL> ALTER SYSTEM SET asm_diskstring='o/*/DATAC1_*','o/*/RECOC1_*','/dev/exadata_quorum/*' scope=both sid='*';
    
  11. 2つのquorumディスク・デバイスが、Oracle ASMにより自動的に検出されていることを確認します。
    SQL> set linesize 200
    SQL> col path format a50
    SQL> SELECT inst_id, label, path, mode_status, header_status
    FROM gv$asm_disk WHERE path LIKE '/dev/exadata_quorum/%';
    

    出力は次のようになります:

    INST_ID LABEL          PATH                                MODE_STATUS HEADER_STATUS
    ------- -------------- ----------------------------------  ----------- ---------
          1 QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_DB01  ONLINE      CANDIDATE
          1 QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_DB02  ONLINE      CANDIDATE
          2 QD_DATAC1_DB01 /dev/exadata_quorum/QD_DATAC1_DB01  ONLINE      CANDIDATE
          2 QD_DATAC1_DB02 /dev/exadata_quorum/QD_DATAC1_DB02  ONLINE      CANDIDATE
    
  12. 2つのquorumディスク・デバイスを高冗長性Oracle ASMディスク・グループに追加します。

    高冗長性ディスク・グループがない場合は、高冗長性ディスク・グループを作成して、この2つの新しいquorumディスクを含めます。次に例を示します。

    SQL> CREATE DISKGROUP DATAC1 HIGH REDUNDANCY ADD QUORUM FAILGROUP db01 DISK '/dev/exadata_quorum/QD_ DATAC1_DB01' 
    QUORUM FAILGROUP db02 DISK '/dev/exadata_quorum/QD_ DATAC1_DB02' ...
    

    高冗長性ディスク・グループがすでに存在する場合は、2つの新しいquorumディスクを追加します。次に例を示します。

    SQL> ALTER DISKGROUP datac1 ADD QUORUM FAILGROUP db01 DISK '/dev/exadata_quorum/QD_DATAC1_DB01' 
    QUORUM FAILGROUP db02 DISK '/dev/exadata_quorum/QD_DATAC1_DB02';
    
  13. 標準冗長性ディスク・グループの既存の投票ファイルを高冗長性ディスク・グループに移します。
    $ Grid_home/bin/crsctl replace votedisk +DATAC1
    
  14. 投票ディスクが高冗長性ディスク・グループに移動し、5つの投票ファイルが存在することを確認します。
    crsctl query css votedisk
    

    出力には、ストレージ・サーバーからの投票ディスク3つと、データベース・ノードからの投票ディスク2つが表示されます。

    ## STATE File Universal Id File Name Disk group
    -- ----- ----------------- --------- ---------
    1. ONLINE ca2f1b57873f4ff4bf1dfb78824f2912 (o/192.168.10.42/DATAC1_CD_09_celadm12) [DATAC1]
    2. ONLINE a8c3609a3dd44f53bf17c89429c6ebe6 (o/192.168.10.43/DATAC1_CD_09_celadm13) [DATAC1]
    3. ONLINE cafb7e95a5be4f00bf10bc094469cad9 (o/192.168.10.44/DATAC1_CD_09_celadm14) [DATAC1]
    4. ONLINE 4dca8fb7bd594f6ebf8321ac23e53434 (/dev/exadata_quorum/QD_ DATAC1_DB01) [DATAC1]
    5. ONLINE 4948b73db0514f47bf94ee53b98fdb51 (/dev/exadata_quorum/QD_ DATAC1_DB02) [DATAC1]
    Located 5 voting disk(s).
    
  15. 高冗長性ディスク・グループにOracle ASMパスワード・ファイルを移動します。
    1. 移動元のOracle ASMパスワード・ファイルの場所を取得します。
      $ asmcmd pwget --asm
    2. 高冗長性ディスク・グループにOracle ASMパスワード・ファイルを移動します。
      $ asmcmd pwmove --asm full_path_of_source_file full_path_of_destination_file

      次に例を示します。

      asmcmd pwmove --asm +recoc1/ASM/PASSWORD/pwdasm.256.898960531 +datac1/asmpwdfile
      
  16. 高冗長性ディスク・グループにOracle ASM SPFILEを移動します。
    これらのコマンドは、Oracle Real Application Clusters (Oracle RAC)のいずれかのOracle VMクラスタ・ノードから実行する必要があります。
    1. 現在使用中のOracle ASM SPFILEを取得します。
      $ asmcmd spget
    2. 高冗長性ディスク・グループにOracle ASM SPFILEをコピーします。
      $ asmcmd spcopy full_path_of_source_file full_path_of_destination_file
    3. 移動したSPFILEが次回の再起動時に使用されるように、Oracle Grid Infrastructureの構成を変更します。
      $ asmcmd spset full_path_of_destination_file
    4. 停止時間が発生してもかまわない場合は、この時点でOracle Grid Infrastructureを再起動します。
      # Grid_home/bin/crsctl stop crs
      
      # Grid_home/bin/crsctl start crs

      停止時間が許容されない場合は、Oracle Grid Infrastructureを再起動するまで、Oracle ASM SPFILEの初期化パラメータに変更を加える必要があるたびにステップ16を繰り返します。

  17. MGMTDBを高冗長性ディスク・グループに移動します。

    MGMTDB (実行している場合)を高冗長性ディスク・グループに移動します。手順については、「別の共有記憶域(ディスク・グループ、CFS、NFSなど)にGI管理リポジトリを移動または再作成する方法」(My Oracle SupportのドキュメントID 1589394.1)を参照してください。

    次のステップを使用し、hugepagesを使用しないようにMGMTDBを構成します。

    export ORACLE_SID=-MGMTDB
    export ORACLE_HOME=$GRID_HOME
    sqlplus ”sys as sysdba”
    SQL> ALTER SYSTEM SET use_large_pages=false scope=spfile  sid='*';
    
  18. オプション: Oracle Grid Infrastructureを再起動します。
    # Grid_home/bin/crsctl stop crs
    
    # Grid_home/bin/crsctl start crs
  19. オプション: 標準冗長性ディスク・グループを高冗長性ディスク・グループに変換します。

2.14.6 quorumディスクの再作成

状況によっては、quorumディスクの再作成が必要になる場合があります。

quorumディスクを再作成する必要があるのは次のような場合です。
  • ゲストdomUを再作成するとき

  • quorumディスクを削除したが事前にOracle ASMディスク・グループからquorumディスクを削除(drop)していないとき

  1. なくなったquorumディスクの削除(drop)を強制的に実行します。
    ALTER DISKGROUP dg_name DROP QUORUM DISK disk_name FORCE;
  2. 「Quorumディスクのデータベース・ノードへの追加」の指示に従い、新しいquorumディスクを追加します。

2.14.7 ユースケース

次の各トピックでは、Quorumディスク管理ユーティリティ使用時の様々な構成事例について説明します。

2.14.7.1 Oracle Exadata 12.1.2.3.0以降での新規デプロイメント

Oracle Exadataリリース12.1.2.3.0以上での新規デプロイメントでは、次の要件がすべて満たされる場合、OEDAによってデフォルトでこの機能が実装されます。

  • システムに少なくとも2つのデータベース・ノードと5台未満のストレージ・サーバーが含まれている。

  • OEDAリリース2016年2月以降を実行している。

  • 「Quorumディスク管理のソフトウェア要件」に記載されているソフトウェア要件を満たしている。

  • Oracle Databaseが11.2.0.4以上である。

  • システム上に少なくとも1つの高冗長性ディスク・グループがある。

システム上に3台のストレージ・サーバーがある場合、OEDAによって選択されたクラスタ内の最初の2つのデータベース・ノードに、2つのquorumディスクが作成されます。

システム上に4台のストレージ・サーバーがある場合、OEDAによって選択された最初のデータベース・ノードに、1つのquorumディスクが作成されます。

2.14.7.2 Oracle Exadataリリース12.1.2.3.0以降へのアップグレード

ターゲットのExadataシステム内に5台未満のストレージ・サーバー、少なくとも1つの高冗長性ディスク・グループおよび2つ以上のデータベース・ノードがある場合、quorumdiskmgrを使用して手動でこの機能を実装できます。

2.14.7.3 12.1.2.3.0より前のOracle Exadataリリースへのダウングレード

quorumディスクをサポートする12.1.2.3.0以上のリリースからquorumディスクをサポートしない12.1.2.3.0より前のOracle Exadataリリースにロールバックするには、環境にquorumディスク実装が存在する場合はquorumディスク構成を削除する必要があります。Exadataソフトウェアのロールバックを実行する前に、quorumディスク構成を削除する必要があります。

quorumディスク構成を削除するには、次のステップを実行します。

  1. 1つ以上の標準冗長性ディスク・グループが存在することを確認します。ない場合は作成します。

  2. 標準冗長性ディスク・グループに投票ファイルを再配置します。

    $GI_HOME/bin/crsctl replace votedisk +normal_redundancy_diskgroup
    
  3. ASMからquorumディスクを削除します。各quorumディスクに対して次のコマンドを実行します。

    SQL> alter diskgroup diskgroup_name drop quorum disk quorum_disk_name force;
    

    リバランス操作が完了するまで待機します。v$asm_operationによってディスク・グループの行が返されなくなったら、完了です。

  4. quorumデバイスを削除します。quorumディスクが存在する各データベース・ノードから次のコマンドを実行します。

    /opt/oracle.SupportTools/quorumdiskmgr --delete --device [--asm-disk-group asm_disk_group] [--host-name host_name]
    
  5. ターゲットを削除します。quorumディスクが存在する各データベース・ノードから次のコマンドを実行します。

    /opt/oracle.SupportTools/quorumdiskmgr --delete --target [--asm-disk-group asm_disk_group]
    
  6. 構成を削除します。quorumディスクが存在する各データベース・ノードから次のコマンドを実行します。

    /opt/oracle.SupportTools/quorumdiskmgr --delete –config
    
2.14.7.4 エラスティック構成変更時のquorumディスクの管理

Oracle Exadataラックのエラスティック構成を変更するときにquorumディスクを使用している場合は、追加の操作の実行が必要になることがあります。

2.14.7.4.1 quorumディスクを使用時のデータベース・ノードの追加

既存のOracle Real Application Clusters (Oracle RAC)クラスタに2つ未満のデータベース・ノードと5台未満のストレージ・サーバーが含まれていて、投票ファイルが高冗長性ディスク・グループに配置されていない場合は、quorumディスクをデータベース・ノードに追加し、投票ファイルを高冗長性ディスク・グループに移動することをお薦めします。

注意:

「Quorumディスク管理のソフトウェア要件」に示されている要件を満たしている必要があります。

既存のOracle RACクラスタにすでにquorumディスクが配置されている場合は、addnode.shプロシージャを使用してOracle RACクラスタにノードを追加する前に、新規に追加するノードにquorumディスクを公開する必要があります。

  1. quorumデバイスが含まれている2つのデータベース・ノードにrootユーザーとしてログインします。
  2. quorumディスクのISCSIターゲット構成を取得します。
    /opt/oracle.SupportTools/quorumdiskmgr --list --target

    このコマンドの出力は次のようになります(ホスト名はdb01で、ディスク・グループ名はDATAです)。

    Name: iqn.2015-05.com.oracle:QD_DATA_DB01
    Host name: DB01
    ASM disk group name: DATA
    Size: 128 MB
    Visible to: IP_address1, IP_address2, IP_address3, IP_address4... IP_address2n
    Discovered by: IP_address1, IP_address2, IP_address3, IP_address4
    

    前述のIP_address1IP_address2IP_address3IP_address4IP_address2nは、すべての既存のクラスタ・ノードのRDMAネットワーク・ファブリック・インタフェースのIPアドレスを表します。上の例では、クラスタ内のノード数はnです。

  3. 各ノードでターゲットに変更を加えて、追加するノードにデバイス・ターゲットが認識されるようにします。

    このコマンドでは、前のステップのvisibleToListフィールドに示されたIPアドレスをIP_listに使用し、追加するノードのIPアドレスをリストに追加しています。

    /opt/oracle.SupportTools/quorumdiskmgr --alter --target --asm-disk-group asm_diskgroupname --visible-to 'IP_list,
     IP_addressX, IP_addressY'

    前のコマンドのIP_addressXIP_addressYは、追加するノードの2つのRDMAネットワーク・ファブリック・インタフェースのIPアドレスを指します。

  4. quorumデバイスが存在する2つのデータベース・ノードで/opt/oracle.SupportTools/quorumdiskmgr --list –targetを実行して、追加するノードの2つのIPアドレスがVisible toリストに表示されることを確認します。
  5. 追加するノードにrootユーザーとしてログインします。
  6. quorumdiskmgrコマンドを--list --configオプションを使用して実行し、構成がノードに正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --config
    
    出力は次のいずれかのようになります。
    • Oracle Exadata System Softwareリリース18.x以前の場合、出力は次のようになります。

      Owner: grid
      Group: dba
      ifaces: exadata_ib1 exadata_ib0
      
    • 以前のリリースからOracle Exadata System Softwareリリース19.1.0以降にアップグレードした場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_ib0 
      Initiatior name: iqn.1988-12.com.oracle:7a4a399566
    • Oracle Exadata System Softwareリリース19.1.0以降でイメージ化した(アップグレードしていない)システムの場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_ib0 
      Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
    • ラックがRDMA over RoCEネットワーク・ファブリックを使用している場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_re0 
      Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
  7. quorumdiskmgrコマンドを--create --deviceオプションを使用して実行し、追加するノード上に既存のquorumデバイスと同じターゲットを指すquorumデバイスを作成します。

    次のコマンドのIP_Listは、ステップ4で取得したIPアドレスのカンマ区切りリストです。

    # /opt/oracle.SupportTools/quorumdiskmgr --create --device --target-ip-list='IP_List'
  8. quorumdiskmgrコマンドを--list --deviceオプションを使用して実行し、既存のquorumデバイスが正しく検出され、追加するノードに公開されていることを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list –device

    新規に追加したノードの出力は次のようになり、既存のクラスタ・ノードの出力と同じになります。

    Device path: /dev/exadata_quorum/QD_DATAC1_DB01 
    Size: 128 MB 
    Host name: DB01
    ASM disk group name: DATA 
    Device path: /dev/exadata_quorum/QD_DATAC1_DB02 
    Size: 128 MB 
    Host name: DB02
    ASM disk group name: DATA
2.14.7.4.2 quorumディスク使用時のデータベース・ノードの削除

削除するデータベース・ノードが投票ファイルを格納しているquorumディスクをホストしていて、Oracle Real Application Clusters (Oracle RAC)クラスタ内のストレージ・サーバーが5台未満の場合は、そのデータベース・ノードを削除する前に別のデータベース・ノードにquorumディスクを作成する必要があります。

削除するデータベース・ノードがquorumディスクをホストしていない場合は、必要な処置はありません。それ以外の場合は、次のステップを使用して、現時点でquorumディスクをホストしていないデータベース・ノードにquorumディスクを作成します。

  1. db01db02rootユーザーとしてログインします。
  2. quorumdiskmgrコマンドを--create --configオプションを使用して実行し、quorumディスク構成をdb01およびdb02の両方に作成します。
    • RDMA over InfiniBandネットワーク・ファブリックの場合:

      # /opt/oracle.SupportTools/quorumdiskmgr --create --config --owner=grid --group=dba --network-iface-list="ib0, ib1"
      
    • RDMA over RoCEネットワーク・ファブリックの場合:

      # /opt/oracle.SupportTools/quorumdiskmgr --create --config --owner=grid --group=dba --network-iface-list="re0, re1"
      
  3. quorumdiskmgrコマンドを--list --configオプションを使用して実行し、構成がdb01およびdb02の両方に正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --config
    
    出力は次のいずれかのようになります。
    • Oracle Exadata System Softwareリリース18.x以前の場合、出力は次のようになります。

      Owner: grid
      Group: dba
      ifaces: exadata_ib1 exadata_ib0
      
    • 以前のリリースからOracle Exadata System Softwareリリース19.1.0以降にアップグレードした場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_ib0 
      Initiatior name: iqn.1988-12.com.oracle:7a4a399566
    • Oracle Exadata System Softwareリリース19.1.0以降でイメージ化した(アップグレードしていない)システムの場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_ib0 
      Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
    • ラックがRDMA over RoCEネットワーク・ファブリックを使用している場合、出力は次のようになります。

      Owner: grid 
      Group: dba 
      ifaces: exadata_re0 
      Initiatior name: iqn.1988-12.com.oracle:192.168.18.205
  4. --create --targetオプションを指定してquorumdiskmgrコマンドを実行し、Oracle ASMディスク・グループDATAC1のターゲットをdb01db02の両方に作成し、db01db02の両方で認識されるようにします。

    たとえば、次のようなコマンドを使用します。

    # /opt/oracle.SupportTools/quorumdiskmgr --create --target --asm-disk-group=datac1 
    --visible-to="192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48"
    
  5. quorumdiskmgrコマンドを--list --targetオプションを使用して実行し、ターゲットがdb01およびdb02の両方に正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --target
    

    Oracle Exadata System Softwareリリース19.1.0より以前からアップグレードしたシステムの場合にのみ、この出力のVisible toリストにIPアドレスとイニシエータ名の両方が表示されます。それ以外の場合、Visible toリストにはIPアドレスのみが表示されます。

    • Oracle Exadata System Softwareリリース18.x以前を実行している場合、各ノードについての出力は次のようになります。

      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01 
      Size: 128 MB 
      Host name: DB01
      ASM disk group name: DATAC1 
      Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48
      Discovered by:
      
      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB02 
      Size: 128 MB 
      Host name: DB02
      ASM disk group name: DATAC1 
      Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 192.168.10.48
      Discovered by:
      
    • Oracle Exadata System Softwareリリース19.x以降を実行している場合、各ノードについての出力は次のようになります。

      
      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01 
      Size: 128 MB 
      Host name: DB01
      ASM disk group name: DATAC1 
      Visible  to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 
      192.168.10.48, iqn.1988-12.com.oracle:ee657eb81b53, 
      iqn.1988-12.com.oracle:db357ba82b24
      
      Name: iqn.2015-05.com.oracle:QD_DATAC1_DB02
      Size: 128 MB
      Host name: DB02
      ASM disk group name: DATAC1
      Visible to: 192.168.10.45, 192.168.10.46, 192.168.10.47, 
      192.168.10.48, iqn.1988-12.com.oracle:ee657eb81b53,
      iqn.1988-12.com.oracle:db357ba82b24
  6. quorumdiskmgrコマンドを--create --deviceオプションを使用して実行し、db01およびdb02の両方のターゲットから、db01およびdb02の両方にデバイスを作成します。

    たとえば、次のようなコマンドを使用します。

    # /opt/oracle.SupportTools/quorumdiskmgr --create --device --target-ip-list="192.168.10.45, 192.168.10.46,
     192.168.10.47, 192.168.10.48"
    
  7. quorumdiskmgrコマンドを--list --deviceオプションを使用して実行し、デバイスがdb01およびdb02の両方に正しく作成されたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --device
    

    db01およびdb02の両方で、出力は次のようになります。

    Device path: /dev/exadata_quorum/QD_DATAC1_DB01 
    Size: 128 MB 
    Host name: DB01
    ASM disk group name: DATAC1 
    
    Device path: /dev/exadata_quorum/QD_DATAC1_DB02 
    Size: 128 MB 
    Host name: DB02
    ASM disk group name: DATAC1
    
  8. 2つのquorumディスク・デバイスを高冗長性Oracle ASMディスク・グループに追加します。

    高冗長性ディスク・グループがない場合は、高冗長性ディスク・グループを作成して、この2つの新しいquorumディスクを含めます。次に例を示します。

    SQL> CREATE DISKGROUP DATAC1 HIGH REDUNDANCY ADD QUORUM FAILGROUP db01 DISK '/dev/exadata_quorum/QD_ DATAC1_DB01' 
    QUORUM FAILGROUP db02 DISK '/dev/exadata_quorum/QD_ DATAC1_DB02' ...
    

    高冗長性ディスク・グループがすでに存在する場合は、2つの新しいquorumディスクを追加します。次に例を示します。

    SQL> ALTER DISKGROUP datac1 ADD QUORUM FAILGROUP db01 DISK '/dev/exadata_quorum/QD_DATAC1_DB01' 
    QUORUM FAILGROUP db02 DISK '/dev/exadata_quorum/QD_DATAC1_DB02';
    
  9. データベース・ノードを削除します。
    データベース・ノードの削除後に、投票ファイルは前のステップで追加したquorumディスクに自動的に再配置されます。
2.14.7.4.3 Oracle Exadata Storage Serverの追加および既存の高冗長性ディスク・グループの拡張

quorumディスクを使用するストレージ・サーバーを追加する場合は、新しく追加するストレージ・サーバーにデータベース・ノード上の投票ファイルを再配置することをお薦めします。

  1. Exadataストレージ・サーバーを追加します。詳細は、「セル・ノードの追加」を参照してください。

    次の例では、追加される新しいストレージ・サーバーの名前は"celadm04"です。

  2. ストレージ・サーバーの追加後、v$asm_disk内の新しい障害グループを確認します。

    SQL> select distinct failgroup from v$asm_disk;
    FAILGROUP
    ------------------------------
    ADM01
    ADM02
    CELADM01
    CELADM02
    CELADM03
    CELADM04
    
  3. 少なくとも1つのデータベース・ノードに投票ファイルを含むquorumディスクが含まれていることを確認します。

    $ crsctl query css votedisk
    ##  STATE    File Universal Id                File Name Disk group
    --  -----    -----------------                --------- ---------
     1. ONLINE   834ee5a8f5054f12bf47210c51ecb8f4 (o/192.168.12.125;192.168.12.126/DATAC5_CD_00_celadm01) [DATAC5]
     2. ONLINE   f4af2213d9964f0bbfa30b2ba711b475 (o/192.168.12.127;192.168.12.128/DATAC5_CD_00_celadm02) [DATAC5]
     3. ONLINE   ed61778df2964f37bf1d53ea03cd7173 (o/192.168.12.129;192.168.12.130/DATAC5_CD_00_celadm03) [DATAC5]
     4. ONLINE   bfe1c3aa91334f16bf78ee7d33ad77e0 (/dev/exadata_quorum/QD_DATAC5_ADM01) [DATAC5]
     5. ONLINE   a3a56e7145694f75bf21751520b226ef (/dev/exadata_quorum/QD_DATAC5_ADM02) [DATAC5]
    Located 5 voting disk(s).
    

    この例では、2つのデータベース・ノード上に投票ファイルを含む2つのquorumディスクがあります。

  4. いずれか1つのquorumディスクを削除します。

    SQL> alter diskgroup datac5 drop quorum disk QD_DATAC5_ADM01;
    

    削除したquorumディスク上の投票ファイルは、投票ファイルのリフレッシュ時にグリッド・インフラストラクチャによって、新しく追加したストレージ・サーバー上に自動的に再配置されます。これは次の方法で確認できます。

    $ crsctl query css votedisk
    ##  STATE    File Universal Id                File Name Disk group
    --  -----    -----------------                --------- ---------
     1. ONLINE   834ee5a8f5054f12bf47210c51ecb8f4 (o/192.168.12.125;192.168.12.126/DATAC5_CD_00_celadm01) [DATAC5]
     2. ONLINE   f4af2213d9964f0bbfa30b2ba711b475 (o/192.168.12.127;192.168.12.128/DATAC5_CD_00_celadm02) [DATAC5]
     3. ONLINE   ed61778df2964f37bf1d53ea03cd7173 (o/192.168.12.129;192.168.12.130/DATAC5_CD_00_celadm03) [DATAC5]
     4. ONLINE   a3a56e7145694f75bf21751520b226ef (/dev/exadata_quorum/QD_DATAC5_ADM02) [DATAC5]
     5. ONLINE   ab5aefd60cf84fe9bff6541b16e33787 (o/192.168.12.131;192.168.12.132/DATAC5_CD_00_celadm04) [DATAC5]
    
2.14.7.4.4 quorumディスク使用時のOracle Exadata Storage Serverの削除

ストレージ・サーバーを削除した結果、Oracle RACクラスタで使用されるストレージ・サーバーが5台未満になる場合で投票ファイルが高冗長性ディスク・グループ内にある場合は、データベース・ノードにquorumディスクを追加する(まだ存在しない場合)ことをお薦めします。

ストレージ・サーバーを削除する前にquorumディスクを追加しておき、ストレージ・サーバーの削除後すぐに5つの投票ファイルのコピーを使用できるようにしておきます。

2.14.8 データベース・サーバーのリストア後のquorumディスクの再構成

データベース・サーバーのリストア後、quorumディスクがリストアされなかったことがlvdisplayで示されます。

Exadataイメージ・レスキュー・モードでデータベース・サーバーをリストアすると、カスタム・パーティション(quorumディスクを含む)を除いて、ディスクおよびファイル・システムのレイアウトがリストアされます。これらのファイルは、バックアップからリストアした後に再作成する必要があります。

quorumディスク用に作成された論理ボリュームは/dev/VGExaDbにあり、名前にLVDbVd*という接頭辞が付けられています。

  1. /etc/lvm/archiveの下にバックアップされた構成を使用して、すべてのノードでquorumディスクの論理ボリューム(LV)を作成します。

    たとえば、次のようなコマンドを使用しますが、バックアップ構成情報の値を使用します。

    # lvcreate -L 128MB -n <LVName> VGExaDb
  2. すべてのデータベース・サーバーを再起動します。
    # shutdown -r now
  3. サーバーの再起動後、quorumディスクがリストアされたことを確認します。
    # /opt/oracle.SupportTools/quorumdiskmgr --list --config
    Owner: grid
    Group: dba
    ifaces: exadata_ib1 exadata_ib0
    
    # /opt/oracle.SupportTools/quorumdiskmgr --list --target
    Name: iqn.2015-05.com.oracle:QD_DATAC1_DB01
    Host name: DB01
    ASM disk group name: DATAC1
    Size: 128 MB
    Visible to: 192.168.10.45, 192.168.10.46
    Discovered by: 192.168.10.45, 192.168.10.46
    
    # /opt/oracle.SupportTools/quorumdiskmgr --list --device
    Device path: /dev/exadata_quorum/QD_DATAC1_DB01
    Host name: DB01
    ASM disk group name: DATAC1
    Size: 128 MB
    
    Device path: /dev/exadata_quorum/QD_DATAL1_DB01
    Host name: DB01
    ASM disk group name: DATAC1
    Size: 128 MB
  4. クラスタの投票ディスクを問い合せて、すべての投票ディスクが使用可能であるかどうかを確認します。
    # crsctl query css votedisk
    ##  STATE    File Universal Id                
      File Name                               Disk group
    --  -----    -----------------                
      ------------------------------------    -----------
     1. ONLINE   ca2f1b57873f4ff4bf1dfb78824f2912 
      (o/192.168.10.42/DATAC1_CD_09_celadm12) [DATAC1]
     2. ONLINE   a8c3609a3dd44f53bf17c89429c6ebe6 
    (o/192.168.10.43/DATAC1_CD_09_celadm13)   [DATAC1]
     3. ONLINE   4948b73db0514f47bf94ee53b98fdb51  
    (/dev/exadata_quorum/QD_ DATAC1_DB02) [DATAC1]
     4. ONLINE   cafb7e95a5be4f00bf10bc094469cad9  
    (o/192.168.10.44/DATAC1_CD_09_celadm14) [DATAC1]
    Located 4 voting disk(s).

    リカバリしたデータベース・サーバー(DB01)では、投票ディスクが1つ欠落しています。V$ASM_DISKを問い合せると、リカバリ処理によってquorumディスクがオフラインになったことがわかります。

    SQL> set line 200
     col LABEL for a20
     col path for a30
     col mode_status for a20
     col header_status for a30
     SELECT label, path, mode_status, header_status, mount_status 
     FROM v$asm_disk
     WHERE path LIKE '/dev/%';
    
    LABEL                PATH                           MODE_STATUS          
    HEADER_STATUS                  MOUNT_S
    -------------------- ------------------------------ --------------------
    ------------------------------ -------
    QD_DATAC1_DB01       /dev/exadata_quorum/QD_DATAC1_ ONLINE              
    CANDIDATE                      CLOSED
    
    QD_DATAC1_DB02       /dev/exadata_quorum/QD_DATAC1_ ONLINE              
    MEMBER                         CACHED
  5. FORCEオプションを使用して、使用できないquorumディスクをOracle ASMディスク・グループから削除します。
    SQL> alter diskgroup DATA_C1 drop quorum disk QD_DATAC1_DB01 force;
  6. 同じquorumディスクをOracle ASMディスク・グループに追加します。
    SQL> alter diskgroup DATA_C1 add quorum failgroup DB01 disk '
    /dev/exadata_quorum/QD_DATAC1_DB01';
  7. V$ASM_DISKを再度問い合せて、両方のquorumディスクが使用できることを確認します。
    SQL> SELECT label, path, mode_status, header_status, mount_status 
     FROM v$asm_disk
     WHERE path LIKE '/dev/%';
    
    LABEL                PATH                           MODE_STATUS          
    HEADER_STATUS                  MOUNT_S
    -------------------- ------------------------------ --------------------
    ------------------------------ -------
    QD_DATAC1_DB01       /dev/exadata_quorum/QD_DATAC1_ ONLINE              
    MEMBER                         CACHED
    
    QD_DATAC1_DB02       /dev/exadata_quorum/QD_DATAC1_ ONLINE              
    MEMBER                         CACHED
  8. クラスタの投票ディスクを問い合せて、すべての投票ディスクが使用可能であることを確認します。
    # crsctl query css votedisk
    ##  STATE    File Universal Id                
      File Name                               Disk group
    --  -----    -----------------                
      ------------------------------------    -----------
     1. ONLINE   ca2f1b57873f4ff4bf1dfb78824f2912 
      (o/192.168.10.42/DATAC1_CD_09_celadm12) [DATAC1]
     2. ONLINE   a8c3609a3dd44f53bf17c89429c6ebe6 
    (o/192.168.10.43/DATAC1_CD_09_celadm13)   [DATAC1]
     3. ONLINE   4948b73db0514f47bf94ee53b98fdb51  
    (/dev/exadata_quorum/QD_ DATAC1_DB02) [DATAC1]
     4. ONLINE   cafb7e95a5be4f00bf10bc094469cad9  
    (o/192.168.10.44/DATAC1_CD_09_celadm14) [DATAC1]
     5. ONLINE   4dca8fb7bd594f6ebf8321ac23e53434  
    (/dev/exadata_quorum/QD_ DATAC1_DB01) [DATAC1]
    Located 5 voting disk(s).

2.15 vmetricsの使用

vmetricsパッケージを使用すると、vmetricsサービスで収集されたシステム統計を表示できます。

2.15.1 vmetricsパッケージについて

vmetricsサービスは、Oracle VMドメインのSAP監視に必要な統計を収集します。

システム統計には、管理ドメイン(dom0)またはユーザー・ドメイン(domU)からアクセスできます。vmetricsサービスは管理ドメイン上で稼働し、統計を収集してxenstoreにプッシュします。これにより、ユーザー・ドメインで統計にアクセスできるようになります。

vmetricsサービスによって収集されたシステム統計を、サンプル値を使用して次に表示します:

com.sap.host.host.VirtualizationVendor=Oracle Corporation;
com.sap.host.host.VirtProductInfo=Oracle VM 3;
com.sap.host.host.PagedInMemory=0;
com.sap.host.host.PagedOutMemory=0;
com.sap.host.host.PageRates=0;
com.sap.vm.vm.uuid=2b80522b-060d-47ee-8209-2ab65778eb7e;
com.sap.host.host.HostName=sc10adm01.example.com;
com.sap.host.host.HostSystemInfo=sc10adm01;
com.sap.host.host.NumberOfPhysicalCPUs=24;
com.sap.host.host.NumCPUs=4;
com.sap.host.host.TotalPhyMem=98295;
com.sap.host.host.UsedVirtualMemory=2577;
com.sap.host.host.MemoryAllocatedToVirtualServers=2577;
com.sap.host.host.FreeVirtualMemory=29788;
com.sap.host.host.FreePhysicalMemory=5212;
com.sap.host.host.TotalCPUTime=242507.220000;
com.sap.host.host.Time=1453150151;
com.sap.vm.vm.PhysicalMemoryAllocatedToVirtualSystem=8192;
com.sap.vm.vm.ResourceMemoryLimit=8192;
com.sap.vm.vm.TotalCPUTime=10160.1831404;
com.sap.vm.vm.ResourceProcessorLimit=4; 

2.15.2 vmetricsサービスのインストールと起動

vmetricsサービスをインストールするには、dom0上でrootユーザーとしてinstall.shスクリプトを実行します:

[root@scac10adm01]# cd /opt/oracle.SupportTools/vmetrics
[root@scac10adm01]# ./install.sh

install.shスクリプトは、それがdom0で実行中であり、現在実行中のvmetricsサービスを停止、パッケージ・ファイルを/opt/oracle.vmetricsにコピーおよびvmetrics.svc/etc/init.dにコピーすることを、確認します。

vmetricsサービスをdom0で開始するには、dom0上でrootユーザーとして次のコマンドを実行します:

[root@scac10adm01 vmetrics]# service vmetrics.svc start

統計を収集するコマンドは、30秒ごとに実行されます。

2.15.3 vmetricsパッケージ内のファイル

vmetricsパッケージには次のファイルが含まれます:

ファイル 説明

install.sh

このファイルは、パッケージをインストールします。

vm-dump-metrics

このスクリプトは、統計をxenstoreから読み取り、それらをXML形式で表示します。

vmetrics

このPythonスクリプトは、システム・コマンドを実行し、それらをxenstoreにアップロードします。システム・コマンドは、vmetrics.confファイル内にリストされています。

vmetrics.conf

このXMLファイルは、dom0がxenstoreへプッシュするべきメトリックおよび各メトリックで実行するシステム・コマンドを指定します。

vmetrics.svc

vmetricsをLinuxサービスにするinit.dファイル。

2.15.4 統計の表示

統計がxenstoreにプッシュされた後、次のいずれかのコマンドを実行すると、dom0およびdomU上に統計を表示できます:

注意:

domU's上に、xenstoreproviderおよびovmdパッケージがインストールされていることを確認してください。

xenstoreproviderは、ovmapiカーネル・インフラストラクチャと通信するライブラリです。

ovmdは、構成および再構成イベントを処理し、VMとOracle VMマネージャの間でメッセージを送信/受信するメカニズムを提供するするデーモンです。

次のコマンドを使用して、Oracle VM APIをサポートするためにOracle Linux 5および6で必要なパッケージをインストールします。

# yum install ovmd xenstoreprovider
  • /usr/sbin/ovmd -g vmhostコマンドは、1つのライン上の統計を表示します。sedコマンドは、ラインを複数のラインに分割し、ラインごとに統計します。このコマンドは、rootユーザーとして実行する必要があります。

    root@scac10db01vm04 ~]# /usr/sbin/ovmd -g vmhost |sed 's/; */;\n/g;s/:"/:"\n/g'
    com.sap.host.host.VirtualizationVendor=Oracle Corporation;
    com.sap.host.host.VirtProductInfo=Oracle VM 3;
    com.sap.host.host.PagedInMemory=0;
    com.sap.host.host.PagedOutMemory=0;
    com.sap.host.host.PageRates=0;
    com.sap.vm.vm.uuid=2b80522b-060d-47ee-8209-2ab65778eb7e;
    com.sap.host.host.HostName=scac10adm01.example.com;
    com.sap.host.host.HostSystemInfo=scac10adm01;
    com.sap.host.host.NumberOfPhysicalCPUs=24;
    com.sap.host.host.NumCPUs=4;
    ...
    
  • vm-dump-metricsコマンドは、XML形式でメトリックを表示します。

    [root@scac10db01vm04 ~]# ./vm-dump-metrics
    <metrics>
    <metric type='real64' context='host'>
    <name>TotalCPUTime</name>
    <value>242773.600000</value>
    </metric>
    <metric type='uint64' context='host'>
    <name>PagedOutMemory</name>
    <value>0</value>
    </metric>
    ...
    

    vm-dump-metricsコマンドを、コマンドを実行するdomU'sにコピーすることに注意してください。

2.15.5 vmetricsへのメトリックの追加

独自のメトリックを追加して、vmetricsサービスで収集することができます。

  1. /opt/oracle.SupportTools/vmetrics/vmetrics.confに、新しいメトリック、およびそのメトリックを取得および解析するためのシステム・コマンドを追加します。次に例を示します。
    <metric type="uint32" context="host">
     <name>NumCPUs</name>
     <action>grep -c processor /proc/cpuinfo</action>
     <action2>xm list | grep '^Domain-0' |awk '{print $4}'</action2>
    </metric>
    

    <name>要素に、新しいメトリックの名前を入力します。

    <action>および<action2>要素に、新しいメトリックのシステム・コマンドを指定します。<action2>のみが必要ですが、<action2>がシステムで機能しない場合は、<action>をフォールバックとして使用できます。

    vmの名前が必要なアクションはいずれもscas07client07vm01を使用する必要があることに留意してください。vmetricsが稼働すると、このダミー名を、dom0で稼働中の実際のdomU名とスワップします。

  2. /opt/oracle.SupportTools/vmetrics/vmetricsで、リストgFieldsList内のメトリックを追加します。メトリックがホスト(dom0)に関する場合、メトリック名に接頭辞"host"を追加し、メトリックがvm (domU)に関する場合、"vm"を追加します。次に例を示します。

    gFieldsListは、次のようになります:

    gFieldsList = [ 'host.VirtualizationVendor',
        'host.VirtProductInfo',
        'host.PagedInMemory',
        'vm.ResourceProcessorLimit' ]
    

    "NumCPUs" (ステップ1の例で示すように)という名の新しいメトリックを追加して、このメトリックがdomUに対して、dom0がいくつの使用可能なCPUを持つか告げる場合、gFieldsListは、次のようになります:

     gFieldsList = [ 'host.VirtualizationVendor',
        'host.VirtProductInfo',
        'host.PagedInMemory',
        'vm.ResourceProcessorLimit',
        'host.NumCPUs']
    
  3. (オプション) /opt/oracle.SupportTools/vmetrics/vm-dump-metricsに、新しいメトリックをXML出力に含めたい場合、新しいメトリックを追加します。

    このステップをスキップすると、ovmd -g vmhostコマンドを使用して新しいメトリックを表示できます。