1. X6-2-HAデプロイメントおよびユーザーズ・ガイド
  2. ストレージの管理

11 ストレージの管理

ストレージを追加して、ベース・ストレージ・シェルフを完全に埋めるようにして、ストレージ拡張シェルフをOracle Database Applianceに追加できます。

ストレージの管理について

データベースまたはアプリケーションを停止することなく、いつでもストレージを追加できます。

Oracle Database Applianceでは、RAWストレージを使用して、次の方法でデータを保護します。

  • フラッシュまたは高速リカバリ領域(FRA)のバックアップ。フラッシュまたは高速リカバリ領域は、REDOログ、制御ファイル、アーカイブ・ログ、バックアップ・ピースとコピーおよびフラッシュバック・ログを含むストレージ領域(ディスクまたはOracle ASMディスクグループのディレクトリ)です。

  • ミラーリング。双方向ミラーリングまたは3方向ミラーリングで、機械的な問題に対する保護が提供されます。

使用可能なストレージの量は、FRAバックアップの場所(外部または内部)と、双方向ミラーリングが使用されるか、3方向ミラーリングが使用されるかによって決定します。

Oracle Database Applianceでは、ストレージ・シェルフ、ベース・シェルフおよびオプションのストレージ拡張シェルフを使用します。ソリッドステート・ドライブ(SSD)のパックを追加して、ベース・ストレージを完全に埋めるようにして、ベース・ストレージを拡張できます。2つ目のストレージ・シェルフを追加して、ストレージをさらに拡張できます。オンライン・バックアップ、データ・ステージングまたは追加のデータベース・ファイルのために、外部NFSストレージがサポートされています。

ノート:

ストレージ拡張シェルフは、Oracle Database Appliance X7-2-HAやその他の古いモデルで使用できなくなりました。Oracle Database Applianceシステム間で既存のストレージ拡張シェルフを再利用できます。

ノート:

ストレージを追加してアプライアンスに最新のファームウェアが搭載されるようにする前に、デプロイメントを最新のOracle Database Applianceソフトウェア・リリースにアップグレードすることをお薦めします。

ストレージを追加すると、Oracle Automatic Storage Management (Oracle ASM)によって、新しいドライブを含むすべてのストレージにわたってデータが自動的にリバランスされます。ディスク・グループのリバランスによってデータがディスク間を移動し、すべてのファイルがディスク・グループ内の全ディスクで均等に分散し、同じパーセンテージになるようにすべてのディスクに均等に格納されます。Oracle ASMは、ディスクの追加時など、ストレージ構成の変更後に、自動的にリバランスを開始します。

親トピック: ストレージの管理

Oracle Database Appliance X6-2-HAのストレージ追加オプション

Oracle Database Appliance X6-2-HAのストレージ構成オプションを理解します。

Oracle Database Appliance X6-2-HAは、パフォーマンスのために1.2 TBにフォーマットされた、1.6 TBのrawソリッドステート・ドライブ(SSD)を使用します。

ノート:

3.2 TBおよび1.6 TBのSSDは使用できなくなりました。ストレージの拡張には7.68 TBのSSDの5個パックを使用できます。拡張シェルフも使用できなくなりました。
次の表で、Oracle Database Appliance X6-2-HAの基本構成およびストレージ拡張オプションについて説明します。

表11-1 Oracle Database Appliance X6-2-HAのストレージ追加オプション

構成 ストレージ・オプション 合計ストレージ
基本構成 10台の1.6TBのSSD (スロット0 - 9)および4台の200GBのSSD (スロット20 - 23) データベースREDO専用の200 GB SSDと、DATAに使用される1.6TB SDD。
ベース・シェルフ拡張 スロット10 - 19に10台の7.68 TBのSSDを追加するか、スロット0 - 19の20台の7.68 TBのSSDをすべて交換します

7600790 (7.68TBのSSDドライブの5個パック)を2つまたは4つ注文します

 アプライアンスの電源をオフにして、既存の1.6 TBまたは3.2 TBのSSDを7.68 TBのSSDに交換します。クリーン・アップを実行し、アプライアンスを再イメージ化して再デプロイし、バックアップからデータベースをリストアします。既存の1.6 TBまたは3.2 TBのSSDをすべて7.68 TBのSSDに交換する場合、ストレージにはSSDの7.68 TBの容量全体が使用されます。ただし、1.6 TBまたは3.2 TBのSSDを含む既存のデプロイメントに7.68 TBのSSDを追加する場合、7.68 TBのSSDは、パフォーマンスのために1.6 TBまたは3.2 TBにフォーマットされます。
ストレージ・シェルフの拡張 拡張シェルフは使用できなくなりました。 拡張シェルフは使用できなくなりました。

親トピック: ストレージの管理

ストレージ拡張の準備

ストレージをベース・シェルフに追加したり、拡張シェルフを追加する前に、これらのベスト・プラクティスを確認して実行します。

  1. ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新します。
  2. 両方のノードで、ソフトウェアとファームウェアのバージョンとパッチ・バンドルのレベルが同じであることを確認します。
    # odaadmcli show version -detail 
    # odaadmcli inventory -q 

    ノート:

    oakdがフォアグラウンド・モードで実行されていない場合は、いずれかのノードで、問題を修正してから、ストレージを追加します。
  3. 既存のストレージ・ディスクのディスクの状態を確認します。

    両方のノードでチェックを実行し、デフォルトのチェック・オプションを使用してNetworkComponents、OSDiskStorage、SharedStorageおよびSystemComponentsを確認します。 

    #  odaadmcli validate -d
  4. 各ノードでodaadmcli show diskgroupコマンドを実行して、Oracle Automatic Storage Management (Oracle ASM)ディスク・グループ情報を表示して確認します。すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show diskgroup data
    # odaadmcli show diskgroup reco
     # odaadmcli show diskgroup redo 
  5. 両方のノードでOracle ASMおよびCRSの状態を確認します。
    各ノードでodaadmcli orachkコマンドを実行します。いずれかのノードへの接続に問題がある場合は、/etc/bashrcファイルを確認し、root、oracle、grid usersのプロファイル内の値をすべて削除(またはコメント・アウト)します。

    ノード0でodaadmcli orachkを実行します。 

    # odaadmcli orachk
...

Checking Status of Oracle Software Stack - Clusterware, ASM, RDBMS

. . . . . . . . .
-------------------------------------------------------------------------------------------------------
Oracle Stack Status
-------------------------------------------------------------------------------------------------------
Host Name CRS Installed  ASM HOME   RDBMS Installed    CRS UP    ASM UP    RDBMS UP DB Instance Name
-------------------------------------------------------------------------------------------------------
odax3rm1       Yes           No          Yes              No        No        No          ........
-------------------------------------------------------------------------------------------------------

 ...

    ノード1でodaadmcli orachkを実行します。 

    # odaadmcli orachk
...

Checking Status of Oracle Software Stack - Clusterware, ASM, RDBMS

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-------------------------------------------------------------------------------------------------------
Oracle Stack Status
-------------------------------------------------------------------------------------------------------
Host Name CRS Installed  ASM HOME   RDBMS Installed    CRS UP    ASM UP    RDBMS UP DB Instance Name
-------------------------------------------------------------------------------------------------------
odax3rm2      Yes           Yes           Yes            Yes       Yes        Yes      b22S2 b23S2 b24S2
-------------------------------------------------------------------------------------------------------

...
  6. ノード間の通信を確認して、oracle、rootおよびgridに同じパスワードを使用してSSHが機能していることを確認します。
    各ノードから:
    1. 両方のノードに接続するためにsshを使用します。
    2. 両方のノードにpingを実行します。
  7. 各ノードで使用可能な領域が10 GB以上あることを確認します。
    [root@oda]# df -h
    [root@odb]# df -h

親トピック: ストレージの管理

2つの5個パックのSSDの追加

既存の基本構成にデータ・ストレージ用のソリッドステート・ドライブ(SSD)の5個パックを2つ追加し、ベース・ストレージ・シェルフを埋めるようにします。

ディスクをシステムに追加する前に、Oracle Database Applianceを最新の更新バージョンにしてください。
3.2 TBおよび1.6 TBのSSDは使用できなくなりました。ストレージの拡張には7.68 TBのSSDの5個パックを使用できます。
  1. スロット10から19にディスクを1つずつ挿入します。

    ノート:

    oakdへのディスク・イベントのフラッディングを避けるために、ディスクを挿入してから次のディスクを挿入するまでに、少なくとも1分待ちます。
    10台のディスクをすべて追加したら、ステップ2に進みます。
  2. odaadmcli show ismasterコマンドを実行して、マスターであるノードを確認します。
    # odaadmcli show ismaster
  3. マスター・ノードでodaadmcli expand storageコマンドを実行します。
    # odaadmcli expand storage 
Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'odaadmcli show disk' 
Waiting for expansion to finish ...
    30秒待ってから、次のステップに進みます。
  4. スレーブ・ノードでodaadmcli expand storageコマンドを実行します。
    #odaadmcli expand storage 
Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'odaadmcli show disk' 
Waiting for expansion to finish ...
    すべてのディスクを構成に追加するには、10から12分かかります。
  5. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
  6. スロット10から20のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
    1. asm_scriptを実行して、スロット10から20のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。10台のディスクが正常に追加されている場合(CACHEDおよびMEMBER)、ステップ7に進みます。
      su grid user /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
    2. ディスクがOracle ASMに追加されていない場合は、手動で追加します。gridユーザーとして、マスター・ノードでsqlplus '/as sysasm'コマンドを実行して、ディスクをOracle ASMに追加します。
      # sqlplus '/as sysasm'
....
SQL> alter diskgroup /*+ _OAK_AsmCookie */ data add disk 
'/dev/mapper/SSD_E0_S11_1399764284p1' name SSD_E0_S11_1399764284p1, 
'/dev/mapper/SSD_E0_S12_1399765076p1' name SSD_E0_S12_1399765076p1, 
'/dev/mapper/SSD_E0_S13_1399765116p1' name SSD_E0_S13_1399765116p1, 
'/dev/mapper/SSD_E0_S14_1399765484p1' name SSD_E0_S14_1399765484p1, 
'/dev/mapper/SSD_E0_S15_1399765404p1' name SSD_E0_S15_1399765404p1, 
'/dev/mapper/SSD_E0_S16_1399766160p1' name SSD_E0_S16_1399766160p1, 
'/dev/mapper/SSD_E0_S17_1399765264p1' name SSD_E0_S17_1399765264p1, 
'/dev/mapper/SSD_E0_S18_1399763588p1' name SSD_E0_S18_1399763588p1, 
'/dev/mapper/SSD_E0_S19_1399765504p1' name SSD_E0_S19_1399765504p1;  

SQL> alter diskgroup /*+ _OAK_AsmCookie */ reco add disk 
'/dev/mapper/SSD_E0_S11_1399764284p2' name SSD_E0_S11_1399764284p2, 
'/dev/mapper/SSD_E0_S12_1399765076p2' name SSD_E0_S12_1399765076p2, 
'/dev/mapper/SSD_E0_S13_1399765116p2' name SSD_E0_S13_1399765116p2, 
'/dev/mapper/SSD_E0_S14_1399765484p2' name SSD_E0_S14_1399765484p2, 
'/dev/mapper/SSD_E0_S15_1399765404p2' name SSD_E0_S15_1399765404p2, 
'/dev/mapper/SSD_E0_S16_1399766160p2' name SSD_E0_S16_1399766160p2, 
'/dev/mapper/SSD_E0_S17_1399765264p2' name SSD_E0_S17_1399765264p2, 
'/dev/mapper/SSD_E0_S18_1399763588p2' name SSD_E0_S18_1399763588p2, 
'/dev/mapper/SSD_E0_S19_1399765504p2' name SSD_E0_S19_1399765504p2;
  7. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
    ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
    # odaadmcli show validation storage errors
  8. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
    典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
    # odaadmcli show validation storage failures
  9. 追加後に、システムのディスクの合計数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、14台のディスクの基本構成に10台のディスクを追加した場合、oak_storage_conf.xmlファイルには24と表示される必要があります。
    # cat /opt/oracle/oak/conf/oak_storage_conf.xml

親トピック: ストレージの管理

ストレージ拡張シェルフの追加

次の手順は、Oracle Database Applianceシステム間で既存のストレージ拡張シェルフを再利用する場合にのみ使用します。

ノート:

ストレージ拡張シェルフは、Oracle Database Appliance X7-2-HAやその他の古いモデルで使用できなくなりました。次の手順は、Oracle Database Applianceシステム間で既存のストレージ拡張シェルフを再利用する場合にのみ使用します。既存のストレージ・シェルフを再利用する場合、つまり、oakdとOracle ASMが構成されたシステムから移動する場合は、新しいデプロイメントに追加する前に、2番目のJBOD上のディスクをクリーン・アップする必要があります。このガイドのストレージ・ディスクでのデータの安全な消去のトピックを参照してください。

ノート:

この手順のodacliまたはodaadmcliコマンドと同等のoakcliコマンドを使用して、同じ手順に従って、仮想化されたプラットフォームの基本構成にストレージを追加できます。

ノート:

  • データベースのアクティビティが比較的少ないときに、ストレージ拡張シェルフを追加することをお薦めします。システムが新しいストレージを検出すると、Oracle ASMは自動的にディスク・グループの再バランスを取ります。再バランス操作を行うと、操作が完了するまでパフォーマンスが低下する可能性があります。

  • X6-2-HAのOracle Database ApplianceへのX7-2のストレージ拡張シェルフのオフライン追加のみがサポートされています。

ストレージ拡張シェルフの追加には、両方のノードを対象としたチェックが含まれます。SSHがノード全体で機能し、すべてのユーザーが共有パスワードを使用して期待どおりに接続できることを確認することが重要です。

  1. ストレージ拡張シェルフを取り付けて配線しますが、拡張シェルフの電源はオンにしません。

    注意:

    慎重に配線手順を参照して、ケーブル接続が正しく行われたことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。

  2. これがOracle Database Applianceの新しいデプロイメントまたは再イメージ化である場合は、次のステップを順番に実行します。
    1. ベース・ストレージの電源をオンにします。
    2. ノード0の電源をオンにします。
    3. ノード1の電源をオンにします。

    注意:

    拡張シェルフの電源は、まだオンにしないでください。
  3. 両方のノードとベース・ストレージ・シェルフが稼働していることを確認します。各サーバー・ノードにログインし、odaadmcli validateコマンドを実行して、基本構成のケーブル接続が正しいことを確認します。
    # odaadmcli validate -c storagetopology
 ...
      INFO  : Check if JBOD powered on
 SUCCESS    : JBOD : Powered-on                                          
      INFO  : Check for correct number of EBODS(2 or 4)
 SUCCESS    : EBOD found : 2                                                                                                                                                                     INFO       : Check for overall status of cable validation on Node0
  SUCCESS   : Overall Cable Validation on Node0            
 SUCCESS    : JBOD Nickname set correctly : Oracle Database Appliance - E0
    JBODが以前に構成されていた場合は、EBOD foundのメッセージが表示されます。構成されていないJBODが追加されると、警告メッセージが表示されます。
    # odacli validate-storagetopology
 ...
WARNING : JBOD Nickname is incorrectly set to :

    ノート:

    出力でEBOD foundが2であることが示されている場合は、ベース・ストレージ・シェルフのみが存在します。EBOD foundが4の場合、ベース・ストレージ・シェルフとストレージ拡張シェルフがあります。
  4. ストレージ拡張シェルフの電源をオンにします。
  5. 各サーバー・ノードにログインし、odaadmcli validateコマンドを実行してストレージのケーブル接続を検証します。
    # odaadmcli validate -c storagetopology

  INFO    : Check if JBOD powered on
  SUCCESS : 2JBOD : Powered-on                                               
  INFO    : Check for correct number of EBODS(2 or 4)
  SUCCESS : EBOD found : 4                                                   
   ...
   ...

   INFO    : Check for overall status of cable validation on Node0
   SUCCESS : Overall Cable Validation on Node0            
   SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
   SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1
    両方のストレージ・シェルフが認識されていることを示す次のインジケータを探します。
    • シェルフが2台ある場合は、JBOD (単純ディスク束)に番号が付けられます。たとえば:
      SUCCESS : 2JBOD : Powered-on
    • 両方のシェルフが認識された場合、EBOD foundの値は4です。 
      SUCCESS : EBOD found : 4

    • 拡張シェルフが正しく配線されている場合、ニックネームはE1です。たとえば: 

              SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
        SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

    次に進む前にエラーを修正します。

  6. odaadmcli show diskコマンドを実行して、拡張シェルフのすべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
    すべてのディスクがオンラインで良好な状態の場合は、次のステップに進みます。
  7. odaadmcli show enclosureコマンドを実行して、拡張シェルフのコンポーネントの状態を確認します。
    # odaadmcli show enclosure
  8. コマンドを使用して、各ノードでoakdを再起動します。
    # odaadmcli restart oak
  9. ノード0でodaadmcli show ismasterコマンドを実行して、マスターとスレーブの構成を確認します。
    # odaadmcli show ismaster

    マスターとスレーブの構成は、ノードでoakdを再起動して変更できます。

  10. 両方のノードでoakdが再起動されたら、両方のノードでコマンドodaadmcli show diskを実行します。

    拡張ストレージ・シェルフe1_pd_xxの24台のディスクはすべて、両方のノードのコマンド出力に、ステータス"UNKNOWN NewDiskInserted:で表示されます。たとえば: 

    e0_pd_23 /dev/sdab SSD ONLINE Good 
e1_pd_00 /dev/sdax SSD UNKNOWN 
NewDiskInserted
...
e1_pd_23 /dev/sdbu SSD UNKNOWN 
NewDiskInserted
  11. まずマスター・ノードでコマンドodaadmcli add jbod diskを実行し、次にスレーブ・ノードで実行します。
    # odaadmcli add jbod disk 
Sat Jun 30 01:04:08 UTC 2018 
Successfully formatted 1.6TB SSD disks...  
Check addition of JBOD status by executing 
odaadmcli ' show jbod progress'

    コマンドが完了するまで待ちます。約30から40分かかります。次に、拡張ストレージ・シェルフのディスク・ステータスがONLINE GOODであることを確認します。そうなった場合に、次のステップに進みます。

  12. まずマスター・ノードでコマンドodaadmcli add jbod asmを実行し、次にスレーブ・ノードで実行します。

    コマンドが完了するまで待ちます。約2から3分かかります。次に、ASMの拡張ストレージ・シェルフのディスク・ステータスがONLINEおよびCACHEDであることを確認します。

  13. コマンドshow jbod statusを実行して、Oracle ASMディスク・グループおよびディスク・ステータスを確認します。
    # odaadmcli show jbod status
INFO: 2018-06-30 01:32:46: Present status of Expansion storage shelf
 Disk Added    Disk Not Added     Status     
OAKD     24              0            SUCCESS     
ASM     
DATA      20              0            SUCCESS     
RECO     20              0            SUCCESS    
 REDO      4              0            SUCCESS  
INFO: 2018-06-30 01:32:46: DiskGroup Mount Status  
GROUP_NUMBER NAME       STATE      TYPE         TOTAL_MB    FREE_MB            
1 DATA       MOUNTED    HIGH         39321600   37272260            
2 REDO       MOUNTED    HIGH          1525760    1383896            
3 RECO       MOUNTED    HIGH          6461440    5984272
  14. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
    ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
    # odaadmcli show validation storage errors
  15. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
    典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
    # odaadmcli show validation storage failures
  16. odaadmcli show versionコマンドを実行して、ストレージ拡張のすべてのファームウェア・コンポーネントが最新であることを確認します。
    # odaadmcli show version -detail
  17. 必要に応じて、ストレージ・シェルフを更新し、show versionコマンドを実行してファームウェアが最新であることを確認します。
    # odaadmcli update
# odaadmcli show version -detail

親トピック: ストレージの管理