8 ストレージの管理

ストレージを追加して、ベース・ストレージ・シェルフを完全に占有し、ストレージ拡張シェルフをOracle Database Applianceに追加することができます。

内容は次のとおりです。

「ストレージの管理について」
データベースまたはアプリケーションをシャットダウンすることなく、いつでもストレージを追加できます。
「ストレージ・アップグレードの準備」
ベース・シェルフにストレージを追加する前、または拡張シェルフを追加する前に、これらのベスト・プラクティスを確認して実行してください。
「10パックのSSDの追加」
データ・ストレージ用の10パック・ソリッド・ステート・ドライブ(SSD)を既存の基本構成に追加して、ベース・ストレージ・シェルフを完全に埋め込みます。
「ストレージ拡張シェルフの追加」
基本ストレージ・シェルフが完全に配置されたら、ストレージ拡張シェルフを追加してデータ・ストレージを拡張できます。

ストレージの管理について

データベースまたはアプリケーションをシャットダウンすることなく、いつでもストレージを追加できます。

Oracle Database Applianceは、未加工のストレージを使用してデータを保護します:

フラッシュまたは高速リカバリ領域(FRA)バックアップ。フラッシュ領域または高速リカバリ領域は、REDOログ、制御ファイル、アーカイブ・ログ、バックアップ・ピースとコピー、およびフラッシュバック・ログを含む記憶域(ディスクまたはOracle ASMディスク・グループのディレクトリ)です。
ダブルまたはトリプル・ミラーリングは、機械的な問題から保護します。

使用可能なストレージの量は、FRAバックアップのロケーション(外部または内部)と、ダブルまたはトリプル・ミラーリングが使用されているかどうかによって決まります。

Oracle Database Applianceは、ストレージ・シェルフ、ベース・シェルフ、オプションのストレージ拡張シェルフを使用します。基本ストレージを拡張するには、SSDを追加して基本ストレージを完全に追加します。 2番目のストレージ・シェルフを追加することで、ストレージをさらに拡張できます。外部NFSストレージは、オンライン・バックアップ、データ・ステージング、または追加のデータベース・ファイルでサポートされています。

注意:

拡張シェルフを追加する前に、基本ストレージ・シェルフを完全に配置する必要があります。

ストレージを追加すると、Oracle Automatic Storage Management(Oracle ASM)は新しいドライブを含むすべてのストレージにデータを自動的に再均衡させます。ディスクグループのバランスをとることで、ディスク間でデータが移動し、すべてのファイルがディスクグループ内のすべてのディスクに均等に分散され、すべてのディスクが均等に充填されます。 Oracle ASMは、ディスクの追加時など、ストレージ構成の変更後に自動的にリバランスを開始します。

ストレージの拡張について

基本シェルフに完全に移入した後に追加のストレージが必要な場合は、ストレージ拡張シェルフを追加できます。拡張シェルフはホット・プラガブルで、データベースのダウンタイムなしにストレージを拡張できます。拡張シェルフの配線と電源投入後、システムは自動的にOracle ASMストレージを構成し、データは自動的に新しいシェルフに配布されます。

注意:

データを再調整するプロセスは、新しいストレージがすべてのドライブで正しくバランスされるまでパフォーマンスに影響を与える可能性があります。可能であれば、非ピーク時または非生産時にストレージ拡張シェルフを追加して、自動ストレージ・バランスのパフォーマンスへの影響を最小限に抑えます。

ストレージ拡張シェルフの追加には、両方のノードのチェックが含まれます。 SSHがノード間で動作し、すべてのユーザーが共有パスワードを使用して期待どおりに接続できることを確認することが重要です。

ストレージを拡張するための高度なステップは次のとおりです:

Oracle Database Applianceストレージ・オプションを確認します。
ベース・シェルフにストレージを追加する前または拡張シェルフを追加する前に、構成が準備完了であることを確認するためのチェックを実行して、ストレージのアップグレードを準備します。
基本構成が一杯でない場合は、ストレージを追加します。
ストレージ拡張シェルフを追加して、各サーバー・ノードにログインし、ケーブル接続を検証します。ケーブルが正しいことを確認したら、シェルフの電源を入れ、ストレージを検証します。

注意:

ケーブル配線手順を注意深く見直して、正しくケーブル接続を行ったことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。

親トピック: ストレージの管理

ストレージ・アップグレードの準備

ベース・シェルフにストレージを追加する前、または拡張シェルフを追加する前に、これらのベスト・プラクティスを確認して実行してください。

ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新してください。
ソフトウェアとファームウェアの両方のノードが同じバージョンとパッチ・バンドル・レベルにあることを確認します。
```
# oakcli show version -detail 
```
```
#oakcli inventory -q 
```
注意:
いずれかのノードでoakdが実行されていない場合は、ストレージを追加する前に問題を修正してください。
既存のストレージ・ディスクのディスク・ヘルスを確認します。

両方のノードでチェックを実行し、デフォルト・チェック・オプションを使用してNetworkComponents、OSDiskStorage、SharedStorage、およびSystemComponentsをチェックします。
```
# oakcli validate -d
```
各ノードでoakcli show diskgroupコマンドを実行して、Oracle Automatic Storage Management(Oracle ASM)ディスク・グループ情報を表示および確認します。
```
# oakcli show diskgroup data
```
```
# oakcli show diskgroup reco
```
```
 # oakcli show diskgroup redo 
```

両方のノードでOracle ASMおよびCRSのヘルスを確認します。

各ノードでoakcli orachkコマンドを実行します。どちらかのノードに接続する際に問題がある場合は、/etc/bashrcファイルをチェックし、rootのプロファイル内の値を削除(またはコメントアウト)します。oracle; grid users

ノード0でoakcli orachkを実行する:

# oakcli orachk
...

Checking Status of Oracle Software Stack - Clusterware, ASM, RDBMS

. . . . . . . . .
-------------------------------------------------------------------------------------------------------
Oracle Stack Status
-------------------------------------------------------------------------------------------------------
Host Name CRS Installed  ASM HOME   RDBMS Installed    CRS UP    ASM UP    RDBMS UP DB Instance Name
-------------------------------------------------------------------------------------------------------
odax3rm1       Yes           No          Yes              No        No        No          ........
-------------------------------------------------------------------------------------------------------

 ...

ノード1でoakcli orachkを実行します:

# oakcli orachk
...

Checking Status of Oracle Software Stack - Clusterware, ASM, RDBMS

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-------------------------------------------------------------------------------------------------------
Oracle Stack Status
-------------------------------------------------------------------------------------------------------
Host Name CRS Installed  ASM HOME   RDBMS Installed    CRS UP    ASM UP    RDBMS UP DB Instance Name
-------------------------------------------------------------------------------------------------------
odax3rm2      Yes           Yes           Yes            Yes       Yes        Yes      b22S2 b23S2 b24S2
-------------------------------------------------------------------------------------------------------

...

ノード間の通信を確認し、SSHがoracle、root、gridに同じパスワードを使用して動作していることを確認します。
各ノードから:
1. sshを両方のノードに追加します。
2. 両方のノードにpingを実行します。
各ノードに少なくとも10 GBの空き容量があることを確認します。
```
[root@oda]# df -h
```
```
[root@odb]# df -h 
```

親トピック: ストレージの管理

10パックのSSDの追加

データ・ストレージ用の10パック・ソリッド・ステート・ドライブ(SSD)を既存の基本構成に追加して、ベース・ストレージ・シェルフを完全に埋め込みます。

システムにディスクを追加する前に、Oracle Database Applianceが最新の更新バージョンであることを確認してください。

ディスクをスロット10〜19に一度に1枚ずつ挿入します。

注意:
oakdへのディスク・イベントのフラッディングを避けるために、各ディスクの挿入間隔は少なくとも1分間としてください。

10枚のディスクがすべて追加されたら、ステップ2に進みます。
oakcli show ismasterコマンドを実行して、どのノードがマスターであるかを判別します。
```
# oakcli show ismaster
```

マスター・ノードでoakcli expand storageコマンドを実行します。

#oakcli expand storage 
Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'oakcli show disk' 
Waiting for expansion to finish ...

30秒間待ってから次のステップに進みます。

スレーブ・ノードでoakcli expand storageコマンドを実行します。

#oakcli expand storage 
Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'oakcli show disk' 
Waiting for expansion to finish ...

すべてのディスクを構成に追加するには、10〜12分かかります。

oakcli showdiskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態になっていることを確認します。
```
# oakcli show disk
```

スロット10〜20のディスクがOracle Automatic Storage Management(Oracle ASM)に追加されていることを確認します。

asm_scriptを実行して、スロット10〜20のディスクがOracle Automatic Storage Management(Oracle ASM)に追加されていることを確認します。 10個のディスクが正常に追加された場合(キャッシュおよびメンバー)、ステップ7に進みます。
```
su grid user /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
```

ディスクがOracle ASMに追加されていない場合は、それらを手動で追加します。グリッド・ユーザーとして、マスター・ノードでsqlplus '/as sysasm'コマンドを実行して、ディスクをOracle ASMに追加します。

#sqlplus '/as sysasm'
....
SQL> alter diskgroup /*+ _OAK_AsmCookie */ data add disk 
'/dev/mapper/SSD_E0_S11_1399764284p1' name SSD_E0_S11_1399764284p1, 
'/dev/mapper/SSD_E0_S12_1399765076p1' name SSD_E0_S12_1399765076p1, 
'/dev/mapper/SSD_E0_S13_1399765116p1' name SSD_E0_S13_1399765116p1, 
'/dev/mapper/SSD_E0_S14_1399765484p1' name SSD_E0_S14_1399765484p1, 
'/dev/mapper/SSD_E0_S15_1399765404p1' name SSD_E0_S15_1399765404p1, 
'/dev/mapper/SSD_E0_S16_1399766160p1' name SSD_E0_S16_1399766160p1, 
'/dev/mapper/SSD_E0_S17_1399765264p1' name SSD_E0_S17_1399765264p1, 
'/dev/mapper/SSD_E0_S18_1399763588p1' name SSD_E0_S18_1399763588p1, 
'/dev/mapper/SSD_E0_S19_1399765504p1' name SSD_E0_S19_1399765504p1;  

SQL> alter diskgroup /*+ _OAK_AsmCookie */ reco add disk 
'/dev/mapper/SSD_E0_S11_1399764284p2' name SSD_E0_S11_1399764284p2, 
'/dev/mapper/SSD_E0_S12_1399765076p2' name SSD_E0_S12_1399765076p2, 
'/dev/mapper/SSD_E0_S13_1399765116p2' name SSD_E0_S13_1399765116p2, 
'/dev/mapper/SSD_E0_S14_1399765484p2' name SSD_E0_S14_1399765484p2, 
'/dev/mapper/SSD_E0_S15_1399765404p2' name SSD_E0_S15_1399765404p2, 
'/dev/mapper/SSD_E0_S16_1399766160p2' name SSD_E0_S16_1399766160p2, 
'/dev/mapper/SSD_E0_S17_1399765264p2' name SSD_E0_S17_1399765264p2, 
'/dev/mapper/SSD_E0_S18_1399763588p2' name SSD_E0_S18_1399763588p2, 
'/dev/mapper/SSD_E0_S19_1399765504p2' name SSD_E0_S19_1399765504p2;

oakcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。

# oakcli show validation storage errors
oakcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。

# oakcli show validation storage failures
oak_storage_conf.xmlファイルに両方のノードで24が表示されていることを確認します。
```
#cat /opt/oracle/oak/conf/oak_storage_conf.xml
```

親トピック: ストレージの管理

ストレージ拡張シェルフの追加

基本ストレージ・シェルフが完全に配置されたら、ストレージ拡張シェルフを追加してデータ・ストレージを拡張できます。

注意:

データベースのアクティビティが比較的少ないときに、ストレージ拡張シェルフを追加することをお薦めします。システムが新しいストレージを検出すると、Oracle ASMは自動的にディスク・グループの再バランスを取ります。再バランス操作を行うと、操作が完了するまでパフォーマンスが低下する可能性があります。

ストレージ拡張シェルフを取り付けてケーブルを接続しますが、拡張シェルフの電源は入れないでください。

注意:

ケーブル配線手順を注意深く見直して、正しくケーブル接続を行ったことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。
Oracle Database Applianceの新しいデプロイメントまたは再イメージの場合は、次のステップを順番に実行してください:
1. ベース・ストレージの電源を入れる
2. ノード0の電源を入れる
3. ノード1の電源を入れる
注意:
拡張シェルフの電源をまだ投入しないでください。
両方のノードとベース・ストレージ・シェルフが稼働していることを確認します。各サーバー・ノードにログインし、oakcli validateコマンドを実行して、基本構成のケーブル配線が正しいことを確認します。
```
 oakcli validate -c storagetopology
 ...
      INFO  : Check if JBOD powered on
 SUCCESS    : JBOD : Powered-on                                          
      INFO  : Check for correct number of EBODS(2 or 4)
 SUCCESS    : EBOD found : 2                                                                                                                                                                     INFO       : Check for overall status of cable validation on Node0
  SUCCESS   : Overall Cable Validation on Node0            
 SUCCESS    : JBOD Nickname set correctly : Oracle Database Appliance - E0
```
正しい結果は、2つのサーバー・ノードが基本ストレージ・シェルフに適切にケーブル接続され、すべてのディスクが良好なステータスでオンラインであり、両方のノードの既存のディスクグループに追加されているかどうかを確認します。障害が発生した場合は、次のステップに進む前にケーブルを修正してください。

注意:
出力にEBOD foundが2であることが示されている場合は、基本ストレージ・シェルフのみがあります。 EBOD foundが4の場合、基本ストレージ・シェルフと拡張シェルフがあります。
ストレージ拡張シェルフの電源を入れます。

各サーバー・ノードにログインし、oakcli validateコマンドを実行してストレージ・ケーブルを検証し、新しいストレージ・シェルフが認識されていることを確認します。

# oakcli validate -c storagetopology

  INFO    : Check if JBOD powered on
  SUCCESS : 2JBOD : Powered-on                                               
  INFO    : Check for correct number of EBODS(2 or 4)
  SUCCESS : EBOD found : 4                                                   
   ...
   ...

   INFO    : Check for overall status of cable validation on Node0
   SUCCESS : Overall Cable Validation on Node0            
   SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
   SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

両方のストレージ・シェルフが認識されていることを示す次のインジケータを探します:

2つのシェルフがある場合、JBOD(ディスクの束)に番号が付けられます。次に例を示します。
```
SUCCESS : 2JBOD : Powered-on
```
両方のシェルフが認識されると、EBOD foundの値は4になります。
```
SUCCESS : EBOD found : 4
```

拡張シェルフが適切にケーブル接続されている場合、ニックネームはE1です。次に例を示します。

        SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
        SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

続行する前にエラーを修正してください。

oakcli showdiskコマンドを実行して、拡張シェルフのすべてのディスクがリストされ、オンラインであり、良好な状態になっていることを確認します。
```
# oakcli show disk
```
すべてのディスクがオンラインで状態が良好な場合は、次のステップに進みます。
oakcli show enclosureコマンドを実行して、拡張シェルフ内のコンポーネントのヘルスをチェックします。
```
# oakcli show enclosure
```
ノード0でoakcli show ismasterコマンドを実行して、ノード0がマスターであることを確認します。
```
# oakcli show ismaster
```

マスター・ノードでoakcli expand storageコマンドを実行します。

#oakcli expand storage 

Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'oakcli show disk' 
Waiting for expansion to finish ...

30秒間待ってから次のステップに進みます。

スレーブ・ノードでoakcli expand storageコマンドを実行します。

#oakcli expand storage 

Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'oakcli show disk' 
Waiting for expansion to finish ...

すべてのディスクを構成に追加するには、約10〜12分かかります。

oakcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。

# oakcli show validation storage errors
oakcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。

# oakcli show validation storage failures
oakcli show versionコマンドを実行して、ストレージ拡張内のすべてのファームウェア・コンポーネントが最新であることを確認します。
```
# oakcli show version -detail
```
必要に応じて、ストレージ・シェルフを更新してから、show versionコマンドを実行して、ファームウェアが最新であることを確認します。
```
# oakcli update
```
```
# oakcli show version -detail
```

親トピック: ストレージの管理