ストレージの管理

機械翻訳について

10 ストレージの管理

ストレージを追加して、ベース・ストレージ・シェルフを完全に占有し、ストレージ拡張シェルフをOracle Database Applianceに追加することができます。

「ストレージの管理について」
データベースまたはアプリケーションをシャットダウンすることなく、いつでもストレージを追加できます。
「Oracle Database Appliance X6-2-HAのストレージ追加オプション」
また、一部の構成を変更して、X7-2ストレージ・ディスクをOracle Database Appliance X6-2-HAに追加することもできます。
「ストレージ拡張の準備」
ベース・シェルフにストレージを追加する前、または拡張シェルフを追加する前に、これらのベスト・プラクティスを確認して実行してください。
「2 5パックSSDの追加」
データ・ストレージ用の2つの5パック・ソリッド・ステート・ドライブ(SSD)を既存の基本構成に追加して、基本ストレージ・シェルフに完全に装着します。
「ストレージ拡張シェルフの追加」
基本ストレージ・シェルフが完全に配置されたら、ストレージ拡張シェルフを追加してストレージ容量を拡張することができます。

ストレージの管理について

データベースまたはアプリケーションをシャットダウンすることなく、いつでもストレージを追加できます。

Oracle Database Applianceは、未加工のストレージを使用してデータを保護します:

フラッシュまたは高速リカバリ領域(FRA)バックアップ。フラッシュ領域または高速リカバリ領域は、REDOログ、制御ファイル、アーカイブ・ログ、バックアップ・ピースとコピー、およびフラッシュバック・ログを含むストレージ(ディスクまたはOracle ASMディスク・グループのディレクトリ)です。
ダブルまたはトリプル・ミラーリングは、機械的な問題から保護します。

使用可能なストレージの量は、FRAバックアップのロケーション(外部または内部)と、ダブルまたはトリプル・ミラーリングが使用されているかどうかによって決まります。

Oracle Database Applianceは、ストレージ・シェルフ、ベース・シェルフ、オプションのストレージ拡張シェルフを使用します。基本ストレージを拡張するには、SSDを追加して基本ストレージを完全に追加します。 2番目のストレージ・シェルフを追加することで、ストレージをさらに拡張できます。外部NFSストレージは、オンライン・バックアップ、データ・ステージング、または追加のデータベース・ファイルでサポートされています。

注意:

拡張シェルフを追加する前に、基本ストレージ・シェルフを完全に配置する必要があります。

ストレージを追加すると、Oracle Automatic Storage Management(Oracle ASM)は新しいドライブを含むすべてのストレージにデータを自動的に再均衡させます。ディスクグループのバランスをとることで、ディスク間でデータが移動し、すべてのファイルがディスクグループ内のすべてのディスクに均等に分散され、すべてのディスクが均等に充填されます。 Oracle ASMは、ディスクの追加時など、ストレージ構成の変更後に自動的にリバランスを開始します。

ストレージの拡張について

基本シェルフに完全に移入した後に追加のストレージが必要な場合は、ストレージ拡張シェルフを追加できます。拡張シェルフはホット・プラガブルで、データベースのダウンタイムなしにストレージを拡張できます。拡張シェルフの配線と電源投入後、システムは自動的にOracle ASMストレージを構成し、データは自動的に新しいシェルフに配布されます。

注意:

データを再調整するプロセスは、新しいストレージがすべてのドライブで正しくバランスされるまでパフォーマンスに影響を与える可能性があります。可能であれば、非ピーク時または非生産時にストレージ拡張シェルフを追加して、自動ストレージ・バランスのパフォーマンスへの影響を最小限に抑えます。

ストレージ拡張シェルフの追加には、両方のノードのチェックが含まれます。 SSHがノード間で動作し、すべてのユーザーが共有パスワードを使用して期待どおりに接続できることを確認することが重要です。

ストレージを拡張するための高度なステップは次のとおりです:

Oracle Database Applianceストレージ・オプションを確認します。
ベース・シェルフにストレージを追加する前または拡張シェルフを追加する前に、構成が準備完了であることを確認するためのチェックを実行して、ストレージのアップグレードを準備します。
基本構成が一杯でない場合は、ストレージを追加します。
ストレージ拡張シェルフを追加して、各サーバー・ノードにログインし、ケーブル接続を検証します。ケーブルが正しいことを確認したら、シェルフの電源を入れ、ストレージを検証します。

注意:

ケーブル配線手順を注意深く見直して、正しくケーブル接続を行ったことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。

親トピック: ストレージの管理

Oracle Database Appliance X6-2-HAのストレージ追加オプション

また、一部の構成を変更して、X7-2ストレージ・ディスクをOracle Database Appliance X6-2-HAに追加することもできます。

Oracle Database Appliance X6-2-HAは、パフォーマンスを上げるために1.2 TBにフォーマットされた1.6 TBのソリッド・ステート・ドライブ(SSD)を使用します。 Oracle Database Appliance X7-2ストレージをオーダーすると、デフォルトの3.2 TBソリッド・ステート・ドライブが提供され、既存のストレージ容量でパーティション化されます。

次の表は、Oracle Database Appliance X6-2-HAの基本構成およびストレージ拡張オプションを示しています。

表10-1 Oracle Database Appliance X6-2-HAのストレージ追加オプション

構成	ストレージ・オプション	合計ストレージ
基本構成	スロット0 - 9の10 (10) 1.6TB SSDおよびスロット20 - 23の4 (4) 200GB SSD	DATAに使用されるデータベースREDOおよび1.6TB SDD専用の200 GB SSD。
基本シェルフ拡張	スロット10 - 19の追加の10個(10) 3.2TB SSD (オーダー数量2 -7117369 - 5(5) 3.2TB SSDドライブ・パック、およびOracle Database Applianceリリース12.2.1.4以降へのアップグレード)	3.2TB SSDは、1.2TBにパーティション化されています。ストレージ・シェルフは、合計24TBのロー・ストレージに完全に挿入できるように拡張できます。
ストレージ・シェルフの拡張	スロット0 - 19の20 1.6TB/3.2TB SSDおよびスロット20 - 23の4 300GB SSD 4 800 GBおよび20 3.2TB SSDがある、Oracle Database Appliance X7-2の完全に装着された拡張シェルフ(オーダー数量1 - 7119675 -20 3.2 TB SSDと4 800 GB SSDおよびOracle Database Applianceリリース12.2.1.4以降へのアップグレード)	80GB SSDは200GBに分割され、3.2TB SSDは1.2TBにパーティション化されます。スパン・ション・シェルフには、追加の24 TBのロー・ストレージが用意されています。

ストレージの追加には、次のオプションを使用できます:

ストレージ拡張について

基本ストレージ・シェルフを拡張するには、ソリッド・ステート・ドライブ(SSD)の2つのパックを追加して、基本ストレージに完全に移入します。この場合、1.2 TBのパーティションが作成されます。

3.2 TB SSDを追加して基本ストレージ・シェルフを拡張すると、ストレージは既存の構成に拡張されます。つまり、使用可能なディスク容量は1.2 TBです。

SSDを追加するステップについては、「2 5パックSSDの追加」のステップを参照してください。

拡張シェルフの追加について

ベース・ストレージ・シェルフが完全に装着されたら、X7-2ストレージから2番目のストレージ・シェルフを追加できます。この場合、使用可能なディスク容量は1.2 TBです。

拡張シェルフを追加するステップについては、「ストレージ拡張シェルフの追加」のステップを参照してください。

ストレージ・ディスクの交換について

1.6 TBのraw SSDストレージは、3.2 TBのX7-2ストレージと、800 GB SSDを備えたREDOディスクグループの200 GB SSDでそれぞれ完全に置き換えることができます。oakdは、交換されたディスクと同じサイズを使用します。この場合、使用可能なディスク容量は3.2 TBです。このオプションを選択した場合は、Oracle Database Applianceを再デプロイする必要があります。

ストレージを拡張するステップについては、「ストレージ拡張の準備」のステップを参照してください。

親トピック: ストレージの管理

ストレージ拡張の準備

ベース・シェルフにストレージを追加する前、または拡張シェルフを追加する前に、これらのベスト・プラクティスを確認して実行してください。

ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新してください。
ソフトウェアとファームウェアの両方のノードが同じバージョンとパッチ・バンドル・レベルにあることを確認します。
```
# odaadmcli show version -detail 
```
```
# odaadmcli inventory -q 
```
注意:
oakdがフォアグラウンド・モードで実行されていない場合は、どちらのノードでも、ストレージを追加する前に問題を解決してください。
既存のストレージ・ディスクのディスク・ヘルスを確認します。

両方のノードでチェックを実行し、デフォルト・チェック・オプションを使用してNetworkComponents、OSDiskStorage、SharedStorage、およびSystemComponentsをチェックします。
```
#  odaadmcli validate -d
```
各ノードでodaadmcli show diskgroupコマンドを実行して、Oracle Automatic Storage Management (Oracle ASM)ディスク・グループ情報を表示および確認します。すべてのディスクがリストされ、オンラインで正常な状態であることを確認します。
```
# odaadmcli show diskgroup data
```
```
# odaadmcli show diskgroup reco
```
```
 # odaadmcli show diskgroup redo 
```

両方のノードでOracle ASMおよびCRSのヘルスを確認します。

各ノードでodaadmcli orachkコマンドを実行します。いずれかのノードに接続する際に問題がある場合は、/etc/bashrcファイルをチェックし、root、oracle、grid usersのプロファイル内の値を削除(またはコメントアウト)します。

ノード0でodaadmcli orachkを実行する:

# odaadmcli orachk
...

Checking Status of Oracle Software Stack - Clusterware, ASM, RDBMS

. . . . . . . . .
-------------------------------------------------------------------------------------------------------
Oracle Stack Status
-------------------------------------------------------------------------------------------------------
Host Name CRS Installed  ASM HOME   RDBMS Installed    CRS UP    ASM UP    RDBMS UP DB Instance Name
-------------------------------------------------------------------------------------------------------
odax3rm1       Yes           No          Yes              No        No        No          ........
-------------------------------------------------------------------------------------------------------

 ...

ノード1でodaadmcli orachkを実行します:

# odaadmcli orachk
...

Checking Status of Oracle Software Stack - Clusterware, ASM, RDBMS

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-------------------------------------------------------------------------------------------------------
Oracle Stack Status
-------------------------------------------------------------------------------------------------------
Host Name CRS Installed  ASM HOME   RDBMS Installed    CRS UP    ASM UP    RDBMS UP DB Instance Name
-------------------------------------------------------------------------------------------------------
odax3rm2      Yes           Yes           Yes            Yes       Yes        Yes      b22S2 b23S2 b24S2
-------------------------------------------------------------------------------------------------------

...

oracle、root、およびgridに同じパスワードを使用して、ノードとSSHとの間の通信を確認します。
各ノードから:
1. sshを両方のノードに追加します。
2. 両方のノードにpingを実行します。
各ノードに少なくとも10 GBの空き容量があることを確認します。
```
[root@oda]# df -h
```
```
[root@odb]# df -h 
```

親トピック: ストレージの管理

2 5パックSSDの追加

データ・ストレージ用の2つの5パック・ソリッド・ステート・ドライブ(SSD)を既存の基本構成に追加して、基本ストレージ・シェルフに完全に装着します。

システムにディスクを追加する前に、Oracle Database Applianceが最新の更新バージョンであることを確認してください。

ディスクをスロット10〜19に一度に1枚ずつ挿入します。

注意:
oakdへのディスク・イベントのフラッディングを避けるために、各ディスクの挿入間隔は少なくとも1分間としてください。

10枚のディスクがすべて追加されたら、ステップ2に進みます。
odaadmcli show ismasterコマンドを実行して、どのノードがマスターであるかを判別します。
```
# odaadmcli show ismaster
```

マスター・ノードでodaadmcli expand storageコマンドを実行します。

#odaadmcli expand storage 
Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'odaadmcli show disk' 
Waiting for expansion to finish ...

30秒間待ってから次のステップに進みます。

スレーブ・ノードでodaadmcli expand storageコマンドを実行します。

#odaadmcli expand storage 
Precheck passed. 
Successfully formatted 1.6TB SSD disks... 
Check the progress of expansion of storage by executing 'odaadmcli show disk' 
Waiting for expansion to finish ...

すべてのディスクを構成に追加するには、10〜12分かかります。

odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態になっていることを確認します。
```
# odaadmcli show disk
```

スロット10〜20のディスクがOracle Automatic Storage Management(Oracle ASM)に追加されていることを確認します。

asm_scriptを実行して、スロット10〜20のディスクがOracle Automatic Storage Management(Oracle ASM)に追加されていることを確認します。 10個のディスクが正常に追加された場合(キャッシュおよびメンバー)、ステップ7に進みます。
```
su grid user /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
```

ディスクがOracle ASMに追加されていない場合は、それらを手動で追加します。グリッド・ユーザーとして、マスター・ノードでsqlplus '/as sysasm'コマンドを実行して、ディスクをOracle ASMに追加します。

#sqlplus '/as sysasm'
....
SQL> alter diskgroup /*+ _OAK_AsmCookie */ data add disk 
'/dev/mapper/SSD_E0_S11_1399764284p1' name SSD_E0_S11_1399764284p1, 
'/dev/mapper/SSD_E0_S12_1399765076p1' name SSD_E0_S12_1399765076p1, 
'/dev/mapper/SSD_E0_S13_1399765116p1' name SSD_E0_S13_1399765116p1, 
'/dev/mapper/SSD_E0_S14_1399765484p1' name SSD_E0_S14_1399765484p1, 
'/dev/mapper/SSD_E0_S15_1399765404p1' name SSD_E0_S15_1399765404p1, 
'/dev/mapper/SSD_E0_S16_1399766160p1' name SSD_E0_S16_1399766160p1, 
'/dev/mapper/SSD_E0_S17_1399765264p1' name SSD_E0_S17_1399765264p1, 
'/dev/mapper/SSD_E0_S18_1399763588p1' name SSD_E0_S18_1399763588p1, 
'/dev/mapper/SSD_E0_S19_1399765504p1' name SSD_E0_S19_1399765504p1;  

SQL> alter diskgroup /*+ _OAK_AsmCookie */ reco add disk 
'/dev/mapper/SSD_E0_S11_1399764284p2' name SSD_E0_S11_1399764284p2, 
'/dev/mapper/SSD_E0_S12_1399765076p2' name SSD_E0_S12_1399765076p2, 
'/dev/mapper/SSD_E0_S13_1399765116p2' name SSD_E0_S13_1399765116p2, 
'/dev/mapper/SSD_E0_S14_1399765484p2' name SSD_E0_S14_1399765484p2, 
'/dev/mapper/SSD_E0_S15_1399765404p2' name SSD_E0_S15_1399765404p2, 
'/dev/mapper/SSD_E0_S16_1399766160p2' name SSD_E0_S16_1399766160p2, 
'/dev/mapper/SSD_E0_S17_1399765264p2' name SSD_E0_S17_1399765264p2, 
'/dev/mapper/SSD_E0_S18_1399763588p2' name SSD_E0_S18_1399763588p2, 
'/dev/mapper/SSD_E0_S19_1399765504p2' name SSD_E0_S19_1399765504p2;

ハード・ストレージ・エラーを表示するには、odaadmcli show validation storage errorsコマンドを使用します。
ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。

# odaadmcli show validation storage errors
ソフト検証エラーを表示するには、odaadmcli show validation storage failuresコマンドを使用します。
典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。

# odaadmcli show validation storage failures
oak_storage_conf.xmlファイルに両方のノードで24が表示されていることを確認します。
```
#cat /opt/oracle/oak/conf/oak_storage_conf.xml
```

親トピック: ストレージの管理

ストレージ拡張シェルフの追加

基本ストレージ・シェルフが完全に配置されたら、ストレージ拡張シェルフを追加してストレージ容量を拡張することができます。

注意:

データベースのアクティビティが比較的少ないときに、ストレージ拡張シェルフを追加することをお薦めします。システムが新しいストレージを検出すると、Oracle ASMは自動的にディスク・グループの再バランスを取ります。再バランス操作を行うと、操作が完了するまでパフォーマンスが低下する可能性があります。
X6-2-HA Oracle Database ApplianceへのX7-2ストレージ拡張シェルフのオフライン追加だけがサポートされています。

ストレージ拡張シェルフを取り付けてケーブルを接続しますが、拡張シェルフの電源は入れないでください。

注意:

ケーブル配線手順を注意深く見直して、正しくケーブル接続を行ったことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。
Oracle Database Applianceの新しいデプロイメントまたは再イメージの場合は、次のステップを順番に実行してください:
1. ベース・ストレージの電源を入れます。
2. ノード0の電源を入れます。
3. ノード1の電源を入れます。
注意:
拡張シェルフの電源をまだ投入しないでください。
両方のノードとベース・ストレージ・シェルフが稼働していることを確認します。各サーバー・ノードにログインし、 odaadmcli validateコマンドを実行して、基本構成の配線が正しいことを確認します。
```
 odaadmcli validate -c storagetopology
 ...
      INFO  : Check if JBOD powered on
 SUCCESS    : JBOD : Powered-on                                          
      INFO  : Check for correct number of EBODS(2 or 4)
 SUCCESS    : EBOD found : 2                                                                                                                                                                     INFO       : Check for overall status of cable validation on Node0
  SUCCESS   : Overall Cable Validation on Node0            
 SUCCESS    : JBOD Nickname set correctly : Oracle Database Appliance - E0
```
正しい結果は、2つのサーバー・ノードが基本ストレージ・シェルフに適切にケーブル接続され、すべてのディスクが良好なステータスでオンラインであり、両方のノードの既存のディスクグループに追加されているかどうかを確認します。障害が発生した場合は、次のステップに進む前にケーブルを修正してください。

注意:
出力にEBOD foundが2であることが示されている場合は、基本ストレージ・シェルフのみがあります。 EBOD foundが4の場合、基本ストレージ・シェルフとストレージ拡張シェルフがあります。
ストレージ拡張シェルフの電源を入れます。

各サーバー・ノードにログインし、odaadmcli validateコマンドを実行してストレージ・ケーブルを検証し、新しいストレージ・シェルフが認識されていることを確認します。

# odaadmcli validate -c storagetopology

  INFO    : Check if JBOD powered on
  SUCCESS : 2JBOD : Powered-on                                               
  INFO    : Check for correct number of EBODS(2 or 4)
  SUCCESS : EBOD found : 4                                                   
   ...
   ...

   INFO    : Check for overall status of cable validation on Node0
   SUCCESS : Overall Cable Validation on Node0            
   SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
   SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

両方のストレージ・シェルフが認識されていることを示す次のインジケータを探します:

2つのシェルフがある場合、JBOD(ディスクの束)に番号が付けられます。次に例を示します。
```
SUCCESS : 2JBOD : Powered-on
```
両方のシェルフが認識されると、EBOD foundの値は4になります。
```
SUCCESS : EBOD found : 4
```

拡張シェルフが適切にケーブル接続されている場合、ニックネームはE1です。次に例を示します。

        SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
        SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

続行する前にエラーを修正してください。

odaadmcli show diskコマンドを実行して、拡張シェルフのすべてのディスクがリストされ、オンラインであり、良好な状態になっていることを確認します。
```
# odaadmcli show disk
```
すべてのディスクがオンラインで状態が良好な場合は、次のステップに進みます。
odaadmcli show enclosureコマンドを実行して、拡張シェルフ内のコンポーネントのヘルスをチェックします。
```
# odaadmcli show enclosure
```
コマンドを使用して各ノードでoakdを再起動します。
```
odaadmcli restart oak
```
ノード0で odaadmcli show ismasterコマンドを実行して、マスターとスレーブの構成を確認します。
```
# odaadmcli show ismaster
```
ノード上でoakdを再起動して、マスターおよびスレーブの構成を変更できます。
両方のノードでoakdが再起動したら、両方のノードでコマンドodaadmcli show diskを実行します。
拡張ストレージ・シェルフのe1_pd_xxの24台のディスクは、両方のノードのコマンド出力に"UNKNOWN NewDiskInserted:のステータスで表示されます。次に例を示します。
```
e0_pd_23 /dev/sdab SSD ONLINE Good 
e1_pd_00 /dev/sdax SSD UNKNOWN 
NewDiskInserted
...
e1_pd_23 /dev/sdbu SSD UNKNOWN 
NewDiskInserted
```
最初にマスター・ノードでコマンドodaadmcli add jbod diskを実行し、次にスレーブ・ノードでコマンドを実行します。
```
# odaadmcli add jbod disk 
Sat Jun 30 01:04:08 UTC 2018 
Successfully formatted 1.6TB SSD disks...  
Check addition of JBOD status by executing 
odaadmcli ' show jbod progress'
```
コマンドが完了するのを待ちます。約10〜12分かかります。次に、拡張ストレージ・シェルフ・ディスクのステータスがONLINE GOODであることを確認します。はいの場合は、次のステップに進みます。
最初にマスター・ノードでコマンドodaadmcli add jbod asmを実行し、次にスレーブ・ノードでコマンドを実行します。

コマンドが完了するのを待ちます。約2〜3分かかります。その後、ASMの拡張ストレージ・シェルフ・ディスクのステータスがONLINE とCACHEDであることを確認します。

show jbod statusコマンドを実行して、Oracle ASMのディスク・グループとディスクのステータスを確認します。

# odaadmcli show jbod status
INFO: 2018-06-30 01:32:46: Present status of Expansion storage shelf
 Disk Added    Disk Not Added     Status     
OAKD     24              0            SUCCESS     
ASM     
DATA      20              0            SUCCESS     
RECO     20              0            SUCCESS    
 REDO      4              0            SUCCESS  
INFO: 2018-06-30 01:32:46: DiskGroup Mount Status  
GROUP_NUMBER NAME       STATE      TYPE         TOTAL_MB    FREE_MB            
1 DATA       MOUNTED    HIGH         39321600   37272260            
2 REDO       MOUNTED    HIGH          1525760    1383896            
3 RECO       MOUNTED    HIGH          6461440    5984272

ハード・ストレージ・エラーを表示するには、odaadmcli show validation storage errorsコマンドを使用します。
ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。

# odaadmcli show validation storage errors
ソフト検証エラーを表示するには、odaadmcli show validation storage failuresコマンドを使用します。
典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。

# odaadmcli show validation storage failures
odaadmcli show versionコマンドを実行して、ストレージ拡張内のすべてのファームウェア・コンポーネントが最新であることを確認します。
```
# odaadmcli show version -detail
```
必要に応じて、ストレージ・シェルフを更新してから、show versionコマンドを実行して、ファームウェアが最新であることを確認します。
```
# odaadmcli update
```
```
# odaadmcli show version -detail
```

親トピック: ストレージの管理