ストレージの管理

10 ストレージの管理

Oracle Database Applianceデプロイメントのストレージ・オプションと、ストレージの管理方法について説明します。

ストレージの管理について
Oracle Database Applianceのストレージ・オプションを理解します。
Oracle ASMディスクの管理について
Oracle Database ApplianceがサポートするOracle ASMディスク管理機能を理解します。
単一ノード・システムでのストレージの管理
Oracle Database Appliance X9-2SおよびX9-2Lシステムのストレージ・オプションを理解します。
高可用性システムでのストレージの管理
Oracle Database Appliance X9-2-HAシステムのストレージを理解します。

ストレージの管理について

Oracle Database Applianceのストレージ・オプションを理解します。

Oracle Database Applianceでは、RAWストレージを使用して、次の方法でデータを保護します。

高速リカバリ領域(FRA)のバックアップ。FRAは、REDOログ、制御ファイル、アーカイブ・ログ、バックアップ・ピースとコピーおよびフラッシュバック・ログを含むストレージ領域(ディスクまたはOracle ASMディスクグループのディレクトリ)です。
ミラーリング。双方向ミラーリングまたは3方向ミラーリングで、機械的な問題に対する保護が提供されます。

使用可能なストレージの量は、FRAバックアップの場所(外部または内部)と、双方向ミラーリングが使用されるか、3方向ミラーリングが使用されるかによって決定します。オンライン・バックアップ、データ・ステージングまたは追加のデータベース・ファイルのために、外部NFSストレージがサポートされています。

Oracle Database Appliance X9-2LおよびX9-2-HAモデルでは、基本構成にストレージ拡張オプションが用意されています。また、Oracle Database Appliance X9-2-HAマルチノード・プラットフォームでは、オプションのストレージ拡張シェルフを追加できます。

FLASHの冗長性レベルは、DATAおよびRECOの選択に基づきます。高冗長性(3方向ミラーリング)を選択した場合、FLASHも高冗長性になります。

親トピック: ストレージの管理

Oracle ASMディスクの管理について

Oracle Database ApplianceがサポートするOracle ASMディスク管理機能を理解します。

Oracle Database Applianceでは、Oracle ASMディスクを管理できます。

Oracle ASMディスク・グループの自動オンライン化

Oracle Database Applianceは、ディスク・グループ内のOracle ASMディスクのステータスを定期的にチェックします。一時的なディスク・エラーによっていずれかのOracle ASMディスクがオフラインになると、Oracle Database Applianceによってそのディスクのオンライン化が試行されます。

Oracle ASMディスク・グループの再バランス操作の最適化

Oracle Database Applianceでは、システムとディスクに同時に負荷がかかりすぎることなく、Oracle ASMディスクの再バランスが可能なかぎり迅速に完了するようになります。これにより、適切な冗長性で、システムが安定した状態で動作するようになります。再バランス操作の値にはデフォルトのしきい値があり、カスタムのしきい値を設定することもできます。たとえば:

odacli modify-agentconfig-parameters -n ASMRM_CPU_RQ -v 50 -d "CPU RUN QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_HDD_DISK_RQ -v 2 -d "HDD DISK QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_SSD_DISK_RQ -v 32 -d "SSD DISK QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_NVME_DISK_RQ -v 50 -d "NVME DISK QUEUE THRESHOLD" -u

前述のコマンド・オプションで、Oracle ASMディスクの再バランスを監視するためのカスタムのしきい値制限が設定されます。

再バランス操作は、odacli describe-schedule -i Schedule IDおよびodacli list-scheduled-executionsのコマンドを使用して監視できます。

親トピック: ストレージの管理

単一ノード・システムでのストレージの管理

Oracle Database Appliance X9-2SおよびX9-2Lシステムのストレージ・オプションを理解します。

Oracle Database Appliance X9-2SおよびX9-2Lのストレージについて
Oracle Database Appliance単一ノード・システムのストレージを理解します。
NVMeストレージ・ディスクの追加
使用可能なドライブに応じて、Oracle Database Appliance X9-2ストレージを拡張してNVMeディスクを追加するか、既存のNVMeディスクを交換できます。
NVMeストレージ・ディスクの交換
Oracle Database Appliance上の既存のNVMeディスクを交換する方法を理解します。

親トピック: ストレージの管理

Oracle Database Appliance X9-2SおよびX9-2Lのストレージについて

Oracle Database Appliance単一ノード・システムのストレージを理解します。

Oracle Database Appliance X9-2Sには、DATAおよびRECOディスク・グループをホストする2つの6.8TB NVMeディスクがあります。Oracle ASMストレージ情報のためのパーティションが2つ(DATAとRECOに1つずつ)あります。ストレージ容量は固定されており、拡張できません。

Oracle Database Appliance X9-2Lには、DATAおよびRECOディスク・グループをホストする2つの6.8TB NVMeディスクがあります。Oracle ASMストレージ情報のためのパーティションが2つ(DATAとRECOに1つずつ)あります。このリリースでX9-2Lを初めてデプロイおよび構成する場合、NVMeドライブの2個パックの倍数(2個、4個、6個、8個、10個など、12個までのディスク)で、ストレージをX9-2Lに設定できます。

この表では、単一ノード・システムの拡張メモリーとストレージ・オプションを含むNVMeストレージ構成について説明します。

表10-1 Oracle Database Appliance X9-2SおよびX9-2Lのストレージ・オプション

構成	Oracle Database Appliance X9-2S	Oracle Database Appliance X9-2L
基本構成	2台の6.8 TB NVMe = 13.6 TB NVMe	2台の6.8 TB NVMe = 13.6 TB NVMe
ストレージ追加オプション	なし	10台の6.8 TB NVMeストレージ・ドライブ(合計81.6 TBのNVMeのストレージ)。 7603394 (Oracle Database Appliance X9-2L用のcoral-dブラケット付きの6.8 TBの2.5インチNVMe PCIe 4.0 SSDの2個パック)を1つ注文します 6.8 TBのNVMeディスクの2個パック(最大で12個のディスク)。

構成

Oracle Database Appliance X9-2S

Oracle Database Appliance X9-2L

基本構成

2台の6.8 TB NVMe = 13.6 TB NVMe

ストレージ追加オプション

なし

10台の6.8 TB NVMeストレージ・ドライブ(合計81.6 TBのNVMeのストレージ)。

7603394 (Oracle Database Appliance X9-2L用のcoral-dブラケット付きの6.8 TBの2.5インチNVMe PCIe 4.0 SSDの2個パック)を1つ注文します

6.8 TBのNVMeディスクの2個パック(最大で12個のディスク)。

親トピック: 単一ノード・システムでのストレージの管理

NVMeストレージ・ディスクの追加

使用可能なドライブに応じて、Oracle Database Appliance X9-2ストレージを拡張してNVMeディスクを追加するか、既存のNVMeディスクを交換できます。

ODAADMCLIコマンドを使用して、ストレージ診断の実行やストレージ・コンポーネントの診断ロジックの収集など、アプライアンス・ストレージのメンテナンス・タスクを実行します。

ストレージのアップグレードの準備

既存のストレージ・ディスクのディスクの状態を確認します。
```
# odaadmcli show disk
```
odaadmcli show diskコマンドおよびasmcmd lsdsk -pコマンドを実行して、OAKDおよびOracle Automatic Storage Management (Oracle ASM)のストレージ・ディスク情報を表示および確認します。
```
# odaadmcli show disk
```
```
# asmcmd lsdsk -p
```
ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

NVMeストレージ・ディスクの追加

Oracle Database Appliance X9-2SまたはX9-2Lのデフォルト構成には2台のNVMeディスクが含まれます。Oracle Database Appliance X9-2Sのストレージは拡張できません。

Oracle Database Appliance X9-2Lでは、2個、4個、6個、8個および10個のディスク(最大で12個のディスク)を追加して、ストレージを拡張できます。ストレージを拡張する場合、奇数のNVMeドライブを追加することはサポートされていません。

警告:

電源をオフにする前にドライブを引き出すと、カーネルがクラッシュし、データ破損が発生する可能性があります。LEDがオレンジ色または緑色の場合は、ドライブを引き出さないでください。 NVMeドライブを交換する必要がある場合は、ドライブをスロットから引き出す前に、ソフトウェアを使用して電源をオフにしてください。交換するディスクが複数ある場合は、1台目のディスクの交換を完了してから次のディスクの交換を開始してください。

NVMeストレージ・ディスクを追加するには、次のすべてのステップに従います:

NVMeディスクを追加する前に、現在のディスクがoakdおよびOracle ASMでオンラインになるようにします。そうしないと、事前チェックが不合格になります。たとえば、スロット2および3への2ディスク拡張では、スロット0および1のディスクがOracle ASMおよびoakdでオンラインになっている必要があります。スロット0から5に装着される場合のスロット2から5への4ディスク拡張では、スロット0から1のすべてのディスクがオンラインになっている必要があります。スロット2から11への10ディスク拡張では、スロット0から1のすべてのディスクがオンラインになっている必要があります。
各ディスクを適切なスロットに1つずつ挿入し、ディスクの電源がオンになるまで待ちます。
ディスクをスロットに挿入すると、ディスクの電源が自動的にオンになります。1分待ってから、ディスクのステータスを確認します。ディスクがオンの状態の場合は、手動でディスクの電源をオンにする必要はありません。ディスクのステータスで、ディスクの状態がオフになっている場合は、手動でディスクの電源をオンにして、再度ステータスを確認します。
```
# odaadmcli power disk status slot_number
```
```
# odaadmcli power disk on slot_number
```
たとえば、2台のNVMeディスクを追加するには、スロット2および3にディスクを挿入します。
```
# odaadmcli power disk status pd_02
# odaadmcli power disk on pd_02

# odaadmcli power disk status pd_03
# odaadmcli power disk on pd_03
```
追加するディスクごとにステップ2および3を繰り返します。
odaadmcli expand storageコマンドを実行して、新しいストレージ・ディスクを追加します。ノート: ストレージ・ディスクを追加するには、このステップを実行する必要があります。そうしないと、新しく追加されたディスクがOAKDに表示されないため、odaadmcli show diskコマンドまたはodaadmcli show storageコマンドを実行しても表示されません。odaadmcli expand storageコマンドが正常に実行されると、新しく追加されたディスクがOAKDによって認識されます。
```
# odaadmcli expand storage -ndisk number_of_disks
```
たとえば、2台のNVMeドライブを追加するには、次のコマンドを実行します。
```
#odaadmcli expand storage -ndisk 2
Running precheck, it may take a few minutes.
Precheck passed.
Check the progress of expansion of storage by executing 'odaadmcli show disk'
Waiting for expansion to finish. It may take several minutes to complete
depending upon the number of disks being expanded
```
odaadmcli show diskコマンドを使用して、OAKDの新しいディスクのステータスを確認します。ディスクのステータスは、OAKDでOnlineおよびGoodである必要があります。asmcmd lsdsk -pコマンドを使用して、Oracle ASMの新しいディスクのステータスを確認します。ディスクはCACHED MEMBER ONLINE NORMAL状態である必要があります。
```
# odaadmcli show disk
```
```
# asmcmd lsdsk -p
```

親トピック: 単一ノード・システムでのストレージの管理

NVMeストレージ・ディスクの交換

Oracle Database Appliance上の既存のNVMeディスクを交換する方法を理解します。

ストレージのアップグレードの準備

ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新します。
```
# odacli describe-component 
```
既存のストレージ・ディスクのディスクの状態を確認します。
```
# odaadmcli show disk
```
odaadmcli show diskコマンドおよびasmcmd lsdsk -pコマンドを実行して、OAKDおよびOracle Automatic Storage Management (Oracle ASM)のストレージ・ディスク情報を表示および確認します。
```
# odaadmcli show disk
```
```
# asmcmd lsdsk -p
```
ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

NVMeストレージ・ディスクの交換

NVMeストレージ・ディスクを交換するには、次のすべてのステップに従います:

警告:

NVMeディスクをスロットから取り外す前に電源をオフにします。
OAKDがディスクの取外し操作を完了するまで1分待ちます。
新しいディスクをスロットに挿入します。
OAKDがOracle ASMおよびOAKにディスクを追加する操作を完了するまで、各ディスクを挿入してから少なくとも2-3分待ちます。
odaadmcli show diskコマンドを使用して、OAKDの新しいディスクのステータスを確認します。ディスクのステータスは、OAKDでOnlineおよびGoodである必要があります。asmcmd lsdsk -pコマンドを使用して、Oracle ASMの新しいディスクのステータスを確認します。ディスクはCACHED MEMBER ONLINE NORMAL状態である必要があります。
```
# odaadmcli show disk
```
```
# asmcmd lsdsk -p
```

親トピック: 単一ノード・システムでのストレージの管理

高可用性システムでのストレージの管理

Oracle Database Appliance X9-2-HAシステムのストレージを理解します。

Oracle Database Appliance X9-2-HAのストレージ・オプションについて
Oracle Database Appliance高可用性システムには、高パフォーマンスおよび大容量のストレージ構成のためのオプションがあります。
データ・ストレージ用のソリッド・ステート・ドライブ(SSD)の追加
データ・ストレージ用のソリッド・ステート・ドライブ(SSD)のパックを既存のOracle Database Appliance X9-2-HAの基本構成に追加して、ベース・ストレージ・シェルフを完全に埋めるようにします。
ストレージ拡張シェルフの追加
ベース・ストレージ・シェルフが完全に埋められたら、ストレージ拡張シェルフを追加して、マルチノード・プラットフォームのデータ・ストレージを拡張できます。

親トピック: ストレージの管理

Oracle Database Appliance X9-2-HAのストレージ・オプションについて

Oracle Database Applianceの高可用性システムには、高パフォーマンスおよび大容量のストレージ構成のためのオプションがあります。

Oracle Database Appliance X9-2-HAハードウェア・モデルの基本構成には、7.68 TBのSSD RAWストレージ・ドライブを備えた6つのスロット(スロット0-5)があります。最大限のストレージ容量を注文してデプロイする場合は、残りの18個のスロット(スロット6-23)にSSDドライブまたはHDDドライブを装着できます。さらにストレージを拡張するために、ストレージ拡張シェルフを追加してアプライアンスのストレージ容量を2倍にできます。

すべての構成で、ベースストレージとストレージ拡張シェルフにはそれぞれ、SSDオプションでのDATA/RECO用、またはHDDオプションでのFLASH用に6台のSSDがあります。

Oracle Database Appliance X9-2-HAでは、REDOディスク・グループ専用のSSDドライブは割り当てられません。かわりに、必要に応じて、SSDドライブでREDOログ用の領域が割り当てられます。

Oracle ASMストレージの場合、REDOログは、選択したデータベース・シェイプに基づいて、データベース作成時に使用可能なディスク・グループ領域に格納されます。Oracle ACFSストレージの場合、REDOログ用の領域が、データベース・ストレージの作成時に最小データベース・シェイプ(odb1s)を想定して割り当てられます。データベースなしでデータベース・ストレージを作成する場合、REDOログ用に割り当てられる領域は、最小データベース・シェイプ(odb1s)を想定して、4 GBです。その後、既存のデータベース・ストレージで必要なデータベース・シェイプを使用してデータベースを作成すると、REDOログ領域がデータベースのシェイプに基づいて拡張されます。

SSDドライブのみを使用するOracle Database Appliance X9-2-HA高パフォーマンス構成では、DATAおよびRECOディスク・グループは、6、12、18、24または48 (ストレージ拡張シェルフを使用)のいずれであっても、すべてのSSDドライブを使用します。REDOログはRECOディスク・グループに格納されます。

Oracle Database Appliance X9-2-HA大容量構成(HDDドライブとSSDドライブの両方を使用)では、DATAおよびRECOディスク・グループはHDDドライブを使用し、SSDドライブでFLASHディスク・グループが格納されます。REDOログはFLASHディスク・グループに格納されます。

高パフォーマンス構成と大容量構成の両方で、REDOログは、以前のOracle Database Applianceハードウェア・モデルと同様に、常にSSDドライブに作成されます。REDOログは、RECOまたはFLASHのいずれであっても、ディスク・グループの冗長性レベルに関係なく、常に高冗長性で作成されます。

高パフォーマンス

高パフォーマンス構成では、DATAおよびRECOストレージにソリッド・ステート・ドライブ(SSD)が使用されます。基本構成には6台のディスクがあり、それぞれにDATAおよびRECO用の7.68 TBのSSD RAWストレージがあります。

基本構成で、SSDの6個パックを最大で3つ追加して、合計184.32 TBのSSD RAWストレージにできます。さらにストレージが必要な場合は、SSDドライブの拡張シェルフを追加することで容量を2倍にできます。拡張シェルフで、それぞれにDATAおよびRECO用の7.68TBのRAWストレージがある追加の24台のSSDが提供されるため、合計で184.32 TBのSSD RAWストレージが追加されます。

拡張シェルフを追加するには、ベース・ストレージ・シェルフと拡張シェルフが、SSDドライブで完全に埋められている必要があります。ストレージを拡張する場合、停止時間は発生しません。

高パフォーマンス用に完全に構成されたシステムには、DATAおよびRECO用の368.64 TBのSSD RAWストレージがあります。

大容量

大容量構成では、SSDドライブとHDDドライブの組合せが使用されます。

基本構成には6台のディスクがあり、それぞれにFLASH用の7.68 TBのSSD RAWストレージがあります。

次の拡張オプションがあります。

ベース・シェルフ: DATAおよびRECO用の追加の324 TBのHDD RAWストレージ(それぞれ18 TBのストレージを持つ18台のHDD)
拡張ストレージ・シェルフ: 追加のシェルフ・ストレージ構成は、ベース・シェルフのストレージ構成と同じである必要があります。

大容量用に完全に構成されたシステムには、DATA、RECOおよびFLASH用の合計740.16 TBのRAWストレージ(92.16 TBのSSDと648 TBのHDD)があります。

表10-2 Oracle Database Appliance X9-2-HAのストレージ・オプション

構成	高パフォーマンスのためのOracle Database Appliance X9-2-HAのSSDのみの構成	大容量のためのOracle Database Appliance X9-2-HAのSSDとHDDの構成
基本構成	ベース・ストレージ・シェルフには、7.68 TBのSSDが6台含まれています。 6台の7.68 TBのSSD = 46 TBのSSD	ベース・ストレージ・シェルフは、7.68 TBのSSDの6個パックと18個の18 TBのHDDドライブで完全に埋められています。 6台の7.68 TBのSSD = 46 TBのSSD 18台の18TBのHDD = 324 TBのHDD 最初のJBODの合計ストレージ = 370 TB (46 TBのSSDと324 TBのHDD)
ストレージ追加オプション	ベース・シェルフには6台のSSDが含まれています。追加の18台のSSDは、6個パックで追加する必要があります。ベース・システム: 6台の7.68 TBのSSD = 46 TBのSSD 6台のSSDを追加: 12台の7.68 TBのSSD = 92 TBのSSD 12台のSSDを追加: 18台の7.68 TBのSSD = 138 TBのSSD 18台のSSDを追加: 24台の7.68 TBのSSD = 184 TBのSSD (完全に埋められたシェルフ)	該当なし。ベース・ストレージ・シェルフは完全に埋められています。
ストレージ・シェルフの拡張オプション	オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。ベース・ストレージ・シェルフの合計ストレージ = 184 TBのSSD 拡張シェルフのストレージ = 24台の7.68 TBのSSD = 184 TBのSSD 両方のJBODを含む合計ストレージ = 368.6 TBのSSD	オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。ベース・ストレージ・シェルフの合計ストレージ = 370 TB (46 TBのSSDと324 TBのHDD) 両方のJBODを含む合計ストレージ = 740 TB (92 TBのSSDと648 TBのHDD)

構成

高パフォーマンスのためのOracle Database Appliance X9-2-HAのSSDのみの構成

大容量のためのOracle Database Appliance X9-2-HAのSSDとHDDの構成

基本構成

ベース・ストレージ・シェルフには、7.68 TBのSSDが6台含まれています。

6台の7.68 TBのSSD = 46 TBのSSD

ベース・ストレージ・シェルフは、7.68 TBのSSDの6個パックと18個の18 TBのHDDドライブで完全に埋められています。

6台の7.68 TBのSSD = 46 TBのSSD
18台の18TBのHDD = 324 TBのHDD
最初のJBODの合計ストレージ = 370 TB (46 TBのSSDと324 TBのHDD)

ストレージ追加オプション

ベース・シェルフには6台のSSDが含まれています。追加の18台のSSDは、6個パックで追加する必要があります。

ベース・システム: 6台の7.68 TBのSSD = 46 TBのSSD
6台のSSDを追加: 12台の7.68 TBのSSD = 92 TBのSSD
12台のSSDを追加: 18台の7.68 TBのSSD = 138 TBのSSD
18台のSSDを追加: 24台の7.68 TBのSSD = 184 TBのSSD (完全に埋められたシェルフ)

該当なし。ベース・ストレージ・シェルフは完全に埋められています。

ストレージ・シェルフの拡張オプション

オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。
ベース・ストレージ・シェルフの合計ストレージ = 184 TBのSSD
拡張シェルフのストレージ = 24台の7.68 TBのSSD = 184 TBのSSD
両方のJBODを含む合計ストレージ = 368.6 TBのSSD

オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。
ベース・ストレージ・シェルフの合計ストレージ = 370 TB (46 TBのSSDと324 TBのHDD)
両方のJBODを含む合計ストレージ = 740 TB (92 TBのSSDと648 TBのHDD)

親トピック: 高可用性システムでのストレージの管理

データ・ストレージ用のソリッド・ステート・ドライブ(SSD)の追加

データ・ストレージ用のソリッド・ステート・ドライブ(SSD)のパックを既存のOracle Database Appliance X9-2-HAの基本構成に追加して、ベース・ストレージ・シェルフを完全に埋めるようにします。

ストレージを基本構成に追加する必要がある場合は、SSDの6個パックを1つ、2つまたは3つ注文して、Oracle Database Appliance X9-2-HAの基本構成を完全なものにできます。

拡張シェルフをOracle Database Appliance X9-2-HAに追加する前に、基本構成を完全に埋める必要があります。拡張シェルフを追加する場合は、そのシェルフに基本構成と同じディスク・ストレージ構成が必要です。

ノート:

高パフォーマンス構成では、ベース・ストレージ・シェルフにSSDを追加したり、ストレージ拡張シェルフを追加できます。6台のSSDがある大容量の基本構成の場合、HDDを使用するようにストレージを拡張する場合は、アプライアンスを再イメージ化してデプロイする必要があります。

ディスクをシステムに追加する前に、Oracle Database Applianceを最新リリースにしてください。

スロットにディスクを1つずつ挿入します。

SSDの6個パックを1つ追加するには、スロット6から11にディスクを挿入します。SSDの6個パックを2つ追加するには、スロット6から17にディスクを挿入します。SSDの6個パックを3つ追加するには、スロット6から23にディスクを挿入します。

ノート:
ディスクを挿入してから次のディスクを挿入するまでに、少なくとも1分待ちます。

すべてのディスクを追加したら、ステップ2に進みます。

任意のノードでodaadmcli expand storageコマンドを実行します。

# odaadmcli expand storage -ndisk number_of_disks_to_be_added -enclosure enclosure_number_of_the_disks_to_be_added

最初のJBODにストレージ・ディスクを追加するときのエンクロージャ番号は0です。

たとえば:


# odaadmcli expand storage -ndisk 6 -enclosure 0
Running precheck, it may take a few minutes.
Precheck passed.
Check the progress of expansion of storage by running 'odaadmcli show disk'
Waiting for expansion to finish. It may take several minutes to complete
depending upon the number of disks being expanded.
 
odaadmcli expand storage command completed.
Check status of newly expanded disk in OAK by running 'odaadmcli show disk'
All of them must be ONLINE status. Check status of newly expanded disk in ASM
by running 'asmcmd lsdsk -p', mount status must be CACHED and header status
should be MEMBER for all the newly added disks. If the status of newly added
disks in OAK and ASM are different then expand storage command failed.

すべてのディスクを構成に追加するには、10から12分かかります。

odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
```
# odaadmcli show disk
```

スロット6から11のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。

asm_scriptを実行して、スロット6から11のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。6つのディスクが正常に追加されている場合(CACHEDおよびMEMBER)、ステップ7に進みます。

# su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6

たとえば:

# su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6 | grep CACHED
.......
/dev/mapper/SSD_E0_S06_1399645200p1 SSD_E0_S06_1399645200P1 1 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S06_1399645200p2 SSD_E0_S06_1399645200P2 3 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S07_1399646692p1 SSD_E0_S07_1399646692P1 1 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S07_1399646692p2 SSD_E0_S07_1399646692P2 3 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S08_1399649840p1 SSD_E0_S08_1399649840P1 1 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S08_1399649840p2 SSD_E0_S08_1399649840P2 3 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S09_1399649424p1 SSD_E0_S09_1399649424P1 1 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S09_1399649424p2 SSD_E0_S09_1399649424P2 3 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S10_1399649846p1 SSD_E0_S10_1399649846P1 1 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S10_1399649846p2 SSD_E0_S10_1399649846P2 3 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S11_1399649428p1 SSD_E0_S11_1399649428P1 1 NORMAL ONLINE CACHED MEMBER
/dev/mapper/SSD_E0_S11_1399649428p2 SSD_E0_S11_1399649428P2 3 NORMAL ONLINE CACHED MEMBER

ディスクがOracle ASMに追加されていない場合は、手動で追加します。gridユーザーとして、最初のノードでsqlplus '/as sysasm'コマンドを実行して、ディスクをOracle ASMに追加します。

Oracle Automatic Storage Managementフィルタ・ドライバ(Oracle ASMフィルタ・ドライバ)が構成されていないシステムでは、次のようにOracle ASMディスクを追加します。


SQL> alter diskgroup /*+ _OAK_AsmCookie */ data add disk 
'/dev/mapper/SSD_E0_S06_1399765076p1' name SSD_E0_S06_1399765076p1,
'/dev/mapper/SSD_E0_S07_1399765116p1' name SSD_E0_S07_1399765116p1,
'/dev/mapper/SSD_E0_S08_1399765484p1' name SSD_E0_S08_1399765484p1,
'/dev/mapper/SSD_E0_S09_1399765504p1' name SSD_E0_S09_1399765504p1,
'/dev/mapper/SSD_E0_S10_1399765506p1' name SSD_E0_S10_1399765506p1,
'/dev/mapper/SSD_E0_S11_1399765508p1' name SSD_E0_S11_1399765508p1;

SQL> alter diskgroup /*+ _OAK_AsmCookie */ reco add disk 
'/dev/mapper/SSD_E0_S06_1399765076p2' name SSD_E0_S06_1399765076p2,
'/dev/mapper/SSD_E0_S07_1399765116p2' name SSD_E0_S07_1399765116p2,
'/dev/mapper/SSD_E0_S08_1399765484p2' name SSD_E0_S08_1399765484p2,
'/dev/mapper/SSD_E0_S09_1399765504p2' name SSD_E0_S09_1399765504p2,
'/dev/mapper/SSD_E0_S10_1399765506p2' name SSD_E0_S10_1399765506p2,
'/dev/mapper/SSD_E0_S11_1399765508p2' name SSD_E0_S11_1399765508p2;

Oracle Automatic Storage Managementフィルタ・ドライバ(Oracle ASMフィルタ・ドライバ)が構成されているシステムでは、次のようにOracle ASMディスクを追加します。

SQL> alter diskgroup /*+ _OAK_AsmCookie */ data add disk 
'AFD:SSD_E0_S06_1399765076P1' name SSD_E0_S06_1399765076p1,
'AFD:SSD_E0_S07_1399765116P1' name SSD_E0_S07_1399765116p1,
'AFD:SSD_E0_S08_1399765484P1' name SSD_E0_S08_1399765484p1,
'AFD:SSD_E0_S09_1399765504P1' name SSD_E0_S09_1399765504p1,
'AFD:SSD_E0_S10_1399765506P1' name SSD_E0_S10_1399765506p1,
'AFD:SSD_E0_S11_1399765508P1' name SSD_E0_S11_1399765508p1;

SQL> alter diskgroup /*+ _OAK_AsmCookie */ reco add disk 
'AFD:SSD_E0_S06_1399765076P2' name SSD_E0_S06_1399765076p2,
'AFD:SSD_E0_S07_1399765116P2' name SSD_E0_S07_1399765116p2,
'AFD:SSD_E0_S08_1399765484P2' name SSD_E0_S08_1399765484p2,
'AFD:SSD_E0_S09_1399765504P2' name SSD_E0_S09_1399765504p2,
'AFD:SSD_E0_S10_1399765506P2' name SSD_E0_S10_1399765506p2,
'AFD:SSD_E0_S11_1399765508P2' name SSD_E0_S11_1399765508p2;

odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。

# odaadmcli show validation storage errors
odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。

# odaadmcli show validation storage failures

両方のノードに追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、基本構成に6台のディスクを追加した場合は、numberOfDisksオプションで12と表示されている必要があります。基本構成に12台のディスクを追加した場合は、numberOfDisksオプションで18と表示されている必要があります。

#cat /opt/oracle/oak/conf/oak_storage_conf.xml
<!--
This file is created by the ODA software as part of system provisioning
based on system provisioning requests. Values of element nodes can be
changed by OAK in response to storage configuration change operation.
DO NOT EDIT THIS FILE.
-->
<CometConfiguration>
  <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
    <!-- Number of disks part of OAK -->
    <numberOfDisks>12</numberOfDisks>
    <!-- Number of partitions per disk part of DATA diskgroup in single partition scheme -->
    <!-- All ASM diskgroups in single partition scheme will have same number of partition -->
    <numOfDataDiskPartitionInAsm>1</numOfDataDiskPartitionInAsm>
  </OakStorageConfigInfo>
</CometConfiguration>

親トピック: 高可用性システムでのストレージの管理

ストレージ拡張シェルフの追加

ベース・ストレージ・シェルフが完全に埋められたら、ストレージ拡張シェルフを追加して、マルチノード・プラットフォームのデータ・ストレージを拡張できます。

拡張シェルフは、Oracle Database Appliance X9-2-HAなどのOracle Database Applianceマルチノード・プラットフォームで使用できます。ストレージ拡張シェルフの追加には、両方のノードを対象としたチェックが含まれます。SSHがノード全体で機能し、すべてのユーザーが共有パスワードを使用して期待どおりに接続できることを確認することが重要です。

拡張シェルフを追加する前に、基本構成を完全に埋める必要があります。拡張シェルフを追加する場合は、そのシェルフにベース・ストレージ・シェルフと同じディスク・ストレージ構成が必要です。

ノート:

データベースのアクティビティが比較的少ないときに、ストレージ拡張シェルフを追加することをお薦めします。システムが新しいストレージを検出すると、Oracle Automatic Storage Management (Oracle ASM)によって自動的にディスク・グループがリバランスされます。再バランス操作を行うと、操作が完了するまでパフォーマンスが低下する可能性があります。

ストレージ拡張シェルフを取り付けて配線しますが、拡張シェルフの電源はオンにしません。

注意:

慎重に配線手順を参照して、ケーブル接続が正しく行われたことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。
両方のノードとベース・ストレージ・シェルフが稼働していることを確認します。各サーバー・ノードにログインし、odacli validate-storagetopologyコマンドを実行して、基本構成のケーブル接続が正しいことを確認します。
```
# odacli validate-storagetopology
 ...
      INFO  : Check if JBOD powered on
  SUCCESS   : JBOD : Powered-on                                          
      INFO  : Check for correct number of EBODS(2 or 4)
  SUCCESS   : EBOD found : 2                                                                                                                                                                     INFO       : Check for overall status of cable validation on Node0
  SUCCESS   : Overall Cable Validation on Node0            
  SUCCESS   : JBOD Nickname set correctly : Oracle Database Appliance - E0
```
コマンドを実行して、2つのサーバー・ノードがベース・ストレージ・シェルフに正しく配線されていて、すべてのディスクがオンラインであり、適切なステータスであり、両方のノードの既存のディスク・グループに追加されていることを確認します。障害が発生する場合は、次のステップに進む前にケーブル接続を修正します。

ノート:
出力でEBOD foundが2であることが示されている場合は、ベース・ストレージ・シェルフのみが存在します。EBOD foundが4の場合、ベース・ストレージ・シェルフと拡張シェルフがあります。
ノート:
工場からの新しいJBODフレッシュを追加した場合、odacli validate-storagetopologyコマンドの出力は次のようになります。
```
# odacli validate-storagetopology
 ...
WARNING : JBOD Nickname is incorrectly set to :
```
ストレージ拡張シェルフの電源をオンにして、20分間待機してから、ストレージ拡張用のCLIコマンドを発行します。

各サーバー・ノードにログインし、odacli validate-storagetopologyコマンドを実行してストレージのケーブル接続を検証し、新しいストレージ・シェルフが認識されていることを確認します。


# odacli validate-storagetopology

  INFO    : Check if JBOD powered on
  SUCCESS : 2JBOD : Powered-on                                               
  INFO    : Check for correct number of EBODS(2 or 4)
  SUCCESS : EBOD found : 4                                                   
   ...
   ...

   INFO    : Check for overall status of cable validation on Node0
   SUCCESS : Overall Cable Validation on Node0            
   SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
   SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

工場からの新しいJBODフレッシュを追加した場合、odacli validate-storagetopologyコマンドの出力は次のようになります。

# odacli validate-storagetopology
 ...
WARNING : JBOD Nickname is incorrectly set to :

両方のストレージ・シェルフが認識されていることを示す次のインジケータを探します。

シェルフが2台ある場合は、JBOD (単純ディスク束)に番号が付けられます。たとえば:
```
SUCCESS : 2JBOD : Powered-on
```
両方のシェルフが認識された場合、EBOD foundの値は4です。
```
SUCCESS : EBOD found : 4
```

拡張シェルフが正しく配線されている場合、ニックネームはE1です。たとえば:

        SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
        SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1

次に進む前にエラーを修正します。

odaadmcli show diskコマンドを実行して、拡張シェルフのすべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
```
# odaadmcli show disk
```
すべてのディスクがオンラインで良好な状態の場合は、次のステップに進みます。
odaadmcli show enclosureコマンドを実行して、拡張シェルフのコンポーネントの状態を確認します。
```
# odaadmcli show enclosure
```

odaadmcli expand storageコマンドを実行します。

# odaadmcli expand storage -ndisk 24 -enclosure 1 

Running precheck, it may take a few minutes.
Precheck passed.
Check the progress of expansion of storage by running 'odaadmcli show disk'
Waiting for expansion to finish. It may take several minutes to complete
depending upon the number of disks being expanded
 
odaadmcli expand storage command completed.
Check status of newly expanded disk in OAK by running 'odaadmcli show disk'
All of them must be ONLINE status. Check status of newly expanded disk in ASM
by running 'asmcmd lsdsk -p', mount status must be CACHED and header status
should be MEMBER for all the newly added disks. If the status of newly added
disks in OAK and ASM are different then expand storage command failed.

すべてのディスクを構成に追加するには、30から40分ほどかかります。

odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
```
# odaadmcli show validation storage errors
```
odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
```
# odaadmcli show validation storage failures
```
odacli describe-componentコマンドを実行して、ストレージ拡張のすべてのファームウェア・コンポーネントが最新であることを確認します。
```
# odacli describe-component
```
必要に応じて、ストレージ・シェルフを更新し、odacli describe-componentコマンドを実行してファームウェアが最新であることを確認します。
```
# odacli update
# odacli describe-component
```

親トピック: 高可用性システムでのストレージの管理