1. X10デプロイメントおよびユーザー・ガイド
  2. ストレージの管理

10 ストレージの管理

Oracle Database Applianceデプロイメントのストレージ・オプションと、ストレージの管理方法について説明します。

ストレージの管理について

Oracle Database Applianceのストレージ・オプションを理解します。

Oracle Database Applianceでは、RAWストレージを使用して、次の方法でデータを保護します。

  • 高速リカバリ領域(FRA)のバックアップ。FRAは、REDOログ、制御ファイル、アーカイブ・ログ、バックアップ・ピースとコピーおよびフラッシュバック・ログを含むストレージ領域(ディスクまたはOracle ASMディスクグループのディレクトリ)です。

  • ミラーリング。双方向ミラーリングまたは3方向ミラーリングで、機械的な問題に対する保護が提供されます。

使用可能なストレージの量は、FRAバックアップの場所(外部または内部)と、双方向ミラーリングが使用されるか、3方向ミラーリングが使用されるかによって決定します。オンライン・バックアップ、データ・ステージングまたは追加のデータベース・ファイルのために、外部NFSストレージがサポートされています。

Oracle Database Appliance X10-LおよびX10-HAモデルでは、基本構成にストレージ拡張オプションが用意されています。また、Oracle Database Appliance X10-HAマルチノード・プラットフォームでは、オプションのストレージ拡張シェルフを追加できます。

FLASHの冗長性レベルは、DATAおよびRECOの選択に基づきます。高冗長性(3方向ミラーリング)を選択した場合、FLASHも高冗長性になります。

ノート:

このリリースのOracle Database Applianceでは、X10のストレージは初期デプロイメント時にのみ拡張でき、後では拡張できません。

親トピック: ストレージの管理

Oracle ASMディスクの管理について

Oracle Database ApplianceがサポートするOracle ASMディスク管理機能を理解します。

Oracle Database Applianceでは、Oracle ASMディスクを管理できます。

Oracle ASMディスク・グループの自動オンライン化

Oracle Database Applianceは、ディスク・グループ内のOracle ASMディスクのステータスを定期的にチェックします。一時的なディスク・エラーによっていずれかのOracle ASMディスクがオフラインになると、Oracle Database Applianceによってそのディスクのオンライン化が試行されます。

Oracle ASMディスク・グループの再バランス操作の最適化

Oracle Database Applianceでは、システムとディスクに同時に負荷がかかりすぎることなく、Oracle ASMディスクの再バランスが可能なかぎり迅速に完了するようになります。これにより、適切な冗長性で、システムが安定した状態で動作するようになります。再バランス操作の値にはデフォルトのしきい値があり、カスタムのしきい値を設定することもできます。たとえば:
odacli modify-agentconfig-parameters -n ASMRM_CPU_RQ -v 50 -d "CPU RUN QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_HDD_DISK_RQ -v 2 -d "HDD DISK QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_SSD_DISK_RQ -v 32 -d "SSD DISK QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_NVME_DISK_RQ -v 50 -d "NVME DISK QUEUE THRESHOLD" -u

前述のコマンド・オプションで、Oracle ASMディスクの再バランスを監視するためのカスタムのしきい値制限が設定されます。

再バランス操作は、odacli describe-schedule -i Schedule IDおよびodacli list-scheduled-executionsのコマンドを使用して監視できます。

親トピック: ストレージの管理

単一ノード・システムでのストレージの管理

Oracle Database Appliance X10-SおよびX10-Lシステムのストレージ・オプションを理解します。

ノート:

このリリースのOracle Database Applianceでは、X10のストレージは初期デプロイメント時にのみ拡張でき、後では拡張できません。

親トピック: ストレージの管理

Oracle Database Appliance X10-SおよびX10-Lのストレージについて

Oracle Database Appliance単一ノード・システムのストレージを理解します。

Oracle Database Appliance X10-Sには、DATAおよびRECOディスク・グループをホストする2つの6.8TB NVMeディスクがあります。Oracle ASMストレージ情報用にDATAとRECOを分割できるパーティションは10個あります。デフォルトでは、DATAには8つのパーティション構成があり、RECOには2つのパーティション構成があります。ストレージ容量は固定されており、拡張できません。

Oracle Database Appliance X10-Lには、スモール・フォーム・ファクタ(SFF)およびAIC (Add-in-Card)という2つのフォーム・ファクタ・ベースのNVMeディスクがあります。どちらのフォーム・ファクタNVMeディスクもストレージ容量が6.8TBです。SFFは容量が6.8TBの単一ディスクですが、AICにはそれぞれ容量が3.4TBの2つのNVMeディスクがあり、合計ストレージ容量は6.8TBです。Oracle Database Appliance X10-Lのデフォルト構成は、DATAおよびRECOディスク・グループをホストする2つの6.8TB NVMeディスクです。

このリリースでX10-Lを初めてデプロイおよび構成する場合、NVMeおよびAICドライブの2個パックの倍数(2個、4個、6個など、8個までのディスク)で、ストレージをX10-Lに設定できます。

Oracle Database Appliance X10-Lでは、4つのSFF NVMeディスクおよび4つのAIC NVMeディスクがサポートされています。AIC NVMeディスクをシステムに追加する前に、4つのSFF NVMeディスクすべてを移入する必要があります。

この表では、単一ノード・システムの拡張メモリーとストレージ・オプションを含むNVMeストレージ構成について説明します。

表10-1 Oracle Database Appliance X10-SおよびX10-Lのストレージ・オプション

構成 Oracle Database Appliance X10-S Oracle Database Appliance X10-L

基本構成

2台の6.8 TB NVMe = 13.6 TB NVMe

2台の6.8 TB NVMe = 13.6 TB NVMe

ストレージ追加オプション

なし

54.4TB NVMeの合計ストレージ用の6x6.8TB NVMeストレージ・ドライブ。

AIC NVMeディスクをシステムに追加する前に、4つのSFF NVMeディスクすべてを移入する必要があります。

追加の2つのSFF NVMeについて、次を注文します:

数量: 1 - 7606150 (2つの6.8TB 2.5インチNVMe PCIe SFF SSD (Oracle Database Appliance X10-Lのマーリン・ブラケット付き))

追加の4つのNVMe AIC SSD (これらは、取付けにカバーの取外しが必要なPCIe NVMeフラッシュ・カードです)については、次を注文します:

2の場合は数量:1、4の場合は数量:2:

数量: 1 - 7605325 (Oracle Database Appliance X10-L用の2つの6.8TB NVMe PCIeカード)

親トピック: 単一ノード・システムでのストレージの管理

スモール・フォーム・ファクタ(SFF) NVMeストレージ・ディスクの追加

使用可能なドライブに応じて、Oracle Database Appliance X10-Lストレージを拡張してスモール・フォーム・ファクタ(SFF) NVMeディスクを追加するか、既存のNVMeディスクを交換できます。

ODAADMCLIコマンドを使用して、ストレージ診断の実行やストレージ・コンポーネントの診断ロジックの収集など、アプライアンス・ストレージのメンテナンス・タスクを実行します。

ストレージのアップグレードの準備

ストレージを追加する前に、これらのベスト・プラクティスを確認して実行します。

  1. ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新します。

    # odacli describe-component 

  2. 既存のストレージ・ディスクのディスクの状態を確認します。

    # odaadmcli show disk

  3. odaadmcli show diskgroupコマンドを実行して、Oracle Automatic Storage Management (Oracle ASM)ディスク・グループ情報を表示して確認します。

  4. Oracle ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

スモール・フォーム・ファクタ(SFF) NVMeストレージ・ディスクの追加

Oracle Database Appliance X10-SまたはX10-Lのデフォルト構成には2つのNVMeディスクが含まれます。Oracle Database Appliance X10-Sのストレージは拡張できません。

Oracle Database Appliance X10-Lの場合、2つのSFF NVMeディスクを追加し、その後に2つまたは4つのアドインカード(AIC)を追加してストレージを拡張できます。

重要:

AICを追加する前に、4つのSFFスロットすべてを埋める必要があります。

警告:

電源をオフにする前にドライブを引き出すと、カーネルがクラッシュし、データ破損が発生する可能性があります。LEDがオレンジ色または緑色の場合は、ドライブを引き出さないでください。  NVMeドライブを交換する必要がある場合は、ドライブをスロットから引き出す前に、ソフトウェアを使用して電源をオフにしてください。交換するディスクが複数ある場合は、1台目のディスクの交換を完了してから次のディスクの交換を開始してください。

SFF NVMeストレージ・ディスクを追加するには、次のステップに従います。

  1. NVMeディスクを追加する前に、現在のディスクがoakdおよびOracle ASMでオンラインになるようにします。そうしないと、事前チェックが不合格になります。たとえば、スロット2および3への2ディスク拡張では、スロット0および1のディスクがOracle ASMおよびoakdでオンラインになっている必要があります。
  2. スロットに一度に1つずつディスクを挿入し、デバイスの電源をオンにします。
    たとえば、2台のNVMeディスクを追加するには、スロット2および3にディスクを挿入します。 
    # odaadmcli power disk on slot_number
    たとえば、2つのNVMeディスクを追加する場合は、次のコマンドを実行します。
    # odaadmcli power disk on pd_02 
# odaadmcli power disk on pd_03

    ディスクを挿入してから次のディスクを挿入するまでに、少なくとも1分待ちます。

  3. odaadmcli expand storageコマンドを実行して、新しいストレージ・ドライブを追加します。
    # odaadmcli expand storage -ndisk number_of_disks
    たとえば、2台のNVMeドライブを追加するには、次のコマンドを実行します。
    # odaadmcli expand storage -ndisk 2
Running precheck, it may take a few minutes.
Precheck passed. 
Check the progress of expansion of storage by executing 'odaadmcli show disk' 
Waiting for expansion to finish. It may take several minutes to complete depending upon the number of disks being expanded.
  4. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
 NAME PATH TYPE STATE STATE_DETAILS
 
 pd_00 /dev/nvme0n1 NVD ONLINE Good
 pd_01 /dev/nvme1n1 NVD ONLINE Good
 pd_02 /dev/nvme3n1 NVD ONLINE Good
 pd_03 /dev/nvme14n2 NVD ONLINE Good
#
  5. スロット2および3のディスクが、次のようにOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
    1. asm_scriptを実行して、スロット2および3のディスクがOracle ASMに追加されていることを確認します。両方のディスクが正常に追加されたことを確認します(CACHEDおよびMEMBER)。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスク・グループの一部である80:20のデフォルト構成の例を示します。
      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6
# su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6 

Tue Nov 28 02:46:20 PST 2023
 
SQL*Plus: Release 19.0.0.0.0 - Production on Tue Nov 28 02:46:20 2023
Version 19.21.0.0.0
 
Copyright (c) 1982, 2022, Oracle.  All rights reserved.
 
 
Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0
 
SQL> SQL> SQL> SQL> SQL> 
PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
AFD:NVD_S02_S6UENA0TC001P1               NVD_S02_S6UENA0TC001P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P10              NVD_S02_S6UENA0TC001P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P2               NVD_S02_S6UENA0TC001P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P3               NVD_S02_S6UENA0TC001P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P4               NVD_S02_S6UENA0TC001P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P5               NVD_S02_S6UENA0TC001P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P6               NVD_S02_S6UENA0TC001P6                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P7               NVD_S02_S6UENA0TC001P7                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P8               NVD_S02_S6UENA0TC001P8                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S02_S6UENA0TC001P9               NVD_S02_S6UENA0TC001P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P1               NVD_S03_S6UENA0TC001P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P10              NVD_S03_S6UENA0TC001P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P2               NVD_S03_S6UENA0TC001P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P3               NVD_S03_S6UENA0TC001P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P4               NVD_S03_S6UENA0TC001P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P5               NVD_S03_S6UENA0TC001P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P6               NVD_S03_S6UENA0TC001P6                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P7               NVD_S03_S6UENA0TC001P7                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P8               NVD_S03_S6UENA0TC001P8                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S03_S6UENA0TC001P9               NVD_S03_S6UENA0TC001P9                         2 NORMAL   ONLINE  CACHED  MEMBER

SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0
[root@node1 ~]#
    2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。 
      # odaadmcli show validation storage errors
    3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
      # odaadmcli show validation storage failures
    4. 追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、基本構成にディスクを2つ追加した場合、oak_storage_conf.xmlファイルにはnumberOfDisksが4と表示される必要があります。
      #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
<!--
This file is created by the Oracle Database Appliance software as part of system provisioning based on system provisioning requests. 
Values of element nodes can bechanged by OAK in response to storage configuration change operation.
DO NOT EDIT THIS FILE.
-->
<CometConfiguration>
  <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
    <!--  Number of disks part of OAK -->
    <numberOfDisks>4</numberOfDisks>
    <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
    <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
    <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
    <numOfDataDiskPartitionInAsm>8</numOfDataDiskPartitionInAsm>
  </OakStorageConfigInfo>
</CometConfiguration>
#

親トピック: 単一ノード・システムでのストレージの管理

アドイン・カード(AIC) NVMeストレージ・ディスクの追加

2つまたは4つのアドインカード(AIC) NVMeディスクを使用して、Oracle Database ApplianceのX10-Lストレージを拡張できます。Oracle Database Appliance X10-Lは、最大4つのAICをサポートします。

ODAADMCLIコマンドを使用して、ストレージ診断の実行やストレージ・コンポーネントの診断ロジックの収集など、アプライアンス・ストレージのメンテナンス・タスクを実行します。

ストレージのアップグレードの準備

ストレージを追加する前に、これらのベスト・プラクティスを確認して実行します。

  1. ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新します。

    # odacli describe-component 

  2. 既存のストレージ・ディスクのディスクの状態を確認します。

    # odaadmcli show disk

  3. odaadmcli show diskgroupコマンドを実行して、Oracle Automatic Storage Management (Oracle ASM)ディスク・グループ情報を表示して確認します。

  4. asmcmdコマンドを使用して、4つのSFFスロットのすべてのディスクがOracle ASMの一部であることを確認します。

  5. Oracle ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

アドイン・カード(AIC) NVMeストレージ・ディスクの追加

Oracle Database Appliance X10-Lの場合、2つのSFF NVMeディスクを追加し、その後に2つまたは4つのアドインカード(AIC)を追加してストレージを拡張できます。ストレージを拡張するには、最初に2つのAIC NVMeディスクまたは4つのAIC (最大4つのAICディスク)を追加します。ストレージを拡張する場合、奇数のAICドライブを追加することはサポートされていません。

重要:

AICを追加する前に、4つのSFFスロットすべてを埋める必要があります。

警告:

電源をオフにする前にドライブを引き出すと、カーネルがクラッシュし、データ破損が発生する可能性があります。LEDがオレンジ色または緑色の場合は、ドライブを引き出さないでください。  NVMeドライブを交換する必要がある場合は、ドライブをスロットから引き出す前に、ソフトウェアを使用して電源をオフにしてください。交換するディスクが複数ある場合は、1台目のディスクの交換を完了してから次のディスクの交換を開始してください。

関連項目:

オプションのPCIeアドイン・カード・ストレージを追加する前の要件については、このリリースのOracle Database Applianceドキュメント・ライブラリにある『Oracle Database Appliance X10オーナーズ・ガイド』のラックへのOracle Database Applianceの設置の章を参照してください
『Oracle Database Appliance X10オーナーズ・ガイド』の説明に従ってAIC NVMeディスクを正しいスロットに設置し、すべての構成ステップを実行してAIC NVMeディスクを追加する必要があることに注意してください。AICのPCIスロットは次のとおりです。
  • x16-PCIe slot 2:NVMe AIC (1つ目)
  • x8-PCIe slot 3: NVMe AIC (2つ目)
  • x8-PCIe slot 9: NVMe AIC (3つ目)
  • x16-PCIe slot 1: NVMe AIC (4つ目)

次のステップに従ってAIC NVMeディスクを追加します。

  1. AICが正常に設置されると、システムは再起動します。Oracle Clusterwareが稼働していることを確認します。
    crsctl check crs
CRS-4638: Oracle High Availability Services is online
CRS-4537: Cluster Ready Services is online
CRS-4529: Cluster Synchronization Services is online
CRS-4533: Event Manager is online
  2. oakdプロセスが実行中であることを確認します。
    # odaadmcli show disk
    oakdプロセスが実行されていない場合は、起動します。
    # odaadmcli start oak
  3. odaadmcli show diskコマンドを実行して、oakdがすべてのAIC NVMeディスクを検出したことを確認します。2つのAICディスクの場合、3.4TBのNVMEディスクが4つあり、4つのAICディスクの場合、3.4TBのNVMEディスクが8つあります。
    2つのAICの場合:
    # odaadmcli show storage
==== BEGIN STORAGE DUMP ========
Host Description: Oracle Corporation:ORACLE SERVER E5-2L
Total number of controllers: 8

        Id          = 0
        Pci Slot    = 100
        Serial Num  = S6UENA0TC00191
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:62:00.00
        Pci Address = 62:00.0

        Id          = 1
        Pci Slot    = 101
        Serial Num  = S6UENA0TC00163
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:63:00.00
        Pci Address = 63:00.0

        Id          = 3
        Pci Slot    = 103
        Serial Num  = S6UENA0TC00186
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:64:00.00
        Pci Address = 64:00.0

        Id          = 2
        Pci Slot    = 102
        Serial Num  = S6UENA0TC00198
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:65:00.00
        Pci Address = 65:00.0

        Id          = 4
        Pci Slot    = 2
        Serial Num  = PHAZ2233000R6P4AGN-1
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:c1:00.00
        Pci Address = c1:00.0

        Id          = 5
        Pci Slot    = 22
        Serial Num  = PHAZ2233000R6P4AGN-2
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:c2:00.00
        Pci Address = c2:00.0

        Id          = 7
        Pci Slot    = 3
        Serial Num  = PHAZ2333000R6P4AGN-1
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:e2:00.00
        Pci Address = e2:00.0

        Id          = 6
        Pci Slot    = 23
        Serial Num  = PHAZ2333000R6P4AGN-2
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:e3:00.00
        Pci Address = e3:00.0

Total number of expanders: 0
Total number of PDs: 8
        /dev/nvme0n1    Samsung           NVD  6801gb slot:  0  pci-addr : 62  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme1n1    Samsung           NVD  6801gb slot:  1  pci-addr : 63  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme2n1    Samsung           NVD  6801gb slot:  2  pci-addr : 65  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme3n1    Samsung           NVD  6801gb slot:  3  pci-addr : 64  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme4n1    Intel             NVD  3400gb slot:  4  pci-addr : c1  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme5n1    Intel             NVD  3400gb slot:  5  pci-addr : c2  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme9n1    Intel             NVD  3400gb slot:  6  pci-addr : e2  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme8n1    Intel             NVD  3400gb slot:  7  pci-addr : e3  INTEL SSDPFCKE064T1S             AIC
==== END STORAGE DUMP =========
# 	
# odaadmcli show disk
        NAME            PATH            TYPE            STATE           STATE_DETAILS
  
        pd_00           /dev/nvme0n1    NVD             ONLINE          Good           
        pd_01           /dev/nvme1n1    NVD             ONLINE          Good           
        pd_02           /dev/nvme2n1    NVD             ONLINE          Good           
        pd_03           /dev/nvme3n1    NVD             ONLINE          Good           
        pd_04_c1        /dev/nvme5n1    NVD             UNKNOWN         NewDiskInserted
        pd_04_c2        /dev/nvme4n1    NVD             UNKNOWN         NewDiskInserted
        pd_05_c1        /dev/nvme9n1    NVD             UNKNOWN         NewDiskInserted
        pd_05_c2        /dev/nvme8n1    NVD             UNKNOWN         NewDiskInserted
    4つのAICの場合:
    # odaadmcli show storage
==== BEGIN STORAGE DUMP ========
Host Description: Oracle Corporation:ORACLE SERVER E5-2L
Total number of controllers: 12
        Id          = 2
        Pci Slot    = 9
        Serial Num  = PHAZ2233001M6P4AGN-1
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:41:00.00
        Pci Address = 41:00.0

        Id          = 1
        Pci Slot    = 29
        Serial Num  = PHAZ2233001M6P4AGN-2
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:42:00.00
        Pci Address = 42:00.0

        Id          = 0
        Pci Slot    = 100
        Serial Num  = S6UENA0TC00191
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:62:00.00
        Pci Address = 62:00.0

        Id          = 5
        Pci Slot    = 101
        Serial Num  = S6UENA0TC00163
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:63:00.00
        Pci Address = 63:00.0

        Id          = 7
        Pci Slot    = 103
        Serial Num  = S6UENA0TC00186
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:64:00.00
        Pci Address = 64:00.0

        Id          = 6
        Pci Slot    = 102
        Serial Num  = S6UENA0TC00198
        Vendor      = Samsung
        Model       = SAMSUNG MZWLR7T6HBLA-00AU3
        FwVers      = MPPA6R5Q
        strId       = nvme:65:00.00
        Pci Address = 65:00.0

        Id          = 3
        Pci Slot    = 1
        Serial Num  = PHAZ2233001N6P4AGN-1
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:a1:00.00
        Pci Address = a1:00.0

        Id          = 4
        Pci Slot    = 21
        Serial Num  = PHAZ2233001N6P4AGN-2
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:a2:00.00
        Pci Address = a2:00.0

        Id          = 8
        Pci Slot    = 2
        Serial Num  = PHAZ2233000R6P4AGN-1
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:c1:00.00
        Pci Address = c1:00.0

        Id          = 9
        Pci Slot    = 22
        Serial Num  = PHAZ2233000R6P4AGN-2
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:c2:00.00
        Pci Address = c2:00.0

        Id          = 11
        Pci Slot    = 3
        Serial Num  = PHAZ2333000R6P4AGN-1
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:e2:00.00
        Pci Address = e2:00.0

        Id          = 10
        Pci Slot    = 23
        Serial Num  = PHAZ2333000R6P4AGN-2
        Vendor      = Intel
        Model       = INTEL SSDPFCKE064T1S
        FwVers      = 9CV1R310
        strId       = nvme:e3:00.00
        Pci Address = e3:00.0

Total number of expanders: 0
Total number of PDs: 12
        /dev/nvme0n1    Samsung           NVD  6801gb slot:  0  pci-addr : 62  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme1n1    Samsung           NVD  6801gb slot:  1  pci-addr : 63  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme2n1    Samsung           NVD  6801gb slot:  2  pci-addr : 65  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme3n1    Samsung           NVD  6801gb slot:  3  pci-addr : 64  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
        /dev/nvme4n1    Intel             NVD  3400gb slot:  4  pci-addr : c1  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme5n1    Intel             NVD  3400gb slot:  5  pci-addr : c2  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme9n1    Intel             NVD  3400gb slot:  6  pci-addr : e2  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme8n1    Intel             NVD  3400gb slot:  7  pci-addr : e3  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme11n1   Intel             NVD  3400gb slot:  8  pci-addr : 41  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme10n1   Intel             NVD  3400gb slot:  9  pci-addr : 42  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme12n1   Intel             NVD  3400gb slot: 10  pci-addr : a1  INTEL SSDPFCKE064T1S             AIC
        /dev/nvme13n1   Intel             NVD  3400gb slot: 11  pci-addr : a2  INTEL SSDPFCKE064T1S             AIC
==== END STORAGE DUMP =========
#
# odaadmcli show disk

        NAME            PATH            TYPE            STATE           STATE_DETAILS
  
        pd_00           /dev/nvme0n1    NVD             ONLINE          Good          
        pd_01           /dev/nvme1n1    NVD             ONLINE          Good          
        pd_02           /dev/nvme2n1    NVD             ONLINE          Good          
        pd_03           /dev/nvme13n1   NVD             ONLINE          Good          
        pd_04_c1        /dev/nvme4n1    NVD             UNKNOWN         NewDiskInserted
        pd_04_c2        /dev/nvme3n1    NVD             UNKNOWN         NewDiskInserted
        pd_05_c1        /dev/nvme9n1    NVD             UNKNOWN         NewDiskInserted
        pd_05_c2        /dev/nvme10n1   NVD             UNKNOWN         NewDiskInserted
        pd_06_c1        /dev/nvme5n1    NVD             UNKNOWN         NewDiskInserted
        pd_06_c2        /dev/nvme8n1    NVD             UNKNOWN         NewDiskInserted
        pd_07_c1        /dev/nvme12n1   NVD             UNKNOWN         NewDiskInserted
        pd_07_c2        /dev/nvme11n1   NVD             UNKNOWN         NewDiskInserted
    たとえば、2つのAICディスクを追加するには、AICに2つのNVMeディスクがあり、2つのAICディスクの合計値は4つのNVMeディスクであるため、ndisk値を4として指定する必要があります。
    #odaadmcli expand storage -ndisk 4
Running precheck, it may take a few minutes.
Precheck passed.
Check the progress of expansion of storage by executing 'odaadmcli show disk'
Waiting for expansion to finish. It may take several minutes to complete
depending upon the number of disks being expanded
  4. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
        NAME PATH TYPE STATE STATE_DETAILS
 
        pd_00 /dev/nvme0n1 NVD ONLINE Good
        pd_01 /dev/nvme1n1 NVD ONLINE Good
        pd_02 /dev/nvme3n1 NVD ONLINE Good
        pd_03 /dev/nvme14n2 NVD ONLINE Good
        pd_04_c1 /dev/nvme10n1 NVD ONLINE Good
        pd_04_c2 /dev/nvme11n1 NVD ONLINE Good
        pd_05_c1 /dev/nvme8n1 NVD ONLINE Good
        pd_05_c2 /dev/nvme9n1 NVD ONLINE Good
#
  5. 2つのAICディスクが、次のようにOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
    1. asm_scriptを実行して、スロット3および4のディスクがOracle ASMに追加されていることを確認します。両方のディスクが正常に追加されたことを確認します(CACHEDおよびMEMBER)。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスクグループの一部である80:20のデフォルト構成の例を示します。
      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6
# su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6 

Tue Nov 28 02:46:20 PST 2023
 
SQL*Plus: Release 19.0.0.0.0 - Production on Tue Nov 28 02:46:20 2023
Version 19.21.0.0.0
 
Copyright (c) 1982, 2022, Oracle.  All rights reserved.
 
 
Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0
 
SQL> SQL> SQL> SQL> SQL> 
PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
AFD:NVD_S04_C1_PHAZ22330P1               NVD_S04_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P2               NVD_S04_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P3               NVD_S04_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P4               NVD_S04_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P5               NVD_S04_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P10              NVD_S04_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P6               NVD_S04_C2_PHAZ22330P6                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P7               NVD_S04_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P8               NVD_S04_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P9               NVD_S04_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P1               NVD_S05_C1_PHAZ23330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P2               NVD_S05_C1_PHAZ23330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P3               NVD_S05_C1_PHAZ23330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P4               NVD_S05_C1_PHAZ23330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P5               NVD_S05_C1_PHAZ23330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P10              NVD_S05_C2_PHAZ23330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P6               NVD_S05_C2_PHAZ23330P6                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P7               NVD_S05_C2_PHAZ23330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P8               NVD_S05_C2_PHAZ23330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P9               NVD_S05_C2_PHAZ23330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_QRMDSK_P2                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
AFD:SSD_QRMDSK_P1                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0
    2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。 
      # odaadmcli show validation storage errors
    3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
      # odaadmcli show validation storage failures
    4. 追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、2つのAICを4つのSFFに追加した場合、oak_storage_conf.xmlファイルには、numberOfDisksが8と表示される必要があります。
      #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
<!--
This file is created by the ODA software as part of system provisioning
based on system provisioning requests. Values of element nodes can be
changed by OAK in response to storage configuration change operation.
DO NOT EDIT THIS FILE.
-->
<CometConfiguration>
  <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
    <!--  Number of disks part of OAK -->
    <numberOfDisks>8</numberOfDisks>
    <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
    <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
    <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
    <numOfDataDiskPartitionInAsm>8</numOfDataDiskPartitionInAsm>
  </OakStorageConfigInfo>
</CometConfiguration>
#
      たとえば、4つのAICディスクを追加するには、AICに2つのNVMeディスクがあり、4つのAICディスクの合計値は8つのNVMeディスクであるため、ndisk値を8として指定する必要があります。
      #odaadmcli expand storage -ndisk 8
Running precheck, it may take a few minutes.
Precheck passed.
Check the progress of expansion of storage by executing 'odaadmcli show disk'
Waiting for expansion to finish. It may take several minutes to complete
depending upon the number of disks being expanded
    5. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
      # odaadmcli show disk
pd_00 /dev/nvme0n1 NVD ONLINE Good
pd_01 /dev/nvme1n1 NVD ONLINE Good
pd_02 /dev/nvme2n1 NVD ONLINE Good
pd_03 /dev/nvme3n1 NVD ONLINE Good
pd_04_c1 /dev/nvme4n1 NVD ONLINE Good
pd_04_c2 /dev/nvme5n1 NVD ONLINE Good
pd_05_c1 /dev/nvme9n1 NVD ONLINE Good
pd_05_c2 /dev/nvme8n1 NVD ONLINE Good
pd_06_c1 /dev/nvme11n1 NVD ONLINE Good
pd_06_c2 /dev/nvme10n1 NVD ONLINE Good
pd_07_c1 /dev/nvme12n1 NVD ONLINE Good
pd_07_c2 /dev/nvme13n1 NVD ONLINE Good
    6. ディスクが、次のようにOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
      1. asm_scriptを実行して、AICディスクがOracle ASMに追加されていることを確認します。両方のディスクが正常に追加されたことを確認します(CACHEDおよびMEMBER)。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスクグループの一部である80:20のデフォルト構成の例を示します。
        # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6
# su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6 

Tue Nov 28 02:46:20 PST 2023
 
SQL*Plus: Release 19.0.0.0.0 - Production on Tue Nov 28 02:46:20 2023
Version 19.21.0.0.0
 
Copyright (c) 1982, 2022, Oracle.  All rights reserved.
 
 
Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0
 
SQL> SQL> SQL> SQL> SQL> 
AFD:NVD_S04_C1_PHAZ22330P1               NVD_S04_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P2               NVD_S04_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P3               NVD_S04_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P4               NVD_S04_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C1_PHAZ22330P5               NVD_S04_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P10              NVD_S04_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P6               NVD_S04_C2_PHAZ22330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P7               NVD_S04_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P8               NVD_S04_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S04_C2_PHAZ22330P9               NVD_S04_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P1               NVD_S05_C1_PHAZ23330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P2               NVD_S05_C1_PHAZ23330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P3               NVD_S05_C1_PHAZ23330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P4               NVD_S05_C1_PHAZ23330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C1_PHAZ23330P5               NVD_S05_C1_PHAZ23330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P10              NVD_S05_C2_PHAZ23330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P6               NVD_S05_C2_PHAZ23330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P7               NVD_S05_C2_PHAZ23330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P8               NVD_S05_C2_PHAZ23330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S05_C2_PHAZ23330P9               NVD_S05_C2_PHAZ23330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C1_PHAZ22330P1               NVD_S06_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C1_PHAZ22330P2               NVD_S06_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C1_PHAZ22330P3               NVD_S06_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C1_PHAZ22330P4               NVD_S06_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C1_PHAZ22330P5               NVD_S06_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C2_PHAZ22330P10              NVD_S06_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C2_PHAZ22330P6               NVD_S06_C2_PHAZ22330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C2_PHAZ22330P7               NVD_S06_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C2_PHAZ22330P8               NVD_S06_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S06_C2_PHAZ22330P9               NVD_S06_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C1_PHAZ22330P1               NVD_S07_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C1_PHAZ22330P2               NVD_S07_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C1_PHAZ22330P3               NVD_S07_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C1_PHAZ22330P4               NVD_S07_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C1_PHAZ22330P5               NVD_S07_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C2_PHAZ22330P10              NVD_S07_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C2_PHAZ22330P6               NVD_S07_C2_PHAZ22330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C2_PHAZ22330P7               NVD_S07_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C2_PHAZ22330P8               NVD_S07_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:NVD_S07_C2_PHAZ22330P9               NVD_S07_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_QRMDSK_P2                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
AFD:SSD_QRMDSK_P1                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
      2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。 
        # odaadmcli show validation storage errors
      3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
        # odaadmcli show validation storage failures
      4. 追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、4つのAICを4つのSFFに追加した場合、oak_storage_conf.xmlファイルには、numberOfDisksが12、つまり4つのAICに対して4つのSFF NVMEディスクと8つのNVMeディスクが表示される必要があります。 
        #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
<!--
This file is created by the ODA software as part of system provisioning
based on system provisioning requests. Values of element nodes can be
changed by OAK in response to storage configuration change operation.
DO NOT EDIT THIS FILE.
-->
<CometConfiguration>
  <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
    <!--  Number of disks part of OAK -->
    <numberOfDisks>12</numberOfDisks>
    <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
    <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
    <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
    <numOfDataDiskPartitionInAsm>12</numOfDataDiskPartitionInAsm>
  </OakStorageConfigInfo>
</CometConfiguration>
#

親トピック: 単一ノード・システムでのストレージの管理

高可用性システムでのストレージの管理

Oracle Database Appliance X10-HAシステムのストレージを理解します。

ノート:

このリリースのOracle Database Applianceでは、X10のストレージは初期デプロイメント時にのみ拡張でき、後では拡張できません。

親トピック: ストレージの管理

Oracle Database Appliance X10-HAのストレージ・オプションについて

Oracle Database Applianceの高可用性システムには、高パフォーマンスおよび大容量のストレージ構成のためのオプションがあります。

Oracle Database Appliance X10-HAハードウェア・モデルの基本構成には、7.68TBのSSD RAWストレージ・ドライブを備えた6つのスロット(スロット0-5)があります。最大限のストレージ容量を注文してデプロイする場合は、残りの18個のスロット(スロット6-23)にSSDドライブまたはHDDドライブを装着できます。さらにストレージを拡張するために、ストレージ拡張シェルフを追加してアプライアンスのストレージ容量を2倍にできます。

すべての構成で、ベースストレージとストレージ拡張シェルフにはそれぞれ、SSDオプションでのDATA/RECO用、またはHDDオプションでのFLASH用に6台のSSDがあります。

Oracle Database Appliance X10-HAでは、REDOディスク・グループ専用のSSDドライブは割り当てられません。かわりに、必要に応じて、SSDドライブでREDOログ用の領域が割り当てられます。

Oracle ASMストレージの場合、REDOログは、選択したデータベース・シェイプに基づいて、データベース作成時に使用可能なディスク・グループ領域に格納されます。Oracle ACFSストレージの場合、REDOログ用の領域が、データベース・ストレージの作成時に最小データベース・シェイプ(odb1s)を想定して割り当てられます。データベースなしでデータベース・ストレージを作成する場合、REDOログ用に割り当てられる領域は、最小データベース・シェイプ(odb1s)を想定して、4 GBです。その後、既存のデータベース・ストレージで必要なデータベース・シェイプを使用してデータベースを作成すると、REDOログ領域がデータベースのシェイプに基づいて拡張されます。

SSDドライブのみを使用するOracle Database Appliance X10-HA高パフォーマンス構成では、DATAおよびRECOディスク・グループは、6、12、18、24または48 (ストレージ拡張シェルフを使用)のいずれであっても、すべてのSSDドライブを使用します。REDOログはRECOディスク・グループに格納されます。

Oracle Database Appliance X10-HA大容量構成(HDDドライブとSSDドライブの両方を使用)では、DATAおよびRECOディスク・グループはHDDドライブを使用し、SSDドライブでFLASHディスク・グループが格納されます。REDOログはFLASHディスク・グループに格納されます。

高パフォーマンス構成と大容量構成の両方で、REDOログは、以前のOracle Database Applianceハードウェア・モデルと同様に、常にSSDドライブに作成されます。REDOログは、RECOまたはFLASHのいずれであっても、ディスク・グループの冗長性レベルに関係なく、常に高冗長性で作成されます。

高パフォーマンス

高パフォーマンス構成では、DATAおよびRECOストレージにソリッド・ステート・ドライブ(SSD)が使用されます。基本構成には6台のディスクがあり、それぞれにDATAおよびRECO用の7.68 TBのSSD RAWストレージがあります。

基本構成で、SSDの6個パックを最大で3つ追加して、合計184.32 TBのSSD RAWストレージにできます。さらにストレージが必要な場合は、SSDドライブの拡張シェルフを追加することで容量を2倍にできます。拡張シェルフで、それぞれにDATAおよびRECO用の7.68TBのRAWストレージがある追加の24台のSSDが提供されるため、合計で184.32 TBのSSD RAWストレージが追加されます。

拡張シェルフを追加するには、ベース・ストレージ・シェルフと拡張シェルフが、SSDドライブで完全に埋められている必要があります。ストレージを拡張する場合、停止時間は発生しません。

高パフォーマンス用に完全に構成されたシステムには、DATAおよびRECO用の368.64 TBのSSD RAWストレージがあります。

大容量

大容量構成では、SSDドライブとHDDドライブの組合せが使用されます。

基本構成には6台のディスクがあり、それぞれにFLASH用の7.68 TBのSSD RAWストレージがあります。

次の拡張オプションがあります。

  • ベース・シェルフ: DATAおよびRECO用の追加の396TBのHDD RAWストレージ(それぞれ22 TBのストレージを持つ18台のHDD)

  • 拡張ストレージ・シェルフ: 追加のシェルフ・ストレージ構成は、ベース・シェルフのストレージ構成と同じである必要があります。

大容量用に完全に構成されたシステムには、DATA、RECOおよびFLASH用の合計884.16 TBのRAWストレージ(92.16 TBのSSDと792 TBのHDD)があります。

表10-2 Oracle Database Appliance X10-HAのストレージ・オプション

構成 高パフォーマンスのためのOracle Database Appliance X10-HAのSSDのみの構成 大容量のためのOracle Database Appliance X10-HAのSSDとHDDの構成
基本構成

ベース・ストレージ・シェルフには、7.68 TBのSSDが6台含まれています。

  • 6台の7.68 TBのSSD = 46 TBのSSD

ベース・ストレージ・シェルフは、7.68 TBのSSDの6個パックと18個の22 TBのHDDドライブで完全に埋められています。

  • 6台の7.68 TBのSSD = 46 TBのSSD

  • 18台の22 TBのHDD = 396 TBのHDD

  • 最初のJBODの合計ストレージ = 442 TB (46 TBのSSDと396 TBのHDD)
ストレージ追加オプション

ベース・シェルフには6台のSSDが含まれています。追加の18台のSSDは、6個パックで追加する必要があります。

  • ベース・システム: 6台の7.68 TBのSSD = 46 TBのSSD

  • 6台のSSDを追加: 12台の7.68 TBのSSD = 92 TBのSSD

  • 12台のSSDを追加: 18台の7.68 TBのSSD = 138 TBのSSD
  • 18台のSSDを追加: 24台の7.68 TBのSSD = 184 TBのSSD (完全に埋められたシェルフ)

該当なしベース・ストレージ・シェルフは完全に埋められています。
ストレージ・シェルフの拡張オプション

ノート: このリリースのOracle Database Applianceでは、X10のストレージは初期デプロイメント時にのみ拡張できます。

  • オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。
  • ベース・ストレージ・シェルフの合計ストレージ = 184 TBのSSD
  • 拡張シェルフのストレージ = 24台の7.68 TBのSSD = 184 TBのSSD
  • 両方のJBODを含む合計ストレージ = 368.6 TBのSSD
  • オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。
  • ベース・ストレージ・シェルフの合計ストレージ = 442 TB (46 TBのSSDと396 TBのHDD)
  • 両方のJBODを含む合計ストレージ = 884 TB (92 TBのSSDと792 TBのHDD)

親トピック: 高可用性システムでのストレージの管理

データ・ストレージ用のソリッド・ステート・ドライブ(SSD)の追加

データ・ストレージ用のソリッド・ステート・ドライブ(SSD)のパックを既存のOracle Database Appliance X10-HAの基本構成に追加して、ベース・ストレージ・シェルフを完全に埋めるようにします。

ストレージを基本構成に追加する必要がある場合は、SSDの6個パックを1つ、2つまたは3つ注文して、Oracle Database Appliance X10-HAの基本構成を完全なものにできます。

拡張シェルフをOracle Database Appliance X10-HAに追加する前に、基本構成を完全に埋める必要があります。拡張シェルフを追加する場合は、そのシェルフに基本構成と同じディスク・ストレージ構成が必要です。

ノート:

高パフォーマンス構成では、ベース・ストレージ・シェルフにSSDを追加したり、ストレージ拡張シェルフを追加できます。6台のSSDがある大容量の基本構成の場合、HDDを使用するようにストレージを拡張する場合は、アプライアンスを再イメージ化してデプロイする必要があります。
ディスクをシステムに追加する前に、Oracle Database Applianceを最新リリースにしてください。
  1. スロットにディスクを1つずつ挿入します。

    SSDの6個パックを1つ追加するには、スロット6から11にディスクを挿入します。SSDの6個パックを2つ追加するには、スロット6から17にディスクを挿入します。SSDの6個パックを3つ追加するには、スロット6から23にディスクを挿入します。

    ノート:

    ディスクを挿入してから次のディスクを挿入するまでに、少なくとも1分待ちます。
    すべてのディスクを追加したら、ステップ2に進みます。
  2. 任意のノードでodaadmcli expand storageコマンドを実行します。
    # odaadmcli expand storage -ndisk number_of_disks_to_be_added -enclosure enclosure_number_of_the_disks_to_be_added

    最初のJBODにストレージ・ディスクを追加するときのエンクロージャ番号は0です。

    たとえば:

    
# odaadmcli expand storage -ndisk 6 -enclosure 0
Running precheck, it may take a few minutes.
Precheck passed.
Check the progress of expansion of storage by executing 'odaadmcli show disk'
Waiting for expansion to finish. It may take several minutes to complete
depending upon the number of disks being expanded
 
odaadmcli expand storage command completed.
Check the status of the newly-expanded disk in OAK by running the odaadmcli show disk command. 
All disks must be in the ONLINE status. Check the status of the newly-expanded disk in Oracle ASM by running the asmcmd lsdsk -p. 
The mount status must be CACHED and the header status must be MEMBER for all the newly-added disks. 
If the status of the newly-added disks in OAK and Oracle ASM are different, then the odaadmcli expand storage command failed.
    すべてのディスクを構成に追加するには、10から12分かかります。
  3. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
  4. スロット6から11のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
    1. asm_scriptを実行して、スロット6から11のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。6つのディスクが正常に追加されている場合(CACHEDおよびMEMBER)、ステップ7に進みます。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスクグループの一部である80:20のデフォルト構成の例を示します。
      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6

      たとえば:

      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
# su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6 

SQL*Plus: Release 19.0.0.0.0 - Production on Thu Nov 30 04:57:57 2023
Version 19.21.0.0.0

Copyright (c) 1982, 2022, Oracle.  All rights reserved.


Connected to:
Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0

SQL> SQL> SQL> SQL> SQL> 
PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
AFD:SSD_E0_S06_46724304P1                SSD_E0_S06_46724304P1                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P10               SSD_E0_S06_46724304P10                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P2                SSD_E0_S06_46724304P2                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P3                SSD_E0_S06_46724304P3                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P4                SSD_E0_S06_46724304P4                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P5                SSD_E0_S06_46724304P5                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P6                SSD_E0_S06_46724304P6                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P7                SSD_E0_S06_46724304P7                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P8                SSD_E0_S06_46724304P8                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S06_46724304P9                SSD_E0_S06_46724304P9                          2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P1                SSD_E0_S07_47182256P1                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P10               SSD_E0_S07_47182256P10                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P2                SSD_E0_S07_47182256P2                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P3                SSD_E0_S07_47182256P3                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P4                SSD_E0_S07_47182256P4                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P5                SSD_E0_S07_47182256P5                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P6                SSD_E0_S07_47182256P6                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P7                SSD_E0_S07_47182256P7                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P8                SSD_E0_S07_47182256P8                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S07_47182256P9                SSD_E0_S07_47182256P9                          2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P1                SSD_E0_S08_46724288P1                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P10               SSD_E0_S08_46724288P10                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P2                SSD_E0_S08_46724288P2                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P3                SSD_E0_S08_46724288P3                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P4                SSD_E0_S08_46724288P4                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P5                SSD_E0_S08_46724288P5                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P6                SSD_E0_S08_46724288P6                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P7                SSD_E0_S08_46724288P7                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P8                SSD_E0_S08_46724288P8                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S08_46724288P9                SSD_E0_S08_46724288P9                          2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P1                SSD_E0_S09_47180592P1                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P10               SSD_E0_S09_47180592P10                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P2                SSD_E0_S09_47180592P2                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P3                SSD_E0_S09_47180592P3                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P4                SSD_E0_S09_47180592P4                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P5                SSD_E0_S09_47180592P5                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P6                SSD_E0_S09_47180592P6                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P7                SSD_E0_S09_47180592P7                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P8                SSD_E0_S09_47180592P8                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S09_47180592P9                SSD_E0_S09_47180592P9                          2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P1                SSD_E0_S10_47182288P1                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P10               SSD_E0_S10_47182288P10                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P2                SSD_E0_S10_47182288P2                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P3                SSD_E0_S10_47182288P3                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P4                SSD_E0_S10_47182288P4                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P5                SSD_E0_S10_47182288P5                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P6                SSD_E0_S10_47182288P6                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P7                SSD_E0_S10_47182288P7                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P8                SSD_E0_S10_47182288P8                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S10_47182288P9                SSD_E0_S10_47182288P9                          2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P1                SSD_E0_S11_46722912P1                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P10               SSD_E0_S11_46722912P10                         2 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P2                SSD_E0_S11_46722912P2                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P3                SSD_E0_S11_46722912P3                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P4                SSD_E0_S11_46722912P4                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P5                SSD_E0_S11_46722912P5                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P6                SSD_E0_S11_46722912P6                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P7                SSD_E0_S11_46722912P7                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P8                SSD_E0_S11_46722912P8                          1 NORMAL   ONLINE  CACHED  MEMBER
AFD:SSD_E0_S11_46722912P9                SSD_E0_S11_46722912P9                          2 NORMAL   ONLINE  CACHED  MEMBER

SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
Version 19.21.0.0.0
#
    2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。 
      # odaadmcli show validation storage errors
    3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
      # odaadmcli show validation storage failures
    4. oak_storage_conf.xmlファイルに、追加されたディスクの数が表示されることを確認します。たとえば、基本構成にディスクを6つ追加した場合、oak_storage_conf.xmlファイルにはnumberOfDisksが12と表示される必要があります。基本構成に12個のディスクを追加した場合、oak_storage_conf.xmlファイルには18と表示される必要があります。
      #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
<!--
This file is created by the ODA software as part of system provisioning
based on system provisioning requests. Values of element nodes can be
changed by OAK in response to storage configuration change operation.
DO NOT EDIT THIS FILE.
-->
<CometConfiguration>
  <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
    <!--  Number of disks part of OAK -->
    <numberOfDisks>12</numberOfDisks>
    <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
    <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
    <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
    <numOfDataDiskPartitionInAsm>8</numOfDataDiskPartitionInAsm>
  </OakStorageConfigInfo>
</CometConfiguration>
#

親トピック: 高可用性システムでのストレージの管理