10 ストレージの管理

Oracle Database Applianceデプロイメントのストレージ・オプションと、ストレージの管理方法について説明します。

ストレージの管理について

Oracle Database Applianceのストレージ・オプションを理解します。

Oracle Database Applianceでは、RAWストレージを使用して、次の方法でデータを保護します。

  • 高速リカバリ領域(FRA)のバックアップ。FRAは、REDOログ、制御ファイル、アーカイブ・ログ、バックアップ・ピースとコピーおよびフラッシュバック・ログを含むストレージ領域(ディスクまたはOracle ASMディスクグループのディレクトリ)です。

  • ミラーリング。双方向ミラーリングまたは3方向ミラーリングで、機械的な問題に対する保護が提供されます。

使用可能なストレージの量は、FRAバックアップの場所(外部または内部)と、双方向ミラーリングが使用されるか、3方向ミラーリングが使用されるかによって決定します。オンライン・バックアップ、データ・ステージングまたは追加のデータベース・ファイルのために、外部NFSストレージがサポートされています。

Oracle Database Appliance X10-LおよびX10-HAモデルでは、基本構成にストレージ拡張オプションが用意されています。また、Oracle Database Appliance X10-HAマルチノード・プラットフォームでは、オプションのストレージ拡張シェルフを追加できます。

FLASHの冗長性レベルは、DATAおよびRECOの選択に基づきます。高冗長性(3方向ミラーリング)を選択した場合、FLASHも高冗長性になります。

Oracle ASMディスクの管理について

Oracle Database ApplianceがサポートするOracle ASMディスク管理機能を理解します。

Oracle Database Applianceでは、Oracle ASMディスクを管理できます。

Oracle ASMディスク・グループの自動オンライン化

Oracle Database Applianceは、ディスク・グループ内のOracle ASMディスクのステータスを定期的にチェックします。一時的なディスク・エラーによっていずれかのOracle ASMディスクがオフラインになると、Oracle Database Applianceによってそのディスクのオンライン化が試行されます。

Oracle ASMディスク・グループの再バランス操作の最適化

Oracle Database Applianceでは、システムとディスクに同時に負荷がかかりすぎることなく、Oracle ASMディスクの再バランスが可能なかぎり迅速に完了するようになります。これにより、適切な冗長性で、システムが安定した状態で動作するようになります。再バランス操作の値にはデフォルトのしきい値があり、カスタムのしきい値を設定することもできます。たとえば:
odacli modify-agentconfig-parameters -n ASMRM_CPU_RQ -v 50 -d "CPU RUN QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_HDD_DISK_RQ -v 2 -d "HDD DISK QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_SSD_DISK_RQ -v 32 -d "SSD DISK QUEUE THRESHOLD" -u
odacli modify-agentconfig-parameters -n ASMRM_MAX_NVME_DISK_RQ -v 50 -d "NVME DISK QUEUE THRESHOLD" -u

前述のコマンド・オプションで、Oracle ASMディスクの再バランスを監視するためのカスタムのしきい値制限が設定されます。

再バランス操作は、odacli describe-schedule -i Schedule IDおよびodacli list-scheduled-executionsのコマンドを使用して監視できます。

単一ノード・システムでのストレージの管理

Oracle Database Appliance X10-SおよびX10-Lシステムのストレージ・オプションを理解します。

Oracle Database Appliance X10-SおよびX10-Lのストレージについて

Oracle Database Appliance単一ノード・システムのストレージを理解します。

Oracle Database Appliance X10-Sには、DATAおよびRECOディスク・グループをホストする2つの6.8TB NVMeディスクがあります。Oracle ASMストレージ情報用にDATAとRECOを分割できるパーティションは10個あります。デフォルトでは、DATAには8つのパーティション構成があり、RECOには2つのパーティション構成があります。ストレージ容量は固定されており、拡張できません。

Oracle Database Appliance X10-Lには、スモール・フォーム・ファクタ(SFF)およびAIC (Add-in-Card)という2つのフォーム・ファクタ・ベースのNVMeディスクがあります。どちらのフォーム・ファクタNVMeディスクもストレージ容量が6.8TBです。SFFは容量が6.8TBの単一ディスクですが、AICにはそれぞれ容量が3.4TBの2つのNVMeディスクがあり、合計ストレージ容量は6.8TBです。Oracle Database Appliance X10-Lのデフォルト構成は、DATAおよびRECOディスク・グループをホストする2つの6.8TB NVMeディスクです。

このリリースでX10-Lを初めてデプロイおよび構成する場合、NVMeおよびAICドライブの2個パックの倍数(2個、4個、6個など、8個までのディスク)で、ストレージをX10-Lに設定できます。

Oracle Database Appliance X10-Lでは、4つのSFF NVMeディスクおよび4つのAIC NVMeディスクがサポートされています。AIC NVMeディスクをシステムに追加する前に、4つのSFF NVMeディスクすべてを移入する必要があります。

この表では、単一ノード・システムの拡張メモリーとストレージ・オプションを含むNVMeストレージ構成について説明します。

表10-1 Oracle Database Appliance X10-SおよびX10-Lのストレージ・オプション

構成 Oracle Database Appliance X10-S Oracle Database Appliance X10-L

基本構成

2台の6.8 TB NVMe = 13.6 TB NVMe

2台の6.8 TB NVMe = 13.6 TB NVMe

ストレージ追加オプション

なし

54.4TB NVMeの合計ストレージ用の6x6.8TB NVMeストレージ・ドライブ。

AIC NVMeディスクをシステムに追加する前に、4つのSFF NVMeディスクすべてを移入する必要があります。

追加の2つのSFF NVMeについて、次を注文します:

数量: 1 - 7606150 (2つの6.8TB 2.5インチNVMe PCIe SFF SSD (Oracle Database Appliance X10-Lのマーリン・ブラケット付き))

追加の4つのNVMe AIC SSD (これらは、取付けにカバーの取外しが必要なPCIe NVMeフラッシュ・カードです)については、次を注文します:

2の場合は数量:1、4の場合は数量:2:

数量: 1 - 7605325 (Oracle Database Appliance X10-L用の2つの6.8TB NVMe PCIeカード)

スモール・フォーム・ファクタ(SFF) NVMeストレージ・ディスクの追加

使用可能なドライブに応じて、Oracle Database Appliance X10-Lストレージを拡張してスモール・フォーム・ファクタ(SFF) NVMeディスクを追加するか、既存のNVMeディスクを交換できます。

ODAADMCLIコマンドを使用して、ストレージ診断の実行やストレージ・コンポーネントの診断ロジックの収集など、アプライアンス・ストレージのメンテナンス・タスクを実行します。

ストレージのアップグレードの準備

ストレージを追加する前に、これらのベスト・プラクティスを確認して実行します。

  1. 既存のストレージ・ディスクのディスクの状態を確認します。

    # odaadmcli show disk
  2. odaadmcli show diskコマンドおよびasmcmd lsdsk -pコマンドを実行して、OAKDおよびOracle Automatic Storage Management (Oracle ASM)のストレージ・ディスク情報を表示および確認します。
    # odaadmcli show disk
    # asmcmd lsdsk -p
  3. ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

スモール・フォーム・ファクタ(SFF) NVMeストレージ・ディスクの追加

Oracle Database Appliance X10-SまたはX10-Lのデフォルト構成には2つのNVMeディスクが含まれます。Oracle Database Appliance X10-Sのストレージは拡張できません。

Oracle Database Appliance X10-Lの場合、2つのSFF NVMeディスクを追加し、その後に2つまたは4つのアドインカード(AIC)を追加してストレージを拡張できます。

重要:

AICを追加する前に、4つのSFFスロットすべてを埋める必要があります。

警告:

電源をオフにする前にドライブを引き出すと、カーネルがクラッシュし、データ破損が発生する可能性があります。LEDがオレンジ色または緑色の場合は、ドライブを引き出さないでください。  NVMeドライブを交換する必要がある場合は、ドライブをスロットから引き出す前に、ソフトウェアを使用して電源をオフにしてください。交換するディスクが複数ある場合は、1台目のディスクの交換を完了してから次のディスクの交換を開始してください。

SFF NVMeディスクを追加するには、次のすべてのステップに従います:

  1. NVMeディスクを追加する前に、現在のディスクがoakdおよびOracle ASMでオンラインになるようにします。そうしないと、事前チェックが不合格になります。たとえば、スロット2および3への2ディスク拡張では、スロット0および1のディスクがOracle ASMおよびoakdでオンラインになっている必要があります。
  2. 各ディスクを適切なスロットに1つずつ挿入し、ディスクの電源がオンになるまで待ちます。
  3. ディスクをスロットに挿入すると、ディスクの電源が自動的にオンになります。1分待ってから、ディスクのステータスを確認します。ディスクがオンの状態の場合は、手動でディスクの電源をオンにする必要はありません。ディスクのステータスで、ディスクの状態がオフになっている場合は、手動でディスクの電源をオンにして、再度ステータスを確認します。
    # odaadmcli power disk status slot_number
    # odaadmcli power disk on slot_number
    たとえば、2台のNVMeディスクを追加するには、スロット2および3にディスクを挿入します。
    # odaadmcli power disk status pd_02
    # odaadmcli power disk on pd_02
    
    # odaadmcli power disk status pd_03
    # odaadmcli power disk on pd_03
  4. 追加するディスクごとにステップ2および3を繰り返します。
  5. odaadmcli expand storageコマンドを実行して、新しいストレージ・ディスクを追加します。ノート: ストレージ・ディスクを追加するには、このステップを実行する必要があります。そうしないと、新しく追加されたディスクがOAKDに表示されないため、odaadmcli show diskコマンドまたはodaadmcli show storageコマンドを実行しても表示されません。odaadmcli expand storageコマンドが正常に実行されると、新しく追加されたディスクがOAKDによって認識されます。
    # odaadmcli expand storage -ndisk number_of_disks
    たとえば、2台のNVMeドライブを追加するには、次のコマンドを実行します。
    #odaadmcli expand storage -ndisk 2
    Running precheck, it may take a few minutes.
    Precheck passed.
    Check the progress of expansion of storage by executing 'odaadmcli show disk'
    Waiting for expansion to finish. It may take several minutes to complete
    depending upon the number of disks being expanded
  6. odaadmcli show diskコマンドを使用して、OAKDの新しいディスクのステータスを確認します。ディスクのステータスは、OAKDでOnlineおよびGoodである必要があります。
    # odaadmcli show disk
     NAME PATH TYPE STATE STATE_DETAILS
     
     pd_00 /dev/nvme0n1 NVD ONLINE Good
     pd_01 /dev/nvme1n1 NVD ONLINE Good
     pd_02 /dev/nvme3n1 NVD ONLINE Good
     pd_03 /dev/nvme14n2 NVD ONLINE Good
    # 
  7. スロット2および3のディスクが、次のようにOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。Oracle ASMの新しいディスクは、CACHED MEMBER ONLINE NORMAL状態である必要があります。
    1. asm_scriptを実行して、スロット2および3のディスクがOracle ASMに追加されていることを確認します。両方のディスクが正常に追加されたことを確認します(CACHEDおよびMEMBER)。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスク・グループの一部である80:20のデフォルト構成の例を示します。
      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6
      # su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6 
      
      Tue Nov 28 02:46:20 PST 2023
       
      SQL*Plus: Release 19.0.0.0.0 - Production on Tue Nov 28 02:46:20 2023
      Version 19.21.0.0.0
       
      Copyright (c) 1982, 2022, Oracle.  All rights reserved.
       
       
      Connected to:
      Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
      Version 19.21.0.0.0
       
      SQL> SQL> SQL> SQL> SQL> 
      PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
      ---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
      AFD:NVD_S02_S6UENA0TC001P1               NVD_S02_S6UENA0TC001P1                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P10              NVD_S02_S6UENA0TC001P10                        2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P2               NVD_S02_S6UENA0TC001P2                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P3               NVD_S02_S6UENA0TC001P3                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P4               NVD_S02_S6UENA0TC001P4                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P5               NVD_S02_S6UENA0TC001P5                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P6               NVD_S02_S6UENA0TC001P6                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P7               NVD_S02_S6UENA0TC001P7                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P8               NVD_S02_S6UENA0TC001P8                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S02_S6UENA0TC001P9               NVD_S02_S6UENA0TC001P9                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P1               NVD_S03_S6UENA0TC001P1                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P10              NVD_S03_S6UENA0TC001P10                        2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P2               NVD_S03_S6UENA0TC001P2                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P3               NVD_S03_S6UENA0TC001P3                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P4               NVD_S03_S6UENA0TC001P4                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P5               NVD_S03_S6UENA0TC001P5                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P6               NVD_S03_S6UENA0TC001P6                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P7               NVD_S03_S6UENA0TC001P7                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P8               NVD_S03_S6UENA0TC001P8                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S03_S6UENA0TC001P9               NVD_S03_S6UENA0TC001P9                         2 NORMAL   ONLINE  CACHED  MEMBER
      
      SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
      Version 19.21.0.0.0
      [root@node1 ~]#
    2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
      # odaadmcli show validation storage errors
    3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
      # odaadmcli show validation storage failures
    4. 追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、基本構成にディスクを2つ追加した場合、oak_storage_conf.xmlファイルにはnumberOfDisksが4と表示される必要があります。
      #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
      <!--
      This file is created by the Oracle Database Appliance software as part of system provisioning based on system provisioning requests. 
      Values of element nodes can bechanged by OAK in response to storage configuration change operation.
      DO NOT EDIT THIS FILE.
      -->
      <CometConfiguration>
        <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
          <!--  Number of disks part of OAK -->
          <numberOfDisks>4</numberOfDisks>
          <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
          <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
          <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
          <numOfDataDiskPartitionInAsm>8</numOfDataDiskPartitionInAsm>
        </OakStorageConfigInfo>
      </CometConfiguration>
      #

アドイン・カード(AIC) NVMeストレージ・ディスクの追加

2つまたは4つのアドインカード(AIC) NVMeディスクを使用して、Oracle Database ApplianceのX10-Lストレージを拡張できます。Oracle Database Appliance X10-Lは、最大4つのAICをサポートします。

ODAADMCLIコマンドを使用して、ストレージ診断の実行やストレージ・コンポーネントの診断ロジックの収集など、アプライアンス・ストレージのメンテナンス・タスクを実行します。

ストレージのアップグレードの準備

ストレージを追加する前に、これらのベスト・プラクティスを確認して実行します。

  1. ストレージを拡張する前に、Oracle Database Applianceを最新のパッチ・バンドルに更新します。

    # odacli describe-component 
  2. 既存のストレージ・ディスクのディスクの状態を確認します。

    # odaadmcli show disk
  3. odaadmcli show diskgroupコマンドを実行して、Oracle Automatic Storage Management (Oracle ASM)ディスク・グループ情報を表示して確認します。

  4. asmcmdコマンドを使用して、4つのSFFスロットのすべてのディスクがOracle ASMの一部であることを確認します。
  5. Oracle ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

アドイン・カード(AIC) NVMeストレージ・ディスクの追加

Oracle Database Appliance X10-Lの場合、2つのSFF NVMeディスクを追加し、その後に2つまたは4つのアドインカード(AIC)を追加してストレージを拡張できます。ストレージを拡張するには、最初に2つのAIC NVMeディスクまたは4つのAIC (最大4つのAICディスク)を追加します。ストレージを拡張する場合、奇数のAICドライブを追加することはサポートされていません

重要:

AICを追加する前に、4つのSFFスロットすべてを埋める必要があります。

警告:

電源をオフにする前にドライブを引き出すと、カーネルがクラッシュし、データ破損が発生する可能性があります。LEDがオレンジ色または緑色の場合は、ドライブを引き出さないでください。  NVMeドライブを交換する必要がある場合は、ドライブをスロットから引き出す前に、ソフトウェアを使用して電源をオフにしてください。交換するディスクが複数ある場合は、1台目のディスクの交換を完了してから次のディスクの交換を開始してください。

関連項目:

オプションのPCIeアドイン・カード・ストレージを追加する前の要件については、このリリースのOracle Database Applianceドキュメント・ライブラリにある『Oracle Database Appliance X10オーナーズ・ガイド』ラックへのOracle Database Applianceの設置の章を参照してください
『Oracle Database Appliance X10オーナーズ・ガイド』の説明に従ってAIC NVMeディスクを正しいスロットに設置し、すべての構成ステップを実行してAIC NVMeディスクを追加する必要があることに注意してください。AICのPCIスロットは次のとおりです。
  • x16-PCIe slot 2:NVMe AIC (1つ目)
  • x8-PCIe slot 3: NVMe AIC (2つ目)
  • x8-PCIe slot 9: NVMe AIC (3つ目)
  • x16-PCIe slot 1: NVMe AIC (4つ目)

次のステップに従ってAIC NVMeディスクを追加します。

  1. AICが正常に設置されると、システムは再起動します。Oracle Clusterwareが稼働していることを確認します。
    crsctl check crs
    CRS-4638: Oracle High Availability Services is online
    CRS-4537: Cluster Ready Services is online
    CRS-4529: Cluster Synchronization Services is online
    CRS-4533: Event Manager is online
  2. oakdプロセスが実行中であることを確認します。
    # odaadmcli show disk
    oakdプロセスが実行されていない場合は、起動します。
    # odaadmcli start oak
  3. odaadmcli show diskコマンドを実行して、oakdがすべてのAIC NVMeディスクを検出したことを確認します。2つのAICディスクの場合、3.4TBのNVMEディスクが4つあり、4つのAICディスクの場合、3.4TBのNVMEディスクが8つあります。
    2つのAICの場合:
    # odaadmcli show storage
    ==== BEGIN STORAGE DUMP ========
    Host Description: Oracle Corporation:ORACLE SERVER E5-2L
    Total number of controllers: 8
    
            Id          = 0
            Pci Slot    = 100
            Serial Num  = S6UENA0TC00191
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:62:00.00
            Pci Address = 62:00.0
    
            Id          = 1
            Pci Slot    = 101
            Serial Num  = S6UENA0TC00163
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:63:00.00
            Pci Address = 63:00.0
    
            Id          = 3
            Pci Slot    = 103
            Serial Num  = S6UENA0TC00186
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:64:00.00
            Pci Address = 64:00.0
    
            Id          = 2
            Pci Slot    = 102
            Serial Num  = S6UENA0TC00198
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:65:00.00
            Pci Address = 65:00.0
    
            Id          = 4
            Pci Slot    = 2
            Serial Num  = PHAZ2233000R6P4AGN-1
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:c1:00.00
            Pci Address = c1:00.0
    
            Id          = 5
            Pci Slot    = 22
            Serial Num  = PHAZ2233000R6P4AGN-2
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:c2:00.00
            Pci Address = c2:00.0
    
            Id          = 7
            Pci Slot    = 3
            Serial Num  = PHAZ2333000R6P4AGN-1
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:e2:00.00
            Pci Address = e2:00.0
    
            Id          = 6
            Pci Slot    = 23
            Serial Num  = PHAZ2333000R6P4AGN-2
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:e3:00.00
            Pci Address = e3:00.0
    
    Total number of expanders: 0
    Total number of PDs: 8
            /dev/nvme0n1    Samsung           NVD  6801gb slot:  0  pci-addr : 62  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme1n1    Samsung           NVD  6801gb slot:  1  pci-addr : 63  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme2n1    Samsung           NVD  6801gb slot:  2  pci-addr : 65  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme3n1    Samsung           NVD  6801gb slot:  3  pci-addr : 64  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme4n1    Intel             NVD  3400gb slot:  4  pci-addr : c1  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme5n1    Intel             NVD  3400gb slot:  5  pci-addr : c2  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme9n1    Intel             NVD  3400gb slot:  6  pci-addr : e2  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme8n1    Intel             NVD  3400gb slot:  7  pci-addr : e3  INTEL SSDPFCKE064T1S             AIC
    ==== END STORAGE DUMP =========
    # 	
    # odaadmcli show disk
            NAME            PATH            TYPE            STATE           STATE_DETAILS
      
            pd_00           /dev/nvme0n1    NVD             ONLINE          Good           
            pd_01           /dev/nvme1n1    NVD             ONLINE          Good           
            pd_02           /dev/nvme2n1    NVD             ONLINE          Good           
            pd_03           /dev/nvme3n1    NVD             ONLINE          Good           
            pd_04_c1        /dev/nvme5n1    NVD             UNKNOWN         NewDiskInserted
            pd_04_c2        /dev/nvme4n1    NVD             UNKNOWN         NewDiskInserted
            pd_05_c1        /dev/nvme9n1    NVD             UNKNOWN         NewDiskInserted
            pd_05_c2        /dev/nvme8n1    NVD             UNKNOWN         NewDiskInserted
    4つのAICの場合:
    # odaadmcli show storage
    ==== BEGIN STORAGE DUMP ========
    Host Description: Oracle Corporation:ORACLE SERVER E5-2L
    Total number of controllers: 12
            Id          = 2
            Pci Slot    = 9
            Serial Num  = PHAZ2233001M6P4AGN-1
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:41:00.00
            Pci Address = 41:00.0
    
            Id          = 1
            Pci Slot    = 29
            Serial Num  = PHAZ2233001M6P4AGN-2
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:42:00.00
            Pci Address = 42:00.0
    
            Id          = 0
            Pci Slot    = 100
            Serial Num  = S6UENA0TC00191
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:62:00.00
            Pci Address = 62:00.0
    
            Id          = 5
            Pci Slot    = 101
            Serial Num  = S6UENA0TC00163
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:63:00.00
            Pci Address = 63:00.0
    
            Id          = 7
            Pci Slot    = 103
            Serial Num  = S6UENA0TC00186
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:64:00.00
            Pci Address = 64:00.0
    
            Id          = 6
            Pci Slot    = 102
            Serial Num  = S6UENA0TC00198
            Vendor      = Samsung
            Model       = SAMSUNG MZWLR7T6HBLA-00AU3
            FwVers      = MPPA6R5Q
            strId       = nvme:65:00.00
            Pci Address = 65:00.0
    
            Id          = 3
            Pci Slot    = 1
            Serial Num  = PHAZ2233001N6P4AGN-1
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:a1:00.00
            Pci Address = a1:00.0
    
            Id          = 4
            Pci Slot    = 21
            Serial Num  = PHAZ2233001N6P4AGN-2
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:a2:00.00
            Pci Address = a2:00.0
    
            Id          = 8
            Pci Slot    = 2
            Serial Num  = PHAZ2233000R6P4AGN-1
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:c1:00.00
            Pci Address = c1:00.0
    
            Id          = 9
            Pci Slot    = 22
            Serial Num  = PHAZ2233000R6P4AGN-2
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:c2:00.00
            Pci Address = c2:00.0
    
            Id          = 11
            Pci Slot    = 3
            Serial Num  = PHAZ2333000R6P4AGN-1
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:e2:00.00
            Pci Address = e2:00.0
    
            Id          = 10
            Pci Slot    = 23
            Serial Num  = PHAZ2333000R6P4AGN-2
            Vendor      = Intel
            Model       = INTEL SSDPFCKE064T1S
            FwVers      = 9CV1R310
            strId       = nvme:e3:00.00
            Pci Address = e3:00.0
    
    Total number of expanders: 0
    Total number of PDs: 12
            /dev/nvme0n1    Samsung           NVD  6801gb slot:  0  pci-addr : 62  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme1n1    Samsung           NVD  6801gb slot:  1  pci-addr : 63  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme2n1    Samsung           NVD  6801gb slot:  2  pci-addr : 65  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme3n1    Samsung           NVD  6801gb slot:  3  pci-addr : 64  SAMSUNG MZWLR7T6HBLA-00AU3       SFF
            /dev/nvme4n1    Intel             NVD  3400gb slot:  4  pci-addr : c1  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme5n1    Intel             NVD  3400gb slot:  5  pci-addr : c2  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme9n1    Intel             NVD  3400gb slot:  6  pci-addr : e2  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme8n1    Intel             NVD  3400gb slot:  7  pci-addr : e3  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme11n1   Intel             NVD  3400gb slot:  8  pci-addr : 41  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme10n1   Intel             NVD  3400gb slot:  9  pci-addr : 42  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme12n1   Intel             NVD  3400gb slot: 10  pci-addr : a1  INTEL SSDPFCKE064T1S             AIC
            /dev/nvme13n1   Intel             NVD  3400gb slot: 11  pci-addr : a2  INTEL SSDPFCKE064T1S             AIC
    ==== END STORAGE DUMP =========
    #
    # odaadmcli show disk
    
            NAME            PATH            TYPE            STATE           STATE_DETAILS
      
            pd_00           /dev/nvme0n1    NVD             ONLINE          Good          
            pd_01           /dev/nvme1n1    NVD             ONLINE          Good          
            pd_02           /dev/nvme2n1    NVD             ONLINE          Good          
            pd_03           /dev/nvme13n1   NVD             ONLINE          Good          
            pd_04_c1        /dev/nvme4n1    NVD             UNKNOWN         NewDiskInserted
            pd_04_c2        /dev/nvme3n1    NVD             UNKNOWN         NewDiskInserted
            pd_05_c1        /dev/nvme9n1    NVD             UNKNOWN         NewDiskInserted
            pd_05_c2        /dev/nvme10n1   NVD             UNKNOWN         NewDiskInserted
            pd_06_c1        /dev/nvme5n1    NVD             UNKNOWN         NewDiskInserted
            pd_06_c2        /dev/nvme8n1    NVD             UNKNOWN         NewDiskInserted
            pd_07_c1        /dev/nvme12n1   NVD             UNKNOWN         NewDiskInserted
            pd_07_c2        /dev/nvme11n1   NVD             UNKNOWN         NewDiskInserted
    
    たとえば、2つのAICディスクを追加するには、AICに2つのNVMeディスクがあり、2つのAICディスクの合計値は4つのNVMeディスクであるため、ndisk値を4として指定する必要があります。
    #odaadmcli expand storage -ndisk 4
    Running precheck, it may take a few minutes.
    Precheck passed.
    Check the progress of expansion of storage by executing 'odaadmcli show disk'
    Waiting for expansion to finish. It may take several minutes to complete
    depending upon the number of disks being expanded
  4. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
            NAME PATH TYPE STATE STATE_DETAILS
     
            pd_00 /dev/nvme0n1 NVD ONLINE Good
            pd_01 /dev/nvme1n1 NVD ONLINE Good
            pd_02 /dev/nvme3n1 NVD ONLINE Good
            pd_03 /dev/nvme14n2 NVD ONLINE Good
            pd_04_c1 /dev/nvme10n1 NVD ONLINE Good
            pd_04_c2 /dev/nvme11n1 NVD ONLINE Good
            pd_05_c1 /dev/nvme8n1 NVD ONLINE Good
            pd_05_c2 /dev/nvme9n1 NVD ONLINE Good
    # 
  5. 2つのAICディスクが、次のようにOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
    1. asm_scriptを実行して、スロット3および4のディスクがOracle ASMに追加されていることを確認します。両方のディスクが正常に追加されたことを確認します(CACHEDおよびMEMBER)。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスクグループの一部である80:20のデフォルト構成の例を示します。
      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6
      # su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6 
      
      Tue Nov 28 02:46:20 PST 2023
       
      SQL*Plus: Release 19.0.0.0.0 - Production on Tue Nov 28 02:46:20 2023
      Version 19.21.0.0.0
       
      Copyright (c) 1982, 2022, Oracle.  All rights reserved.
       
       
      Connected to:
      Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
      Version 19.21.0.0.0
       
      SQL> SQL> SQL> SQL> SQL> 
      PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
      ---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
      AFD:NVD_S04_C1_PHAZ22330P1               NVD_S04_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C1_PHAZ22330P2               NVD_S04_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C1_PHAZ22330P3               NVD_S04_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C1_PHAZ22330P4               NVD_S04_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C1_PHAZ22330P5               NVD_S04_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C2_PHAZ22330P10              NVD_S04_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C2_PHAZ22330P6               NVD_S04_C2_PHAZ22330P6                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C2_PHAZ22330P7               NVD_S04_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C2_PHAZ22330P8               NVD_S04_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S04_C2_PHAZ22330P9               NVD_S04_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C1_PHAZ23330P1               NVD_S05_C1_PHAZ23330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C1_PHAZ23330P2               NVD_S05_C1_PHAZ23330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C1_PHAZ23330P3               NVD_S05_C1_PHAZ23330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C1_PHAZ23330P4               NVD_S05_C1_PHAZ23330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C1_PHAZ23330P5               NVD_S05_C1_PHAZ23330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C2_PHAZ23330P10              NVD_S05_C2_PHAZ23330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C2_PHAZ23330P6               NVD_S05_C2_PHAZ23330P6                         1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C2_PHAZ23330P7               NVD_S05_C2_PHAZ23330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C2_PHAZ23330P8               NVD_S05_C2_PHAZ23330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:NVD_S05_C2_PHAZ23330P9               NVD_S05_C2_PHAZ23330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_QRMDSK_P2                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
      AFD:SSD_QRMDSK_P1                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
      SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
      Version 19.21.0.0.0
    2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
      # odaadmcli show validation storage errors
    3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
      # odaadmcli show validation storage failures
    4. 追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、2つのAICを4つのSFFに追加した場合、oak_storage_conf.xmlファイルには、numberOfDisksが8と表示される必要があります。
      #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
      <!--
      This file is created by the ODA software as part of system provisioning
      based on system provisioning requests. Values of element nodes can be
      changed by OAK in response to storage configuration change operation.
      DO NOT EDIT THIS FILE.
      -->
      <CometConfiguration>
        <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
          <!--  Number of disks part of OAK -->
          <numberOfDisks>8</numberOfDisks>
          <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
          <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
          <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
          <numOfDataDiskPartitionInAsm>8</numOfDataDiskPartitionInAsm>
        </OakStorageConfigInfo>
      </CometConfiguration>
      #
      たとえば、4つのAICディスクを追加するには、AICに2つのNVMeディスクがあり、4つのAICディスクの合計値は8つのNVMeディスクであるため、ndisk値を8として指定する必要があります。
      #odaadmcli expand storage -ndisk 8
      Running precheck, it may take a few minutes.
      Precheck passed.
      Check the progress of expansion of storage by executing 'odaadmcli show disk'
      Waiting for expansion to finish. It may take several minutes to complete
      depending upon the number of disks being expanded
    5. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
      # odaadmcli show disk
      pd_00 /dev/nvme0n1 NVD ONLINE Good
      pd_01 /dev/nvme1n1 NVD ONLINE Good
      pd_02 /dev/nvme2n1 NVD ONLINE Good
      pd_03 /dev/nvme3n1 NVD ONLINE Good
      pd_04_c1 /dev/nvme4n1 NVD ONLINE Good
      pd_04_c2 /dev/nvme5n1 NVD ONLINE Good
      pd_05_c1 /dev/nvme9n1 NVD ONLINE Good
      pd_05_c2 /dev/nvme8n1 NVD ONLINE Good
      pd_06_c1 /dev/nvme11n1 NVD ONLINE Good
      pd_06_c2 /dev/nvme10n1 NVD ONLINE Good
      pd_07_c1 /dev/nvme12n1 NVD ONLINE Good
      pd_07_c2 /dev/nvme13n1 NVD ONLINE Good 
    6. ディスクが、次のようにOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
      1. asm_scriptを実行して、AICディスクがOracle ASMに追加されていることを確認します。両方のディスクが正常に追加されたことを確認します(CACHEDおよびMEMBER)。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスクグループの一部である80:20のデフォルト構成の例を示します。
        # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6
        # su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 0 6 
        
        Tue Nov 28 02:46:20 PST 2023
         
        SQL*Plus: Release 19.0.0.0.0 - Production on Tue Nov 28 02:46:20 2023
        Version 19.21.0.0.0
         
        Copyright (c) 1982, 2022, Oracle.  All rights reserved.
         
         
        Connected to:
        Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
        Version 19.21.0.0.0
         
        SQL> SQL> SQL> SQL> SQL> 
        AFD:NVD_S04_C1_PHAZ22330P1               NVD_S04_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C1_PHAZ22330P2               NVD_S04_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C1_PHAZ22330P3               NVD_S04_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C1_PHAZ22330P4               NVD_S04_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C1_PHAZ22330P5               NVD_S04_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C2_PHAZ22330P10              NVD_S04_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C2_PHAZ22330P6               NVD_S04_C2_PHAZ22330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C2_PHAZ22330P7               NVD_S04_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C2_PHAZ22330P8               NVD_S04_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S04_C2_PHAZ22330P9               NVD_S04_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C1_PHAZ23330P1               NVD_S05_C1_PHAZ23330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C1_PHAZ23330P2               NVD_S05_C1_PHAZ23330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C1_PHAZ23330P3               NVD_S05_C1_PHAZ23330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C1_PHAZ23330P4               NVD_S05_C1_PHAZ23330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C1_PHAZ23330P5               NVD_S05_C1_PHAZ23330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C2_PHAZ23330P10              NVD_S05_C2_PHAZ23330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C2_PHAZ23330P6               NVD_S05_C2_PHAZ23330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C2_PHAZ23330P7               NVD_S05_C2_PHAZ23330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C2_PHAZ23330P8               NVD_S05_C2_PHAZ23330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S05_C2_PHAZ23330P9               NVD_S05_C2_PHAZ23330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C1_PHAZ22330P1               NVD_S06_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C1_PHAZ22330P2               NVD_S06_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C1_PHAZ22330P3               NVD_S06_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C1_PHAZ22330P4               NVD_S06_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C1_PHAZ22330P5               NVD_S06_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C2_PHAZ22330P10              NVD_S06_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C2_PHAZ22330P6               NVD_S06_C2_PHAZ22330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C2_PHAZ22330P7               NVD_S06_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C2_PHAZ22330P8               NVD_S06_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S06_C2_PHAZ22330P9               NVD_S06_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C1_PHAZ22330P1               NVD_S07_C1_PHAZ22330P1                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C1_PHAZ22330P2               NVD_S07_C1_PHAZ22330P2                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C1_PHAZ22330P3               NVD_S07_C1_PHAZ22330P3                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C1_PHAZ22330P4               NVD_S07_C1_PHAZ22330P4                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C1_PHAZ22330P5               NVD_S07_C1_PHAZ22330P5                         1 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C2_PHAZ22330P10              NVD_S07_C2_PHAZ22330P10                        2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C2_PHAZ22330P6               NVD_S07_C2_PHAZ22330P6                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C2_PHAZ22330P7               NVD_S07_C2_PHAZ22330P7                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C2_PHAZ22330P8               NVD_S07_C2_PHAZ22330P8                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:NVD_S07_C2_PHAZ22330P9               NVD_S07_C2_PHAZ22330P9                         2 NORMAL   ONLINE  CACHED  MEMBER
        AFD:SSD_QRMDSK_P2                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
        AFD:SSD_QRMDSK_P1                                                                       0 NORMAL   ONLINE  CLOSED  FORMER
      2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
        # odaadmcli show validation storage errors
      3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
        # odaadmcli show validation storage failures
      4. 追加されたディスクの数がoak_storage_conf.xmlファイルに表示されることを確認します。たとえば、4つのAICを4つのSFFに追加した場合、oak_storage_conf.xmlファイルには、numberOfDisksが12、つまり4つのAICに対して4つのSFF NVMEディスクと8つのNVMeディスクが表示される必要があります。
        #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
        <!--
        This file is created by the ODA software as part of system provisioning
        based on system provisioning requests. Values of element nodes can be
        changed by OAK in response to storage configuration change operation.
        DO NOT EDIT THIS FILE.
        -->
        <CometConfiguration>
          <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
            <!--  Number of disks part of OAK -->
            <numberOfDisks>12</numberOfDisks>
            <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
            <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
            <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
            <numOfDataDiskPartitionInAsm>12</numOfDataDiskPartitionInAsm>
          </OakStorageConfigInfo>
        </CometConfiguration>
        #

スモール・フォーム・ファクタ(SFF) NVMeストレージ・ディスクの交換

Oracle Database Appliance上の既存のSFF NVMeディスクを交換する方法を理解します。

ストレージのアップグレードの準備

  1. 既存のストレージ・ディスクのディスクの状態を確認します。

    # odaadmcli show disk
  2. odaadmcli show diskコマンドおよびasmcmd lsdsk -pコマンドを実行して、OAKDおよびOracle Automatic Storage Management (Oracle ASM)のストレージ・ディスク情報を表示および確認します。
    # odaadmcli show disk
    # asmcmd lsdsk -p
  3. ORAchkを使用して、Oracle ASMおよびOracle Clusterwareの状態を確認します。

NVMeストレージ・ディスクの交換

NVMeストレージ・ディスクを交換するには、次のすべてのステップに従います:

警告:

電源をオフにする前にドライブを引き出すと、カーネルがクラッシュし、データ破損が発生する可能性があります。LEDがオレンジ色または緑色の場合は、ドライブを引き出さないでください。  NVMeドライブを交換する必要がある場合は、ドライブをスロットから引き出す前に、ソフトウェアを使用して電源をオフにしてください。交換するディスクが複数ある場合は、1台目のディスクの交換を完了してから次のディスクの交換を開始してください。

  1. NVMeディスクをスロットから取り外す前に電源をオフにします。
  2. OAKDがディスクの取外し操作を完了するまで1分待ちます。
  3. 新しいディスクをスロットに挿入します。
  4. OAKDがOracle ASMおよびOAKにディスクを追加する操作を完了するまで、各ディスクを挿入してから少なくとも2-3分待ちます。
  5. odaadmcli show diskコマンドを使用して、OAKDの新しいディスクのステータスを確認します。ディスクのステータスは、OAKDでOnlineおよびGoodである必要があります。asmcmd lsdsk -pコマンドを使用して、Oracle ASMの新しいディスクのステータスを確認します。ディスクはCACHED MEMBER ONLINE NORMAL状態である必要があります。
    # odaadmcli show disk
    # asmcmd lsdsk -p

高可用性システムでのストレージの管理

Oracle Database Appliance X10-HAシステムのストレージを理解します。

Oracle Database Appliance X10-HAのストレージ・オプションについて

Oracle Database Applianceの高可用性システムには、高パフォーマンスおよび大容量のストレージ構成のためのオプションがあります。

Oracle Database Appliance X10-HAハードウェア・モデルの基本構成には、7.68TBのSSD RAWストレージ・ドライブを備えた6つのスロット(スロット0-5)があります。最大限のストレージ容量を注文してデプロイする場合は、残りの18個のスロット(スロット6-23)にSSDドライブまたはHDDドライブを装着できます。さらにストレージを拡張するために、ストレージ拡張シェルフを追加してアプライアンスのストレージ容量を2倍にできます。

すべての構成で、ベースストレージとストレージ拡張シェルフにはそれぞれ、SSDオプションでのDATA/RECO用、またはHDDオプションでのFLASH用に6台のSSDがあります。

Oracle Database Appliance X10-HAでは、REDOディスク・グループ専用のSSDドライブは割り当てられません。かわりに、必要に応じて、SSDドライブでREDOログ用の領域が割り当てられます。

Oracle ASMストレージの場合、REDOログは、選択したデータベース・シェイプに基づいて、データベース作成時に使用可能なディスク・グループ領域に格納されます。Oracle ACFSストレージの場合、REDOログ用の領域が、データベース・ストレージの作成時に最小データベース・シェイプ(odb1s)を想定して割り当てられます。データベースなしでデータベース・ストレージを作成する場合、REDOログ用に割り当てられる領域は、最小データベース・シェイプ(odb1s)を想定して、4 GBです。その後、既存のデータベース・ストレージで必要なデータベース・シェイプを使用してデータベースを作成すると、REDOログ領域がデータベースのシェイプに基づいて拡張されます。

SSDドライブのみを使用するOracle Database Appliance X10-HA高パフォーマンス構成では、DATAおよびRECOディスク・グループは、6、12、18、24または48 (ストレージ拡張シェルフを使用)のいずれであっても、すべてのSSDドライブを使用します。REDOログはRECOディスク・グループに格納されます。

Oracle Database Appliance X10-HA大容量構成(HDDドライブとSSDドライブの両方を使用)では、DATAおよびRECOディスク・グループはHDDドライブを使用し、SSDドライブでFLASHディスク・グループが格納されます。REDOログはFLASHディスク・グループに格納されます。

高パフォーマンス構成と大容量構成の両方で、REDOログは、以前のOracle Database Applianceハードウェア・モデルと同様に、常にSSDドライブに作成されます。REDOログは、RECOまたはFLASHのいずれであっても、ディスク・グループの冗長性レベルに関係なく、常に高冗長性で作成されます。

高パフォーマンス

高パフォーマンス構成では、DATAおよびRECOストレージにソリッド・ステート・ドライブ(SSD)が使用されます。基本構成には6台のディスクがあり、それぞれにDATAおよびRECO用の7.68 TBのSSD RAWストレージがあります。

基本構成で、SSDの6個パックを最大で3つ追加して、合計184.32 TBのSSD RAWストレージにできます。さらにストレージが必要な場合は、SSDドライブの拡張シェルフを追加することで容量を2倍にできます。拡張シェルフで、それぞれにDATAおよびRECO用の7.68TBのRAWストレージがある追加の24台のSSDが提供されるため、合計で184.32 TBのSSD RAWストレージが追加されます。

拡張シェルフを追加するには、ベース・ストレージ・シェルフと拡張シェルフが、SSDドライブで完全に埋められている必要があります。ストレージを拡張する場合、停止時間は発生しません。

高パフォーマンス用に完全に構成されたシステムには、DATAおよびRECO用の368.64 TBのSSD RAWストレージがあります。

大容量

大容量構成では、SSDドライブとHDDドライブの組合せが使用されます。

基本構成には6台のディスクがあり、それぞれにFLASH用の7.68 TBのSSD RAWストレージがあります。

次の拡張オプションがあります。

  • ベース・シェルフ: DATAおよびRECO用の追加の396TBのHDD RAWストレージ(それぞれ22 TBのストレージを持つ18台のHDD)

  • 拡張ストレージ・シェルフ: 追加のシェルフ・ストレージ構成は、ベース・シェルフのストレージ構成と同じである必要があります。

大容量用に完全に構成されたシステムには、DATA、RECOおよびFLASH用の合計884.16 TBのRAWストレージ(92.16 TBのSSDと792 TBのHDD)があります。

表10-2 Oracle Database Appliance X10-HAのストレージ・オプション

構成 高パフォーマンスのためのOracle Database Appliance X10-HAのSSDのみの構成 大容量のためのOracle Database Appliance X10-HAのSSDとHDDの構成
基本構成

ベース・ストレージ・シェルフには、7.68 TBのSSDが6台含まれています。

  • 6台の7.68 TBのSSD = 46 TBのSSD

ベース・ストレージ・シェルフは、7.68 TBのSSDの6個パックと18個の22 TBのHDDドライブで完全に埋められています。

  • 6台の7.68 TBのSSD = 46 TBのSSD

  • 18台の22 TBのHDD = 396 TBのHDD

  • 最初のJBODの合計ストレージ = 442 TB (46 TBのSSDと396 TBのHDD)
ストレージ追加オプション

ベース・シェルフには6台のSSDが含まれています。追加の18台のSSDは、6個パックで追加する必要があります。

  • ベース・システム: 6台の7.68 TBのSSD = 46 TBのSSD

  • 6台のSSDを追加: 12台の7.68 TBのSSD = 92 TBのSSD

  • 12台のSSDを追加: 18台の7.68 TBのSSD = 138 TBのSSD
  • 18台のSSDを追加: 24台の7.68 TBのSSD = 184 TBのSSD (完全に埋められたシェルフ)

該当なしベース・ストレージ・シェルフは完全に埋められています。

ストレージ・シェルフの拡張オプション
  • オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。
  • ベース・ストレージ・シェルフの合計ストレージ = 184 TBのSSD
  • 拡張シェルフのストレージ = 24台の7.68 TBのSSD = 184 TBのSSD
  • 両方のJBODを含む合計ストレージ = 368.6 TBのSSD
  • オプションの拡張ストレージ・シェルフは、ベース・ストレージ・シェルフが完全に埋められた後でのみ取り付けることができ、ベース・ストレージ・シェルフと同じ構成である必要があります。
  • ベース・ストレージ・シェルフの合計ストレージ = 442 TB (46 TBのSSDと396 TBのHDD)
  • 両方のJBODを含む合計ストレージ = 884 TB (92 TBのSSDと792 TBのHDD)

高パフォーマンス・システムから大容量システムへの変換

大容量構成用に、6台のSSD + 18台のHDDのフル装備のベース・ストレージ・シェルフを注文できます。最初にデフォルトの6台のSSDのみのベース・ストレージ・シェルフを注文し、高パフォーマンス・システムをデプロイした場合は、後でこれを大容量システム構成に変換できます。18台のHDDを注文し、次のようにベース・ストレージ・シェルフに装着します:
  1. プロビジョニングされたシステムの6 SSD構成のデフォルト・ストレージにデータベースのバックアップを作成します。
  2. 両方のノードで--erasedataオプションを指定してクリーン・アップ・ユーティリティを実行し、OAKおよびOracle ASMヘッダーのすべてのSSDディスクを消去します。--erasedataオプションはSSDディスクを完全に消去するため、ディスク上のデータはすべて失われ、リカバリ不能になります。
  3. 両方のノードをクリーン・アップした後に、ベース・ストレージ・シェルフに18台のHDDディスクを追加します。これらの18台のHDDは、OAKおよびOracle ASMヘッダーがないOracleの新品のディスクである必要があります。
  4. 必要なOAKバージョンで両方のノードを再イメージ化します。
  5. システムを再度プロビジョニングします。

データ・ストレージ用のソリッド・ステート・ドライブ(SSD)の追加

データ・ストレージ用のソリッド・ステート・ドライブ(SSD)のパックを既存のOracle Database Appliance X10-HAの基本構成に追加して、ベース・ストレージ・シェルフを完全に埋めるようにします。

ストレージを基本構成に追加する必要がある場合は、SSDの6個パックを1つ、2つまたは3つ注文して、Oracle Database Appliance X10-HAの基本構成を完全なものにできます。

拡張シェルフをOracle Database Appliance X10-HAに追加する前に、基本構成を完全に埋める必要があります。拡張シェルフを追加する場合は、そのシェルフに基本構成と同じディスク・ストレージ構成が必要です。

ノート:

高パフォーマンス構成では、ベース・ストレージ・シェルフにSSDを追加したり、ストレージ拡張シェルフを追加できます。6台のSSDがある大容量の基本構成の場合、HDDを使用するようにストレージを拡張する場合は、アプライアンスを再イメージ化してデプロイする必要があります。
ディスクをシステムに追加する前に、Oracle Database Applianceを最新リリースにしてください。
  1. スロットにディスクを1つずつ挿入します。

    SSDの6個パックを1つ追加するには、スロット6から11にディスクを挿入します。SSDの6個パックを2つ追加するには、スロット6から17にディスクを挿入します。SSDの6個パックを3つ追加するには、スロット6から23にディスクを挿入します。

    ノート:

    ディスクを挿入してから次のディスクを挿入するまでに、少なくとも1分待ちます。
    すべてのディスクを追加したら、ステップ2に進みます。
  2. 任意のノードでodaadmcli expand storageコマンドを実行します。
    # odaadmcli expand storage -ndisk number_of_disks_to_be_added -enclosure enclosure_number_of_the_disks_to_be_added

    最初のストレージ・エンクロージャまたはJBOD (単純ディスク束)にストレージ・ディスクを追加するときのエンクロージャ番号は0です。

    たとえば:

    
    # odaadmcli expand storage -ndisk 6 -enclosure 0
    Running precheck, it may take a few minutes.
    Precheck passed.
    Check the progress of expansion of storage by executing 'odaadmcli show disk'
    Waiting for expansion to finish. It may take several minutes to complete
    depending upon the number of disks being expanded
     
    odaadmcli expand storage command completed.
    Check the status of the newly-expanded disk in OAK by running the odaadmcli show disk command. 
    All disks must be in the ONLINE status. Check the status of the newly-expanded disk in Oracle ASM by running the asmcmd lsdsk -p. 
    The mount status must be CACHED and the header status must be MEMBER for all the newly-added disks. 
    If the status of the newly-added disks in OAK and Oracle ASM are different, then the odaadmcli expand storage command failed.
    すべてのディスクを構成に追加するには、10から12分かかります。
  3. odaadmcli show diskコマンドを実行して、すべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
  4. スロット6から11のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。
    1. asm_scriptを実行して、スロット6から11のディスクがOracle Automatic Storage Management (Oracle ASM)に追加されていることを確認します。6つのディスクが正常に追加されている場合(CACHEDおよびMEMBER)、ステップ7に進みます。次に、8つのパーティション(p1からp8)がDATAディスク・グループの一部で、2つのパーティション(p9およびp10)がRECOディスクグループの一部である80:20のデフォルト構成の例を示します。
      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6

      たとえば:

      # su gridUser /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
      # su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6 
      
      SQL*Plus: Release 19.0.0.0.0 - Production on Thu Nov 30 04:57:57 2023
      Version 19.21.0.0.0
      
      Copyright (c) 1982, 2022, Oracle.  All rights reserved.
      
      
      Connected to:
      Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
      Version 19.21.0.0.0
      
      SQL> SQL> SQL> SQL> SQL> 
      PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
      ---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
      AFD:SSD_E0_S06_46724304P1                SSD_E0_S06_46724304P1                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P10               SSD_E0_S06_46724304P10                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P2                SSD_E0_S06_46724304P2                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P3                SSD_E0_S06_46724304P3                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P4                SSD_E0_S06_46724304P4                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P5                SSD_E0_S06_46724304P5                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P6                SSD_E0_S06_46724304P6                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P7                SSD_E0_S06_46724304P7                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P8                SSD_E0_S06_46724304P8                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S06_46724304P9                SSD_E0_S06_46724304P9                          2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P1                SSD_E0_S07_47182256P1                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P10               SSD_E0_S07_47182256P10                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P2                SSD_E0_S07_47182256P2                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P3                SSD_E0_S07_47182256P3                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P4                SSD_E0_S07_47182256P4                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P5                SSD_E0_S07_47182256P5                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P6                SSD_E0_S07_47182256P6                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P7                SSD_E0_S07_47182256P7                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P8                SSD_E0_S07_47182256P8                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S07_47182256P9                SSD_E0_S07_47182256P9                          2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P1                SSD_E0_S08_46724288P1                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P10               SSD_E0_S08_46724288P10                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P2                SSD_E0_S08_46724288P2                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P3                SSD_E0_S08_46724288P3                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P4                SSD_E0_S08_46724288P4                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P5                SSD_E0_S08_46724288P5                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P6                SSD_E0_S08_46724288P6                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P7                SSD_E0_S08_46724288P7                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P8                SSD_E0_S08_46724288P8                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S08_46724288P9                SSD_E0_S08_46724288P9                          2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P1                SSD_E0_S09_47180592P1                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P10               SSD_E0_S09_47180592P10                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P2                SSD_E0_S09_47180592P2                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P3                SSD_E0_S09_47180592P3                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P4                SSD_E0_S09_47180592P4                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P5                SSD_E0_S09_47180592P5                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P6                SSD_E0_S09_47180592P6                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P7                SSD_E0_S09_47180592P7                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P8                SSD_E0_S09_47180592P8                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S09_47180592P9                SSD_E0_S09_47180592P9                          2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P1                SSD_E0_S10_47182288P1                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P10               SSD_E0_S10_47182288P10                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P2                SSD_E0_S10_47182288P2                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P3                SSD_E0_S10_47182288P3                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P4                SSD_E0_S10_47182288P4                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P5                SSD_E0_S10_47182288P5                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P6                SSD_E0_S10_47182288P6                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P7                SSD_E0_S10_47182288P7                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P8                SSD_E0_S10_47182288P8                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S10_47182288P9                SSD_E0_S10_47182288P9                          2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P1                SSD_E0_S11_46722912P1                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P10               SSD_E0_S11_46722912P10                         2 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P2                SSD_E0_S11_46722912P2                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P3                SSD_E0_S11_46722912P3                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P4                SSD_E0_S11_46722912P4                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P5                SSD_E0_S11_46722912P5                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P6                SSD_E0_S11_46722912P6                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P7                SSD_E0_S11_46722912P7                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P8                SSD_E0_S11_46722912P8                          1 NORMAL   ONLINE  CACHED  MEMBER
      AFD:SSD_E0_S11_46722912P9                SSD_E0_S11_46722912P9                          2 NORMAL   ONLINE  CACHED  MEMBER
      
      SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
      Version 19.21.0.0.0
      #
    2. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
      # odaadmcli show validation storage errors
    3. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
      # odaadmcli show validation storage failures
    4. oak_storage_conf.xmlファイルに、追加されたディスクの数が表示されることを確認します。たとえば、基本構成にディスクを6つ追加した場合、oak_storage_conf.xmlファイルにはnumberOfDisksが12と表示される必要があります。基本構成に12個のディスクを追加した場合、oak_storage_conf.xmlファイルには18と表示される必要があります。
      #cat /opt/oracle/oak/conf/oak_storage_conf.xml 
      <!--
      This file is created by the ODA software as part of system provisioning
      based on system provisioning requests. Values of element nodes can be
      changed by OAK in response to storage configuration change operation.
      DO NOT EDIT THIS FILE.
      -->
      <CometConfiguration>
        <OakStorageConfigInfo type="string" dimension="vector" readonly="true" required="true" default="">
          <!--  Number of disks part of OAK -->
          <numberOfDisks>12</numberOfDisks>
          <!--   Number of partitions per disk part of DATA diskgroup in multiple partition scheme   -->
          <!--   Number of partitions per disk part of RECO diskgroup in multiple partition scheme   -->
          <!--   are derived from number of partitions per disk which are part of ASM DATA diskgroup -->
          <numOfDataDiskPartitionInAsm>8</numOfDataDiskPartitionInAsm>
        </OakStorageConfigInfo>
      </CometConfiguration>
      #

ストレージ拡張シェルフの追加

ベース・ストレージ・シェルフが完全に埋められたら、ストレージ拡張シェルフを追加して、高可用性プラットフォームのデータ・ストレージを拡張できます。

拡張シェルフは、Oracle Database Appliance X10-HAなどのOracle Database Appliance高可用性プラットフォームで使用できます。ストレージ拡張シェルフの追加には、両方のノードを対象としたチェックが含まれます。SSHがノード全体で機能し、すべてのユーザーが共有パスワードを使用して期待どおりに接続できることを確認することが重要です。

拡張シェルフを追加する前に、基本構成を完全に埋める必要があります。拡張シェルフを追加する場合は、そのシェルフにベース・ストレージ・シェルフと同じディスク・ストレージ構成が必要です。

ノート:

データベースのアクティビティが比較的少ないときに、ストレージ拡張シェルフを追加することをお薦めします。システムが新しいストレージを検出すると、Oracle Automatic Storage Management (Oracle ASM)によって自動的にディスク・グループがリバランスされます。再バランス操作を行うと、操作が完了するまでパフォーマンスが低下する可能性があります。
  1. ストレージ拡張シェルフを取り付けて配線しますが、拡張シェルフの電源はオンにしません

    注意:

    慎重に配線手順を参照して、ケーブル接続が正しく行われたことを確認してください。データベースが既存するOracle Database Applianceにストレージ拡張シェルフを追加したときに、誤って接続すると、データ損失を招く可能性があります。

  2. 両方のノードとベース・ストレージ・シェルフが稼働していることを確認します。各サーバー・ノードにログインし、odacli validate-storagetopologyコマンドを実行して、基本構成のケーブル接続が正しいことを確認します。
    
    # odacli validate-storagetopology
     ...
          INFO  : Check if JBOD powered on
      SUCCESS   : JBOD : Powered-on                                          
          INFO  : Check for correct number of EBODS(2 or 4)
      SUCCESS   : EBOD found : 2                                                                                                                                                                     INFO       : Check for overall status of cable validation on Node0
      SUCCESS   : Overall Cable Validation on Node0            
      SUCCESS   : JBOD Nickname set correctly : Oracle Database Appliance - E0
    コマンドを実行して、2つのサーバー・ノードがベース・ストレージ・シェルフに正しく配線されていて、すべてのディスクがオンラインであり、適切なステータスであり、両方のノードの既存のディスク・グループに追加されていることを確認します。障害が発生する場合は、次のステップに進む前にケーブル接続を修正します。

    ノート:

    出力でEBOD foundが2であることが示されている場合は、ベース・ストレージ・シェルフのみが存在します。EBOD foundが4の場合、ベース・ストレージ・シェルフと拡張シェルフがあります。

    ノート:

    工場からの新しいJBODフレッシュを追加した場合、odacli validate-storagetopologyコマンドの出力は次のようになります。
    # odacli validate-storagetopology
     ...
    WARNING : JBOD Nickname is incorrectly set to :
  3. ストレージ拡張シェルフの電源をオンにして、20分間待機してから、ストレージ拡張用のCLIコマンドを発行します。
  4. 各サーバー・ノードにログインし、odacli validate-storagetopologyコマンドを実行してストレージのケーブル接続を検証し、新しいストレージ・シェルフが認識されていることを確認します。
    
    # odacli validate-storagetopology
    
      INFO    : Check if JBOD powered on
      SUCCESS : 2JBOD : Powered-on                                               
      INFO    : Check for correct number of EBODS(2 or 4)
      SUCCESS : EBOD found : 4                                                   
       ...
       ...
    
       INFO    : Check for overall status of cable validation on Node0
       SUCCESS : Overall Cable Validation on Node0            
       SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
       SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1                 
    工場からの新しいJBODフレッシュを追加した場合、odacli validate-storagetopologyコマンドの出力は次のようになります。
    # odacli validate-storagetopology
     ...
    WARNING : JBOD Nickname is incorrectly set to :
    両方のストレージ・シェルフが認識されていることを示す次のインジケータを探します。
    • シェルフが2台ある場合は、JBODに番号が付けられます。たとえば:
      SUCCESS : 2JBOD : Powered-on
    • 両方のシェルフが認識された場合、EBOD foundの値は4です。
      SUCCESS : EBOD found : 4
    • 拡張シェルフが正しく配線されている場合、ニックネームはE1です。たとえば:

              SUCCESS : JBOD0 Nickname set correctly : Oracle Database Appliance - E0
              SUCCESS : JBOD1 Nickname set correctly : Oracle Database Appliance - E1  

    次に進む前にエラーを修正します。

  5. odaadmcli show diskコマンドを実行して、拡張シェルフのすべてのディスクがリストされ、オンラインであり、良好な状態であることを確認します。
    # odaadmcli show disk
    すべてのディスクがオンラインで良好な状態の場合は、次のステップに進みます。
  6. odaadmcli show enclosureコマンドを実行して、拡張シェルフのコンポーネントの状態を確認します。
    # odaadmcli show enclosure
  7. odaadmcli expand storageコマンドを実行します。
    # odaadmcli expand storage -ndisk 24 -enclosure 1
    Running precheck, it may take a few minutes.
    Precheck passed.
    Check the progress of expansion of storage by executing 'odaadmcli show disk'
    Waiting for expansion to finish. It may take several minutes to complete
    depending upon the number of disks being expanded
    
    odaadmcli expand storage command completed.
    
    すべてのディスクを構成に追加するには、30から40分ほどかかります。
  8. odaadmcli show diskコマンドを実行して、OAKの新しく拡張されたディスクのステータスを確認します。すべてのディスクのステータスはONLINEである必要があります。asmcmd lsdsk -pコマンドを実行して、Oracle ASMの新しく拡張されたディスクのステータスを確認します。マウント・ステータスはCACHEDで、新しく追加されたすべてのディスクのヘッダー・ステータスはMEMBERである必要があります。OAKとOracle ASMの新しく追加されたディスクのステータスが異なる場合、odaadmcli expand storageコマンドは失敗します。
    Oracle Database Appliance X10-HA大容量システムの例:
    # odaadmcli show disk
            NAME            PATH            TYPE            STATE           STATE_DETAILS
      
            e0_pd_00        /dev/sda        SSD             ONLINE          Good          
            e0_pd_01        /dev/sdb        SSD             ONLINE          Good          
            e0_pd_02        /dev/sdc        SSD             ONLINE          Good          
            e0_pd_03        /dev/sdab       SSD             ONLINE          Good          
            e0_pd_04        /dev/sdad       SSD             ONLINE          Good          
            e0_pd_05        /dev/sdac       SSD             ONLINE          Good          
            e0_pd_06        /dev/sdae       HDD             ONLINE          Good          
            e0_pd_07        /dev/sdaf       HDD             ONLINE          Good          
            e0_pd_08        /dev/sdag       HDD             ONLINE          Good          
            e0_pd_09        /dev/sdai       HDD             ONLINE          Good          
            e0_pd_10        /dev/sdah       HDD             ONLINE          Good          
            e0_pd_11        /dev/sdaj       HDD             ONLINE          Good          
            e0_pd_12        /dev/sdak       HDD             ONLINE          Good          
            e0_pd_13        /dev/sdam       HDD             ONLINE          Good          
            e0_pd_14        /dev/sdal       HDD             ONLINE          Good          
            e0_pd_15        /dev/sdan       HDD             ONLINE          Good          
            e0_pd_16        /dev/sdap       HDD             ONLINE          Good          
            e0_pd_17        /dev/sdar       HDD             ONLINE          Good          
            e0_pd_18        /dev/sdaq       HDD             ONLINE          Good          
            e0_pd_19        /dev/sdao       HDD             ONLINE          Good          
            e0_pd_20        /dev/sdat       HDD             ONLINE          Good          
            e0_pd_21        /dev/sdas       HDD             ONLINE          Good          
            e0_pd_22        /dev/sdau       HDD             ONLINE          Good          
            e0_pd_23        /dev/sdav       HDD             ONLINE          Good          
            e1_pd_00        /dev/sdaw       SSD             ONLINE          Good          
            e1_pd_01        /dev/sdax       SSD             ONLINE          Good          
            e1_pd_02        /dev/sday       SSD             ONLINE          Good          
            e1_pd_03        /dev/sdaz       SSD             ONLINE          Good          
            e1_pd_04        /dev/sdba       SSD             ONLINE          Good          
            e1_pd_05        /dev/sdbb       SSD             ONLINE          Good          
            e1_pd_06        /dev/sdbc       HDD             ONLINE          Good          
            e1_pd_07        /dev/sdbd       HDD             ONLINE          Good          
            e1_pd_08        /dev/sdbe       HDD             ONLINE          Good          
            e1_pd_09        /dev/sdbf       HDD             ONLINE          Good          
            e1_pd_10        /dev/sdbg       HDD             ONLINE          Good          
            e1_pd_11        /dev/sdbh       HDD             ONLINE          Good          
            e1_pd_12        /dev/sdbi       HDD             ONLINE          Good          
            e1_pd_13        /dev/sdbj       HDD             ONLINE          Good          
            e1_pd_14        /dev/sdbk       HDD             ONLINE          Good          
            e1_pd_15        /dev/sdbl       HDD             ONLINE          Good          
            e1_pd_16        /dev/sdbm       HDD             ONLINE          Good          
            e1_pd_17        /dev/sdbn       HDD             ONLINE          Good          
            e1_pd_18        /dev/sdbo       HDD             ONLINE          Good          
            e1_pd_19        /dev/sdbp       HDD             ONLINE          Good          
            e1_pd_20        /dev/sdbq       HDD             ONLINE          Good          
            e1_pd_21        /dev/sdbr       HDD             ONLINE          Good          
            e1_pd_22        /dev/sdbs       HDD             ONLINE          Good          
            e1_pd_23        /dev/sdbt       HDD             ONLINE          Good          
    # 
    
    # su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
    
    SQL*Plus: Release 19.0.0.0.0 - Production on Tue Apr 2 21:05:51 2024
    Version 19.23.0.0.0
    
    Copyright (c) 1982, 2023, Oracle.  All rights reserved.
    
     
    Connected to:
    Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
    Version 19.23.0.0.0
    
    SQL> SQL> SQL> SQL> SQL>
    PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
    ---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
    AFD:HDD_E0_S06_134748696P1               HDD_E0_S06_134748696P1                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P10              HDD_E0_S06_134748696P10                        2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P2               HDD_E0_S06_134748696P2                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P3               HDD_E0_S06_134748696P3                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P4               HDD_E0_S06_134748696P4                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P5               HDD_E0_S06_134748696P5                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P6               HDD_E0_S06_134748696P6                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P7               HDD_E0_S06_134748696P7                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P8               HDD_E0_S06_134748696P8                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S06_134748696P9               HDD_E0_S06_134748696P9                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P1               HDD_E0_S07_134749392P1                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P10              HDD_E0_S07_134749392P10                        2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P2               HDD_E0_S07_134749392P2                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P3               HDD_E0_S07_134749392P3                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P4               HDD_E0_S07_134749392P4                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P5               HDD_E0_S07_134749392P5                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P6               HDD_E0_S07_134749392P6                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P7               HDD_E0_S07_134749392P7                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P8               HDD_E0_S07_134749392P8                         1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:HDD_E0_S07_134749392P9               HDD_E0_S07_134749392P9                         2 NORMAL   ONLINE  CACHED  MEMBER
    ''
    ''
    ''
    SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
    Version 19.23.0.0.0
    #
    Oracle Database Appliance X10-HA高パフォーマンス・システムの例:
    # odaadmcli show disk
            NAME            PATH            TYPE            STATE           STATE_DETAILS
      
            e0_pd_00        /dev/sda        SSD             ONLINE          Good          
            e0_pd_01        /dev/sdc        SSD             ONLINE          Good          
            e0_pd_02        /dev/sdaa       SSD             ONLINE          Good          
            e0_pd_03        /dev/sdab       SSD             ONLINE          Good          
            e0_pd_04        /dev/sdac       SSD             ONLINE          Good          
            e0_pd_05        /dev/sdad       SSD             ONLINE          Good          
            e0_pd_06        /dev/sdag       SSD             ONLINE          Good          
            e0_pd_07        /dev/sdae       SSD             ONLINE          Good          
            e0_pd_08        /dev/sdah       SSD             ONLINE          Good          
            e0_pd_09        /dev/sdaf       SSD             ONLINE          Good          
            e0_pd_10        /dev/sdai       SSD             ONLINE          Good          
            e0_pd_11        /dev/sdaj       SSD             ONLINE          Good          
            e0_pd_12        /dev/sdak       SSD             ONLINE          Good          
            e0_pd_13        /dev/sdam       SSD             ONLINE          Good          
            e0_pd_14        /dev/sdal       SSD             ONLINE          Good          
            e0_pd_15        /dev/sdan       SSD             ONLINE          Good          
            e0_pd_16        /dev/sdap       SSD             ONLINE          Good          
            e0_pd_17        /dev/sdao       SSD             ONLINE          Good          
            e0_pd_18        /dev/sdaq       SSD             ONLINE          Good          
            e0_pd_19        /dev/sdar       SSD             ONLINE          Good          
            e0_pd_20        /dev/sdas       SSD             ONLINE          Good          
            e0_pd_21        /dev/sdau       SSD             ONLINE          Good          
            e0_pd_22        /dev/sdat       SSD             ONLINE          Good          
            e0_pd_23        /dev/sdav       SSD             ONLINE          Good          
            e1_pd_00        /dev/sdaw       SSD             ONLINE          Good          
            e1_pd_01        /dev/sdax       SSD             ONLINE          Good          
            e1_pd_02        /dev/sday       SSD             ONLINE          Good          
            e1_pd_03        /dev/sdaz       SSD             ONLINE          Good          
            e1_pd_04        /dev/sdba       SSD             ONLINE          Good          
            e1_pd_05        /dev/sdbb       SSD             ONLINE          Good          
            e1_pd_06        /dev/sdbc       SSD             ONLINE          Good          
            e1_pd_07        /dev/sdbd       SSD             ONLINE          Good          
            e1_pd_08        /dev/sdbe       SSD             ONLINE          Good          
            e1_pd_09        /dev/sdbf       SSD             ONLINE          Good          
            e1_pd_10        /dev/sdbg       SSD             ONLINE          Good          
            e1_pd_11        /dev/sdbh       SSD             ONLINE          Good          
            e1_pd_12        /dev/sdbi       SSD             ONLINE          Good          
            e1_pd_13        /dev/sdbj       SSD             ONLINE          Good          
            e1_pd_14        /dev/sdbk       SSD             ONLINE          Good          
            e1_pd_15        /dev/sdbl       SSD             ONLINE          Good          
            e1_pd_16        /dev/sdbm       SSD             ONLINE          Good          
            e1_pd_17        /dev/sdbn       SSD             ONLINE          Good          
            e1_pd_18        /dev/sdbo       SSD             ONLINE          Good          
            e1_pd_19        /dev/sdbp       SSD             ONLINE          Good          
            e1_pd_20        /dev/sdbq       SSD             ONLINE          Good          
            e1_pd_21        /dev/sdbr       SSD             ONLINE          Good          
            e1_pd_22        /dev/sdbs       SSD             ONLINE          Good          
            e1_pd_23        /dev/sdbt       SSD             ONLINE          Good          
    # 
    #su grid /opt/oracle/oak/bin/stordiag/asm_script.sh 1 6
    
    SQL*Plus: Release 19.0.0.0.0 - Production on Sat Mar 30 03:09:45 2024
    Version 19.23.0.0.0
    
    Copyright (c) 1982, 2023, Oracle.  All rights reserved.
    
     
    Connected to:
    Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
    Version 19.23.0.0.0
    
    SQL> SQL> SQL> SQL> SQL>
    PATH                                     NAME                                GROUP_NUMBER STATE    MODE_ST MOUNT_S HEADER_STATU
    ---------------------------------------- ----------------------------------- ------------ -------- ------- ------- ------------
    AFD:SSD_E0_S00_51829200P1                SSD_E0_S00_51829200P1                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P10               SSD_E0_S00_51829200P10                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P2                SSD_E0_S00_51829200P2                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P3                SSD_E0_S00_51829200P3                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P4                SSD_E0_S00_51829200P4                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P5                SSD_E0_S00_51829200P5                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P6                SSD_E0_S00_51829200P6                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P7                SSD_E0_S00_51829200P7                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P8                SSD_E0_S00_51829200P8                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S00_51829200P9                SSD_E0_S00_51829200P9                          2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P1                SSD_E0_S01_51829664P1                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P10               SSD_E0_S01_51829664P10                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P2                SSD_E0_S01_51829664P2                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P3                SSD_E0_S01_51829664P3                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P4                SSD_E0_S01_51829664P4                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P5                SSD_E0_S01_51829664P5                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P6                SSD_E0_S01_51829664P6                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P7                SSD_E0_S01_51829664P7                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P8                SSD_E0_S01_51829664P8                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S01_51829664P9                SSD_E0_S01_51829664P9                          2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P1                SSD_E0_S02_51849168P1                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P10               SSD_E0_S02_51849168P10                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P2                SSD_E0_S02_51849168P2                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P3                SSD_E0_S02_51849168P3                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P4                SSD_E0_S02_51849168P4                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P5                SSD_E0_S02_51849168P5                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P6                SSD_E0_S02_51849168P6                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P7                SSD_E0_S02_51849168P7                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P8                SSD_E0_S02_51849168P8                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S02_51849168P9                SSD_E0_S02_51849168P9                          2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P1                SSD_E0_S03_51828144P1                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P10               SSD_E0_S03_51828144P10                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P2                SSD_E0_S03_51828144P2                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P3                SSD_E0_S03_51828144P3                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P4                SSD_E0_S03_51828144P4                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P5                SSD_E0_S03_51828144P5                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P6                SSD_E0_S03_51828144P6                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P7                SSD_E0_S03_51828144P7                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P8                SSD_E0_S03_51828144P8                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S03_51828144P9                SSD_E0_S03_51828144P9                          2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P1                SSD_E0_S04_51829536P1                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P10               SSD_E0_S04_51829536P10                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P2                SSD_E0_S04_51829536P2                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P3                SSD_E0_S04_51829536P3                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P4                SSD_E0_S04_51829536P4                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P5                SSD_E0_S04_51829536P5                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P6                SSD_E0_S04_51829536P6                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P7                SSD_E0_S04_51829536P7                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P8                SSD_E0_S04_51829536P8                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S04_51829536P9                SSD_E0_S04_51829536P9                          2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S05_51841136P1                SSD_E0_S05_51841136P1                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S05_51841136P10               SSD_E0_S05_51841136P10                         2 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E0_S05_51841136P2                SSD_E0_S05_51841136P2                          1 NORMAL   ONLINE  CACHED  MEMBER
    AFD:SSD_E1_S23_51847424P9                SSD_E1_S23_51847424P9                          2 NORMAL   ONLINE  CACHED  MEMBER
    ''
    ''
    ''
    
    SQL> Disconnected from Oracle Database 19c Enterprise Edition Release 19.0.0.0.0 - Production
    Version 19.23.0.0.0
    #
  9. odaadmcli show validation storage errorsコマンドを使用して、ハード・ストレージのエラーを表示します。
    ハードウェアのエラーには、特定のスロットに挿入されているディスクのタイプの誤り、ディスク・モデルが無効、ディスク・サイズの誤りが含まれます。
    # odaadmcli show validation storage errors
  10. odaadmcli show validation storage failuresコマンドを使用して、ソフト検証エラーを表示します。
    典型的なソフト・ディスクのエラーは、ディスクのファームウェアのバージョンが無効であるというものです。
    # odaadmcli show validation storage failures
  11. odacli describe-componentコマンドを実行して、ストレージ拡張のすべてのファームウェア・コンポーネントが最新であることを確認します。
    # odacli describe-component
  12. 必要に応じて、ストレージ・シェルフを更新し、odacli describe-componentコマンドを実行してファームウェアが最新であることを確認します。
    # odacli update
    # odacli describe-component