1 Oracle Exadata Database Machineの拡張準備

ラックのハードウェアを拡張する前に、この項の安全上の注意および配線情報を確認し、現在のラックに関する情報を収集します。

1.1 Oracle Exadataの拡張について

Oracle Exadataは、サーバーを現在の構成に追加するか、複数のラックを配線することにより拡張できます。

Oracle Exadataを拡張する際の考慮事項は次のとおりです。

  • 許容される最大数の範囲でデータベース・サーバーとストレージ・サーバーを任意に組み合せて追加し、Oracle Exadataを既定またはカスタムの構成から、別の構成に拡張できます。

  • 次の対象となる複数のOracle Exadataのラックをまとめて配線できます。

    • 異なるラック・モデルをまとめて配線できます。たとえば、X8-2ラックとX7-2ラックをまとめて配線できます。

    • マルチラック構成でまとめて配線されているすべてのラックは、同じRDMAネットワーク・ファブリックを使用する必要があります。つまり、すべてのラックでRoCEネットワーク・ファブリックを使用するか、すべてのラックでInfiniBandネットワーク・ファブリックを使用する必要があります。

      RoCEネットワーク・ファブリックInfiniBandネットワーク・ファブリックを使用したラックを混在させることはできません。たとえば、X8-2ラックとX9M-2ラックをまとめて配線できません。

    • マルチラック構成でまとめて配線されているすべてのラックは、同じデータベース・サーバー・ハードウェア・アーキテクチャを持ちます。つまり、すべてのラックで2ソケット・データベース・サーバーを使用するか、すべてのラックで8ソケット・データベース・サーバーを使用する必要があります。

      2ソケットおよび8ソケットのデータベース・サーバーを使用してラックを混在させることはできません。たとえば、X9M-2ラックとX9M-8ラックをまとめて配線できません。

  • システムを複数のラックに拡張する前に、適切なRDMAネットワーク・ファブリック・スイッチおよびトランシーバを入手する必要があります。

  • Oracle Exadataエイス・ラックをOracle Exadata Storage拡張ラックで拡張する場合、Oracleでは、各ラックのディスクに別々のディスク・グループを使用することをお薦めします。

RDMAネットワーク・ファブリックを共有しながら、複数のOracle Exadataラックを個別の環境として実行できます。この方法で複数のOracle Exadataラックを使用する場合は、次の点に注意してください。

  • RDMAネットワーク・ファブリックのすべてのサーバーが一意のIPアドレスを持つ必要があります。Oracle Exadataがデプロイされると、デフォルト・ネットワークは192.168.10.1.です。RDMAネットワーク・ファブリックを再構成する前に、IPアドレスを変更する必要があります。そうしないと、IPアドレスが重複します。

  • ネットワークの変更後、適切な検証ツールを実行します。

    • RoCEネットワーク・ファブリックを使用するX8M以降の場合:

      infinicheckコマンドを実行して、ネットワークを検証します。すべてのデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのリストを含むファイルと、ストレージ・サーバーのすべてのRoCEネットワーク・ファブリックのIPアドレスをリストしたもう1つのファイルを指定する必要があります。たとえば:

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts -c cells
      
                              INFINICHECK
                      [Network Connectivity, Configuration and Performance]
      
                          ####  FABRIC TYPE TESTS  ####
      
      System type identified: RoCE
      
      Verifying User Equivalance of user=root from all DBs to all CELLs.
      
                      ####  RoCE CONFIGURATION TESTS  ####
              Checking for presence of RoCE devices on all DBs and CELLs
      
      [SUCCESS].... RoCE devices on all DBs and CELLs look good
      
              Checking for RoCE Policy Routing settings on all DBs and CELLs
      
      [SUCCESS].... RoCE Policy Routing settings look good
      
              Checking for RoCE DSCP ToS mapping on all DBs and CELLs
      
      [SUCCESS].... RoCE DSCP ToS settings look good
      
              Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs
      
      [SUCCESS].... RoCE PFC and DSCP settings look good
      
              Checking for RoCE interface MTU settings. Expected value : 2300
      
      [SUCCESS].... RoCE interface MTU settings look good
      
              Verifying switch advertised DSCP on all DBs and CELLs ports ( ~ 2 min )
      
      [SUCCESS].... Advertised DSCP settings from RoCE switch looks good
      
      
                          ####  CONNECTIVITY TESTS  ####
                          [COMPUTE NODES -> STORAGE CELLS]
                                 (60 seconds approx.)
                         (Will walk through QoS values: 0-6)
      [SUCCESS]..............Results OK
      
      [SUCCESS]....... All  can talk to all storage cells
      
                          [COMPUTE NODES -> COMPUTE NODES]
                                 (60 seconds approx.)
                         (Will walk through QoS values: 0-6)
      [SUCCESS]..............Results OK
      
      [SUCCESS]....... All hosts can talk to all other nodes
      
              Verifying Subnet Masks on all nodes
      [SUCCESS] ......... Subnet Masks is same across the network

      パスワードなしSSHのユーザー等価が構成されていない場合は、最初に-sオプションを指定してinfinicheckを実行する必要があります。たとえば:

      # /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts -c cells -s
    • InfiniBand Network Fabricを使用するX8以前の場合:

      verify-topology (またはshowtopologyibdiagnetなどのInfiniBandコマンド)とinfinicheckコマンドを実行して、ネットワークが正しく動作していることを確認します。たとえば:

      # cd /opt/oracle.SupportTools/ibdiagtools
      # ./verify-toplogy -t fattree
      # ./infinicheck -g hosts -c cells
      
  • Oracle Exadataラックが個別のクラスタで実行される場合、cellip.oraファイルを変更しないでください。データベース・サーバーのcellip.oraファイルには、そのデータベース・サーバーで使用されるストレージ・サーバーのIPアドレスのみ含める必要があります。

  • すでにインストール済のディスク・タイプとは異なるタイプのディスク・タイプを搭載したセルを追加することはできますが、ディスク・タイプを同じOracle Automatic Storage Management (Oracle ASM)ディスク・グループ内に混在させることはできません。たとえば、既存のすべてのディスク・グループで高パフォーマンス・ディスクを使用しているときに、大容量ディスクを搭載したセルを追加する場合は、大容量ディスクに新しいディスク・グループを作成する必要があります。

    同じタイプのディスクを追加する場合は、新しいディスクが既存のディスクより大きい場合でも、グリッド・ディスク・サイズが完全に同じになるようにしてください。たとえば、既存のディスクが3 TBで、追加ディスクが4 TBである場合、3 TBディスクのサイズと同じグリッド・ディスクを作成する必要があります。1 TBのディスク領域を追加で使用して新しいディスク・グループを作成できます。

  • 単一クラスタとして実行されていないときに、あるOracle ExadataラックのExadata Storage Serverに別のOracle Exadataラックからアクセスするには、Exadata Storage Serverに各Oracle Exadataの一意のOracle ASMディスク・グループ名と障害グループ名が必要です。

    たとえば、2つのOracle Exadataラックを配線して個別のクラスタとして実行するには、次の名前を一意にする必要があります。

    • セル名
    • セル・ディスク名
    • グリッド・ディスク名
    • Oracle ASM障害グループ名
  • すべての機器は、カスタマ・サポートID (CSI)を受け取ります。Oracle Exadataの新しい機器には、新しいCSIがあります。新しいCSIと既存のOracle Exadata CSIを調整する場合は、Oracleサポート・サービスに連絡してください。Oracleサポート・サービスに連絡する場合は、元のインスタンス番号または使用可能なシリアル番号、および新しい番号をお手元に用意してください。

  • RoCEネットワーク・ファブリックを使用するX8M以降の場合:

    RDMAネットワーク・ファブリックは制限付き外部接続に使用できます。RoCEネットワーク・ファブリック・スイッチの外部接続ポートは、Oracle ZFS Storage ApplianceまたはOracle Zero Data Loss Recovery Applianceに接続してバックアップ・ソリューションを提供できます。

    推奨される接続オプションの詳細は、次のソリューション概要を参照してください。

  • InfiniBand Network Fabricを使用するX8以前の場合:

    RDMAネットワーク・ファブリックは外部接続に使用できます。Sun Datacenter InfiniBand Switch 36スイッチの外部接続ポートは、テープのバックアップ、データのロード、クライアントおよびアプリケーション・アクセス用のメディア・サーバーに接続できます。外部接続する場合は、リーフ・スイッチの利用可能なポートを使用します。ラックごとに12のポートがあります。利用可能なポートはそれぞれのリーフ・スイッチで5B、6A、6B、7A、7Bおよび12Aです。高可用性接続にするには、あるポートをリーフ・スイッチに接続してから、別のポートを2番目のリーフ・スイッチに接続します。検証済のInfiniBandのケーブル長は、次のとおりです。

    • 最長5mのパッシブ銅4X QDR QSFP線
    • 最長100mの光ファイバ4X QDR QSFPケーブル

関連トピック

1.2 安全上の注意の確認

Oracle Exadata Database Machineをアップグレードする前に、ラックに付属するSunハードウェア・システム安全上の注意を参照してください。

ノート:

サービス担当者またはOracle Advanced Customer Supportに連絡して、機器をOracle Exadata Database Machineに設置して使用する資格があることを確認してください。資格のない機器を設置または使用する場合、オラクル社は発生する問題の責任を負いません。

関連項目:

1.3 ケーブルの注意の確認

ケーブルを使用する前に、次のRDMAネットワーク・ファブリック・ケーブルの注意を確認してください。

  • レーザー・トランシーバを使用する光ファイバ・ケーブルは、クラス1タイプにする必要があります。

  • 銅芯ケーブルを127mm (5インチ)以下の半径に曲げないでください。曲げすぎると、ケーブルの内部が損傷する場合があります。

  • 光ケーブルを85mm (3.4インチ)以下の半径に曲げないでください。曲げすぎると、ケーブルの内部が損傷する場合があります。

  • ジップ・タイを使用してケーブルを結束したり支えたりしないでください。タイの尖った部分により、ケーブルの内部が損傷する場合があります。フック・アンド・ループ・ストラップを使用してください。

  • ケーブルに極端な張力を加えないでください。ケーブルを引っ張ったり引きずったりしないでください。内部的に損傷する可能性があります。

  • ケーブルを長さにあわせて広げてください。

  • ケーブルを全長について1回を超えてねじらないでください。ケーブルをねじると、内部が損傷する場合があります。

  • 人が通る場所や転動荷重がかかる場所にケーブルの経路を設定しないでください。衝撃の影響により、ケーブルの内部が損傷する場合があります。

1.4 ケーブル経路の長さの見積り

ケーブル経路はできるだけ短くしてください。ケーブル経路の長さを計算した後、長さの要件を満たす最も短いケーブルを選択してください。ケーブルを指定する場合、次の点を考慮してください。

  • ケーブル経路にカーブがある場合、ケーブルに必要な長さが増加します。直線のケーブルでコネクタが接続されることはめったにありません。ケーブル経路にカーブが必要ですが、カーブによって全体の長さが増加します。

  • 結束すると、必要なケーブル長が長くなります。結束すれば、1本または複数のケーブルが同じ経路を使用することになります。ただし、ケーブルの結束内の位置によって、曲げ半径が異なります。結束が大きくてまとまっておらず、カーブが多くある場合、カーブの内側にあるケーブルもあれば、外側にあるケーブルもあります。この場合、必要なケーブル長の差はかなり大きくなります。

  • ケーブル経路の長さを計算する際に、ルートが床の下にある場合は、上げ床の高さを考慮してください。

1.5 ケーブルの結束

RDMAネットワーク・ファブリック・ケーブルをまとめて結束する場合、フック・アンド・ループ・ストラップを使用してケーブルを整理します。できれば、ケーブルおよび経路を識別できるように色分けされたストラップを使用してください。スプリッタおよびC-4銅伝導体ケーブルは、長さに対して太く、重量があります。ケーブルを支える際のフック・アンド・ループ・ストラップの保持強度を考慮してください。できるだけ合理的な数のケーブルを結束してください。ケーブルがストラップから外れて落下した場合、床に落下した際の衝撃または突然の張力の変動でケーブル内部が損傷する場合があります。

多くのフック・アンド・ループ・ストラップを使用して、ケーブルを結束してください。8個以下のケーブルを結束することをお薦めします。

1フィート(0.3m)に1ストラップなど、できるだけフック・アンド・ループ・ストラップを近づけてください。ケーブルがストラップから外れても、別のストラップが支えるのでケーブルの落下が抑えられます。

1.5.1 ケーブルの床および床下配線

RDMAネットワーク・ファブリック・スイッチは、床または床下配線のケーブルを受け入れます。床および床下配線では、ケーブルの重量に対するケーブルの伸長をスイッチのラックの高さに制限します。

ノート:

頭上の配線の詳細は、このガイドに含まれていません。頭上の配線の詳細は、認定されているサービス・エンジニアに問い合せてください。

1.6 ケーブル管理アーム・ガイドラインの確認

ケーブルを配線する前に、次のケーブル管理アーム(CMA)ガイドラインを確認します。

  • 梱包から必要なケーブルをすべて取り出し、可能な場合はケーブルを順応(運用時の温度まで到達)させます。順応時間は通常、24時間です。このようにすると、ケーブルが扱いやすくなります。

  • 可能な場合は、ANSI/TIA/EIA 606-A規格に準拠したラベルを各ケーブルの両端に貼ります。

  • 順番に設置を開始します。

  • 一度にスライドするサーバーは1台のみにしてください。複数のサーバーを取り出すとケーブルが落下し、サーバーを戻す時に問題を起こす場合があります。

  • 曲げ半径要件が最も厳しくないケーブルを最初に束ねて、分割して設置します。次の曲げ半径要件はEIA/TIA 568-x規格に基づいており、製造業者の要件によって異なることがあります。

    • CAT5e UTP: ケーブルの直径の4倍または最低1インチ(25.4mm)の曲げ半径

    • AC電源ケーブル: ケーブルの直径の4倍または最低1インチ(25.4mm)の曲げ半径

    • RoCEネットワーク・ファブリックを使用するX8M以降の場合:

      • 30 AWG: 4.5 +/- 0.2 mmの単一のケーブル直径、および1から3メートルまでの長さ、21 mmのシングル曲げ半径、45 mmの繰返し曲げ。

      • 26 AWG: 5.8 +0.3 mm/-1.0 mmの単一のケーブル直径、および2.5から5メートルまでの長さ、29 mmのシングル曲げ半径、58 mmの繰返し曲げ。

    • InfiniBand Network Fabricを使用するX8以前の場合:

      • TwinAx: ケーブルの直径の5倍または最低1.175インチ(33mm)の曲げ半径

      • Quad Small Form-factor Pluggable (QSFP)ケーブル: ケーブルの直径の6倍または最低2インチ(55mm)の曲げ半径。

      • ファイバ・コア・ケーブル: 0.125ケーブルの場合は、ケーブルの直径の10倍または最低1.22インチ(31.75mm)の曲げ半径。

  • 寿命が最長のケーブルから設置します。

1.7 現在の構成情報の取得

現在の構成情報は、パッチ適用要件の計画、新しいIPアドレスの構成などに使用されます。ラックを拡張する前に、説明に従って次の情報を収集する必要があります。

  • 現在のラックのOracle EXAchkレポート。

  • イメージ履歴の情報(次のコマンドを使用)。

    dcli -g ~/all_group -l root "imagehistory" > imagehistory.txt
    
  • すべてのExadata Storage Serverおよびデータベース・サーバーに定義される現在のIPアドレス(次のコマンドを使用)。

    dcli -g ~/all_group -l root "ifconfig" > ifconfig_all.txt
    
  • セル、セル・ディスク、フラッシュ・ログおよびIORM計画の構成情報(次のコマンドを使用)。

    dcli -g ~/cell_group -l root "cellcli -e list cell detail" > cell_detail.txt
    
    dcli -g ~/cell_group -l root "cellcli -e list physicaldisk detail" >   \
    physicaldisk_detail.txt
    
    dcli -g ~/cell_group -l root "cellcli -e list griddisk attributes      \
    name,offset,size,status,asmmodestatus,asmdeactivationoutcome" > griddisk.txt
    
    dcli -g ~/cell_group -l root "cellcli -e list flashcache detail" >     \
    fc_detail.txt
    
    dcli -g ~/cell_group -l root "cellcli -e list flashlog detail" > fl_detail.txt
    
    dcli -g ~/cell_group -l root "cellcli -e list iormplan detail" >       \
    iorm_detail.txt
    
  • データベース・サーバーのHugePagesメモリー構成(次のコマンドを使用)。

    dcli -g ~/dbs_group -l root "cat /proc/meminfo | grep 'HugePages'" >    \
    hugepages.txt
    
  • RoCEネットワーク・ファブリックを使用するX8M以降の場合:

    OEDAで初期構成からスイッチ名のリストを取得する必要があります。名前は、ファイル(たとえば、roceswitches.txt)の別々の行に各スイッチ名を入力します。

  • InfiniBand Network Fabricを使用するX8以前の場合:

    次のコマンドを使用します。

    ibswitches > ibswitches.txt
    

    Sun Datacenter InfiniBand Switch 36スイッチでnm2versionを使用して、そのファームウェア・バージョンを取得します。

  • ラックの最初のデータベース・サーバーからの次のネットワーク・ファイル。

    • /etc/resolv.conf

    • /etc/ntp.conf

    • /etc/network

    • /etc/sysconfig/network-scripts/ifcfg-*

  • Oracle GoldenGateなどの新しいサーバーで作成する必要があるクラスタ管理サービス用に作成された任意のユーザー、ユーザー識別子、グループおよびグループ識別子。

    • /etc/passwd

    • /etc/group

  • 現在のクラスタ・ステータスの出力(次のコマンドを使用)。

    crsctl stat res -t > crs_stat.txt
    
  • グリッド・インフラストラクチャおよびOracleホームからのパッチ情報(次のコマンドを使用)。コマンドは、グリッド・インフラストラクチャ・ホームの所有者およびOracleホームの所有者として実行する必要があります。

    /u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory -oh    \
    GRID_HOME -detail -all_nodes > opatch_grid.txt
    
    /u01/app/oracle/product/11.2.0/dbhome_1/OPatch/opatch lsinventory -oh    \
    ORACLE_HOME -detail -all_nodes >> opatch_oracle.txt
    

    前述のコマンドのGRID_HOMEは、グリッド・インフラストラクチャ・ホーム・ディレクトリのパスで、ORACLE_HOMEはOracleホーム・ディレクトリのパスです。

1.8 ネットワーク構成の準備

追加のサーバーをラックに追加する場合は、IPアドレスと現在のネットワーク構成の設定が必要になります。

サーバーまたはラックを既存のラックに追加する場合、新しいサーバーのIPアドレスはOracle Exadata Deployment Assistant (OEDA)を使用して取得されます。サーバーを既存のラックにさらに追加する場合は、アプリケーションに新しいサーバーのみを含めるようにしてください。ラックを追加する場合、新しいラックは独自のOEDAを使用する必要があります。現在使用中の正確なOracle Automatic Storage Management (Oracle ASM)ディスク・グループ構成が、アプリケーションによって反映されない場合があります。グリッド・ディスクおよびディスク・グループは手動で構成されるため、これは問題にはなりません。Oracleホームの場所や所有者など、その他すべての項目を既存の構成と同じように正確に定義する必要があります。

Oracle Exadata X4-2 Database Server以降またはOracle Exadata Storage Server X4-2L以降を追加する場合、結合構成はラックの既存のサーバーと一致する必要があります。OEDAのInfiniBand構成ページに、ボンディングのタイプを選択するオプションがあります。アクティブ-アクティブ・ボンディングのオプションを選択するか、またはアクティブ-パッシブ・ボンディングのオプション選択を解除します。

仮想データベース・サーバーおよびストレージ・サーバーのグループにネットワーク分離を構成し、あるOracle RACクラスタのネットワーク・トラフィックに別のOracle RACクラスタからアクセスできないようにする場合は、OEDAを使用してInfiniBandパーティションを構成できます。

アプリケーションによって生成される構成ファイルは、OEDAによって使用されます。OEDAを使用した後、checkip.shおよびdbm.datファイルを使用して、ネットワーク構成を確認します。発生するエラーは、pingコマンドからSCANアドレス、CiscoスイッチおよびSun Datacenter InfiniBand Switch 36スイッチへのエラーのみです。

1.9 監査ファイルおよび診断ファイルの移動

$GRID_HOME/rdbms/auditディレクトリおよび$GRID_HOME/log/diagnosticsディレクトリのファイルは、クラスタを拡張する前に移動または削除する必要があります。時間がかかる場合があるため、拡張予定の1日または2日前にファイルを移動または削除することをお薦めします。

1.10 リリースおよびパッチ・レベルの確認

新しいサーバーをラックに追加する場合は、インストールされているオペレーティング・システムのバージョンおよびソフトウェアのリリースと一致させる必要があります。

新しいラックまたはサーバーには、多くの場合、現在のラックよりも新しいリリースまたはパッチ・レベルが含まれます。現在のラック・リリースを新しいリリースに更新する必要が生じる場合もあります。また、現在のリリースのままにしたり、現在のラックに合うように新しいラックの再イメージ化を選択する必要が生じる場合もあります。どのような選択を行う場合でも、既存および新しいサーバーとスイッチは同じパッチ・レベルである必要があります。

ヒント:

最小リリースの最新情報については、My Oracle Supportノート888828.1を参照してください。

ラック内の古いサーバーには、最低限必要なソフトウェア・リリースに対応するために、新しいリリースへのパッチの適用が必要になる場合があります。また、古いデータベース・サーバーがOracle Linuxリリース5.3を使用している場合があります。それらのサーバーは、新しいOracle Linuxリリースに更新する必要があります。

パッチ適用に関するその他の考慮事項には、Oracle Grid InfrastructureおよびOracle Databaseホーム・リリースと更新があります。新しいパッチが適用される場合は、拡張手順の一部として新しいサーバーがリリースを継承するように、既存のサーバーを変更することをお薦めします。これにより、パッチ適用の対象のサーバーの数が減ります。拡張作業のスケジュール設定時に既存のサーバーが目的のレベルになり、それにより拡張時の作業の合計量が減少するように、既存のサーバーのパッチ適用を事前に実行する必要があります。

1.11 事前確認の実行

ハードウェアを拡張する前に、Oracle Exadata Database Machine物理システムを視覚的に確認します。

  1. 損傷がないか、ラックを確認します。

  2. ねじの緩みまたは欠落がないか、ラックを確認します。

  3. 注文した構成かどうか、Oracle Exadata Database Machineを確認します。

  4. すべてのケーブル接続が固定され、確実に取り付けられていることを確認します。

  5. 電源ケーブルを確認します。

  6. 正しいコネクタがデータ・センター施設の電源に供給されていることを確認します。

  7. ネットワーク・データ・ケーブルを確認します。

  8. ケーブル・アクセスと通気のために設置場所のタイルの配置を確認します。

  9. Oracle Exadata Database Machineの前面へのデータ・センターの通気を確認します。

1.12 サーバーの追加準備

サーバーを追加する前に、次のタスクを実行します:

  1. Oracle Exadata Database Machine拡張キットを開梱します。

  2. 梱包箱からすべてのOracle Exadata Database Machineサーバー・コンポーネントを開梱します。次の項目がサーバーとともに梱包されています。

    • Oracle Database ServerまたはExadata Storage Server

    • カントリー・キットに梱包されている電源コード

    • 設置手順を含むケーブル管理アーム

    • ラック・レールおよび設置手順を含むラック取付けキット

    • (オプション)Sunサーバー・ドキュメントおよびメディア・キット

    ノート:

    Oracle Exadata Database Machine X4-2、Oracle Exadata Database Machine X3-8フル・ラック、またはOracle Exadata Database Machine X2-2 (X4170およびX4275サーバー搭載)ハーフ・ラックを拡張する場合、Sun Datacenter InfiniBand Switch 36スイッチが含まれる拡張キットを注文してください。

    図1-1に、サーバー拡張キットのコンポーネントを示します。

    図1-1 アップグレード用のサーバー・コンポーネント

    図1-1の説明が続きます
    「図1-1 アップグレード用のサーバー・コンポーネント」の説明
  3. サーバーのケーブルを並べます。

  4. ケーブルを広げて、直線上に伸ばします。

  5. ケーブルのラベルを貼り付けます。設置前にすべてのケーブルにラベルを貼ることをお薦めします。

  6. サーバーを設置します。

  7. サーバーに配線します。

関連項目: