Oracle Exadataの拡張について

1.1 Oracle Exadataの拡張について

Oracle Exadataは、サーバーを現在の構成に追加するか、複数のラックを配線することにより拡張できます。

Oracle Exadataを拡張する際の考慮事項は次のとおりです。

許容される最大数の範囲でデータベース・サーバーとストレージ・サーバーを任意に組み合せて追加し、Oracle Exadataを既定またはカスタムの構成から、別の構成に拡張できます。
次の対象となる複数のOracle Exadataのラックをまとめて配線できます。
- 異なるラック・モデルをまとめて配線できます。たとえば、X8-2ラックとX7-2ラックをまとめて配線できます。
- マルチラック構成でまとめて配線されているすべてのラックは、同じRDMAネットワーク・ファブリックを使用する必要があります。つまり、すべてのラックでRoCEネットワーク・ファブリックを使用するか、すべてのラックでInfiniBandネットワーク・ファブリックを使用する必要があります。
  
  RoCEネットワーク・ファブリックとInfiniBandネットワーク・ファブリックを使用したラックを混在させることはできません。たとえば、X8-2ラックとX9M-2ラックをまとめて配線できません。
- マルチラック構成でまとめて配線されているすべてのラックは、同じデータベース・サーバー・ハードウェア・アーキテクチャを持ちます。つまり、すべてのラックで2ソケット・データベース・サーバーを使用するか、すべてのラックで8ソケット・データベース・サーバーを使用する必要があります。
  
  2ソケットおよび8ソケットのデータベース・サーバーを使用してラックを混在させることはできません。たとえば、X9M-2ラックとX9M-8ラックをまとめて配線できません。
システムを複数のラックに拡張する前に、適切なRDMAネットワーク・ファブリック・スイッチおよびトランシーバを入手する必要があります。
Oracle Exadataエイス・ラックをOracle Exadata Storage拡張ラックで拡張する場合、Oracleでは、各ラックのディスクに別々のディスク・グループを使用することをお薦めします。

RDMAネットワーク・ファブリックを共有しながら、複数のOracle Exadataラックを個別の構成として実行できます。この方法で複数のOracle Exadataラックを使用する場合は、次の点に注意してください。

RDMAネットワーク・ファブリックのすべてのサーバーが一意のIPアドレスを持つ必要があります。Oracle Exadataがデプロイされると、デフォルト・ネットワークは192.168.10.1.です。RDMAネットワーク・ファブリックを再構成する前に、IPアドレスを変更する必要があります。そうしないと、IPアドレスが重複します。

ネットワークの変更後、適切な検証ツールを実行します。

RoCEネットワーク・ファブリックを使用するX8M以降の場合:

infinicheckコマンドを実行して、ネットワークを検証します。すべてのデータベース・サーバー・ホスト名またはRoCEネットワーク・ファブリックのIPアドレスのリストを含むファイルと、ストレージ・サーバーのすべてのRoCEネットワーク・ファブリックのIPアドレスをリストしたもう1つのファイルを指定する必要があります。たとえば:

# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts -c cells

                        INFINICHECK
                [Network Connectivity, Configuration and Performance]

                    ####  FABRIC TYPE TESTS  ####

System type identified: RoCE

Verifying User Equivalance of user=root from all DBs to all CELLs.

                ####  RoCE CONFIGURATION TESTS  ####
        Checking for presence of RoCE devices on all DBs and CELLs

[SUCCESS].... RoCE devices on all DBs and CELLs look good

        Checking for RoCE Policy Routing settings on all DBs and CELLs

[SUCCESS].... RoCE Policy Routing settings look good

        Checking for RoCE DSCP ToS mapping on all DBs and CELLs

[SUCCESS].... RoCE DSCP ToS settings look good

        Checking for RoCE PFC settings and DSCP mapping on all DBs and CELLs

[SUCCESS].... RoCE PFC and DSCP settings look good

        Checking for RoCE interface MTU settings. Expected value : 2300

[SUCCESS].... RoCE interface MTU settings look good

        Verifying switch advertised DSCP on all DBs and CELLs ports ( ~ 2 min )

[SUCCESS].... Advertised DSCP settings from RoCE switch looks good


                    ####  CONNECTIVITY TESTS  ####
                    [COMPUTE NODES -> STORAGE CELLS]
                           (60 seconds approx.)
                   (Will walk through QoS values: 0-6)
[SUCCESS]..............Results OK

[SUCCESS]....... All  can talk to all storage cells

                    [COMPUTE NODES -> COMPUTE NODES]
                           (60 seconds approx.)
                   (Will walk through QoS values: 0-6)
[SUCCESS]..............Results OK

[SUCCESS]....... All hosts can talk to all other nodes

        Verifying Subnet Masks on all nodes
[SUCCESS] ......... Subnet Masks is same across the network

パスワードなしSSHのユーザー等価が構成されていない場合は、最初に-sオプションを指定してinfinicheckを実行する必要があります。たとえば:

# /opt/oracle.SupportTools/ibdiagtools/infinicheck -g hosts -c cells -s

InfiniBand Network Fabricを使用するX8以前の場合:

verify-topology (またはshowtopology、ibdiagnetなどのInfiniBandコマンド)とinfinicheckコマンドを実行して、ネットワークが正しく動作していることを確認します。たとえば:
```
# cd /opt/oracle.SupportTools/ibdiagtools
# ./verify-toplogy -t fattree
# ./infinicheck -g hosts -c cells
```

Oracle Exadataラックが個別のクラスタで実行される場合、cellip.oraファイルを変更しないでください。データベース・サーバーのcellip.oraファイルには、そのデータベース・サーバーで使用されるストレージ・サーバーのIPアドレスのみ含める必要があります。
メディア・タイプが異なるストレージ・サーバーはマルチラック構成で使用できますが、同じストレージ・コンテナ(Oracle ASMディスク・グループまたはOracle Exadata Exascaleストレージ・プール)で異なるメディア・タイプを混在させることはできません。たとえば、1つのストレージ・コンテナに、大容量(HC)ディスクとExtreme Flash (EF)ストレージを混在させることはできません。
各Oracle ASMディスク・グループ内で、基礎となるストレージ・サーバーに異なるサイズのディスクが含まれている場合でも、すべてのグリッド・ディスクが同じサイズであることを確認します。大容量ディスクの未使用ストレージは、別のOracle ASMディスク・グループで使用できる追加のグリッド・ディスクを収容するために使用できます。
マルチラック・システムに複数の構成をデプロイする場合は、各ストレージ・サーバー(セル)に一意の名前を必ず使用します。

さらに、ストレージ・コンテナ(Oracle ASMディスク・グループまたはOracle Exadata Exascaleストレージ・プール)ごとに一意の名前を使用する必要があります。
すべての機器は、カスタマ・サポートID (CSI)を受け取ります。Oracle Exadataの新しい機器には、新しいCSIがあります。新しいCSIと既存のOracle Exadata CSIを調整する場合は、Oracleサポート・サービスに連絡してください。Oracleサポート・サービスに連絡する場合は、元のインスタンス番号または使用可能なシリアル番号、および新しい番号をお手元に用意してください。
RoCEネットワーク・ファブリックを使用するX8M以降の場合:

RDMAネットワーク・ファブリックは制限付き外部接続に使用できます。RoCEネットワーク・ファブリック・スイッチの外部接続ポートは、Oracle ZFS Storage ApplianceまたはOracle Zero Data Loss Recovery Applianceに接続してバックアップ・ソリューションを提供できます。

推奨される接続オプションの詳細は、次のソリューション概要を参照してください。
- Exadata X8MおよびZFS Storage 25Gbバックアップ・ソリューション - 専用バックアップ・スイッチを使用したOracle ZFS Storage Appliance ZS7-2でのOracle Exadata X8Mの構成
- 100Gbバックアップ・ソリューション - Oracle Exadata Database Machine X8MおよびOracle ZFS Storage Appliance ZS7-2
InfiniBand Network Fabricを使用するX8以前の場合:

RDMAネットワーク・ファブリックは外部接続に使用できます。Sun Datacenter InfiniBand Switch 36スイッチの外部接続ポートは、テープのバックアップ、データのロード、クライアントおよびアプリケーション・アクセス用のメディア・サーバーに接続できます。外部接続する場合は、リーフ・スイッチの利用可能なポートを使用します。ラックごとに12のポートがあります。利用可能なポートはそれぞれのリーフ・スイッチで5B、6A、6B、7A、7Bおよび12Aです。高可用性接続にするには、あるポートをリーフ・スイッチに接続してから、別のポートを2番目のリーフ・スイッチに接続します。検証済のInfiniBandのケーブル長は、次のとおりです。
- 最長5mのパッシブ銅4X QDR QSFP線
- 最長100mの光ファイバ4X QDR QSFPケーブル

関連トピック

エラスティック構成

親トピック: Oracle Exadata Database Machineの拡張準備