3 ネットワーク要件について
Oracle Big Data Applianceには、3つの異なるネットワークが接続されます。
この章の内容は次のとおりです。
3.1 ネットワーク要件の概要
Oracle Big Data Applianceには、ラックに収納された一連のサーバーと、それらのサーバーをネットワークに接続するための装置が含まれます。
ネットワーク接続によって、サーバーをリモートから管理し、クライアントをそれらに接続できます。この章の情報を使用して、Oracle Big Data Applianceの環境を構成してください。
X8–2LおよびX7–2Lの各サーバーには、次のネットワーク・コンポーネントおよびインタフェースがあります。
-
デュアルポートInfiniBand QDR CX3 (40 GB/秒) PCIe HCAが1つ
-
組込みRJ45 1ギガビット・イーサネット・ポートが1つ
X6–2L以前のサーバーには、次のネットワーク・コンポーネントおよびインタフェースがあります。
3.1.1 デフォルトのネットワーク接続
インストール・プロセスによって、各Sun Network QDR Infiniband Gateway Switchに1つ以上の10GbE接続があるかどうかが自動的に検出されます。すべて確認された場合、サーバーごとに2つの仮想ネットワーク・インタフェース・カード(VNIC)が構成されます(アクティブ/パッシブ・フェイルオーバー・モードでbondeth0として固定されたスイッチごとに1つ)。VNICは、使用可能な10GbE接続にラウンドロビン方式で自動的に割り当てられます。たとえば、各スイッチに使用可能な3つの10GbE接続がある場合、サーバー1のVNICは10GbEポート1に、サーバー2はポート2に、サーバー3はポート3に、サーバー4はポート1に、といった形式で割り当てられます。
VNICは、すべて同じデフォルトの仮想ローカル・エリア・ネットワーク(VLAN)に割り当てられます。異なるVLANを異なるVNICに割り当てるには、最初のVNICを削除して独自に手動作成する必要があります。
3.1.2 ネットワークの最小要件
ユーザーの環境でスイッチを適切に動作させるには、複数のVLANを定義したり、ルーティングを有効化するなど、追加の構成が必要になることがあります。追加の構成が必要な場合、ネットワーク管理者は、Oracle Big Data Applianceの設置時に必要な構成ステップを実行する必要があります。
Oracle Big Data Applianceをデプロイするには、現在のネットワークが最小要件を満たしていることを確認します。Oracle Big Data Applianceでは、3つのネットワークを使用します。
ノート:
各ネットワークは、他のネットワークから独立した個別のサブネット上に存在する必要があります。
ネットワークの説明は次のとおりです。
-
管理ネットワーク: この1ギガビット・イーサネット(GbE)・ネットワークは、既存の管理ネットワークに接続し、Oracle Big Data Applianceのすべてのコンポーネントを管理するために使用します。これによって、ラックのイーサネット・スイッチに接続されたサーバー、Oracle ILOMおよびインフィニバンド・スイッチが接続されます。このネットワークは、管理ネットワークとも呼ばれます。
管理ネットワークに対しては、次の2つの場所からのアップリンクがあります。
-
ラックのイーサネット・スイッチ
-
ラックのKVMスイッチ(Sun Fire X4270 M2ベース・ラックのみ)
各サーバーには、管理用の2つのネットワーク・インタフェースがあります。1つはeth0イーサネット・インタフェースを通じてオペレーティング・システムに対する管理アクセスを提供し、もう1つはOracle ILOMイーサネット・インタフェースを通じてIntegrated Lights Out Managerに対するアクセスを提供します。Oracle Big Data Applianceには、ラックのイーサネット・スイッチに接続されたeth0およびILOMインタフェースが付属しています。サーバーのeth0インタフェースはクライアント・ネットワーク・トラフィックには使用しないでください。これらのインタフェースのケーブル配線または構成の変更は、許可されません。
ドメイン・ネーム・システム(DNS)サーバーが使用可能な場合、Oracle Big Data Applianceはこれを使用しますが、管理ネットワーク上になくてもかまいません。1つ以上のネットワーク・タイム・プロトコル(NTP)サーバーも使用可能である必要があります。管理ネットワークのNTPサーバーは、クライアント・ネットワークのNTPサーバーと異なっていてもかまいません。
管理ネットワーク上のOracle Big Data Applianceのすべてのコンポーネントは、同じサブネット上にある必要があります。つまり、すべてのサーバー、ILOM、PDU、インフィニバンド・スイッチおよびCiscoイーサネット・スイッチのeth0 IPアドレスは、同じサブネット上にある必要があります。
-
-
クライアント・アクセス・ネットワーク: この10GbEネットワークは、ゲートウェイ・スイッチを通じてサーバーを既存のクライアント・ネットワークに接続し、サーバーに対するクライアント・アクセスのために使用します。クライアント・アプリケーションは、サーバーのクライアント・ネットワーク・ホスト名を使用し、このネットワークを通じてソフトウェアにアクセスします。
ラックには、2つのSun Network QDR Infiniband Gateway Switchがあります。各スイッチは、クライアント・アクセス用に1から8の接続をサポートし、合計で最大16のクライアント・ネットワーク接続に対応します。フェイルオーバーのためには、各スイッチからの接続が少なくとも1つ存在する必要があり、データのロードおよびクライアント・アクセスの提供に対する要件に応じて増加させる必要があります。
1つ以上のDNSサーバーが、クライアント・ネットワークでアクセス可能である必要があります。1つ以上のNTPサーバーも使用可能である必要があります。クライアント・ネットワークのNTPサーバーは、管理ネットワークのNTPサーバーと異なっていてもかまいません。
-
インフィニバンド・プライベート・ネットワーク: このネットワークは、ラックおよびbondib0インタフェースのインフィニバンド・スイッチを使用してサーバーを接続します。ルーティングに対応しないこのネットワークは、Oracle Big Data Applianceとインフィニバンド・ケーブルを使用してこれに接続されている他のOracleエンジニアド・システム内で完全に完結しています。このネットワークは、既存のネットワークには接続されません。インストール時に自動的に構成されます。
3.1.3 ネットワーク図
-
eth0
: 管理ネットワークを使用してオペレーティング・システムに対するアクセスを提供します。 -
bondeth0
: クライアント・アクセス・ネットワークを使用してサーバーに対するアクセスを提供します。 -
ILOM
: 管理ネットワークを使用してOracle Integrated Lights Out Manager (ILOM)に対するアクセスを提供します。
Oracle Big Data Applianceを既存のネットワークに接続する前に、bda-preinstall-checkip.sh
スクリプトを使用してネットワーク環境の準備が整っていることを確認します。「Oracle Big Data Applianceのネットワークの準備」を参照してください。
図3-1に、Oracle Server X5–2L、Sun Server X4-2LおよびSun Server X3-2Lベース・ラックのネットワーク接続を示します。
図3-1 Oracle Big Data Appliance X5–2L、X4-2L、X3–2Lのネットワーク図
「図3-1 Oracle Big Data Appliance X5–2L、X4-2L、X3–2Lのネットワーク図」の説明
図3-2に、Sun Fire X4270 M2ベース・ラック(KVMを含む)のネットワーク接続を示します。
3.2 クライアント・ネットワークのケーブル配線
Oracle Big Data Applianceの2つのSun Network QDR Infiniband Gateway Switchには、それぞれ8つの10GbEポートが備わっています。この2つのスイッチにより、各ラックに最大で16の10GbE接続が作成されます。作成する接続の数は、クライアント・ネットワークに必要な帯域幅に基づいて決定できます。正しく動作するには、各ゲートウェイ・スイッチの8つのポートのうち1つ以上ポートで、サイトの10GbEネットワークにアクティブに接続している必要があります。フェイルオーバーによって有効なクライアント・ネットワークの帯域幅が失われることのないように、2つのスイッチで10GbEへのアクティブな接続数を同じにすることをお薦めします。
3.2.1 サーバーによるゲートウェイ・スイッチへの接続方法
物理イーサネット接続は、サイト・ネットワークとゲートウェイ・スイッチ間にのみ存在します。
Oracle Big Data Applianceサーバーは、インフィニバンド経由でのみ、これらのスイッチに接続されます。各サーバーには2つのインフィニバンド接続があり、それぞれが各ゲートウェイ・スイッチにアクティブ/パッシブ・バックアップ・モードで接続します(アクティブなインフィニバンド接続のみが、そのサーバーに対するすべてのインフィニバンド・トラフィックに使用されます)。この接続に障害が発生すると、即座に他の接続にフェイルオーバーされます。
Oracle Big Data Applianceサーバーの半分が一方のゲートウェイ・スイッチにアクティブに接続し、もう半分が他方のゲートウェイ・スイッチにアクティブに接続します。Oracle Big Data Appliance内で、クライアント・ネットワーク・トラフィックは、Ethernet over InfiniBand (EoIB)プロトコルを使用してこれらのインフィニバンド接続を通じてトランスポートされます。結果として、各Oracle Big Data Applianceサーバーには、同じアクティブ/パッシブ・バックアップ・モードで固定された2つの仮想NIC (VNIC)が含まれます。各VNICには、ゲートウェイ・スイッチの特定のポートが割り当てられます。スイッチに1つの10GbE接続のみが存在する場合、そのスイッチのすべてのVNICは、同じポートを指し示します。スイッチに複数の接続が存在する場合、VNICはラウンドロビン方式でそれらのポート全体に分散されます。
表3-1 サーバー/ゲートウェイ接続の例
クラスタ、ノード | アクティブ・リンク | バックアップ・リンク |
---|---|---|
クラスタ1、ノード1 |
スイッチ1、リンク1脚注1 |
スイッチ2、リンク1 |
クラスタ1、ノード2 |
スイッチ1、リンク2 |
スイッチ2、リンク2 |
クラスタ1、ノード3 |
スイッチ2、リンク1 |
スイッチ1、リンク1 |
クラスタ1、ノード4 |
スイッチ2、リンク2 |
スイッチ1、リンク2 |
クラスタ1、ノード5 |
スイッチ1、リンク1 |
スイッチ2、リンク1 |
クラスタ2、ノード1 |
スイッチ1、リンク3 |
スイッチ2、リンク3 |
クラスタ2、ノード2 |
スイッチ2、リンク3 |
スイッチ1、リンク3 |
クラスタ2、ノード3 |
スイッチ1、リンク3 |
スイッチ2、リンク3 |
クラスタ2、ノード4 |
スイッチ2、リンク3 |
スイッチ1、リンク3 |
クラスタ2、ノード5 |
スイッチ1、リンク3 |
スイッチ2、リンク3 |
脚注1
この表のスイッチはすべてSun Network QDR InfiniBand Gateway Switchです
10GbE接続の数によっては、複数のサーバーのクライアント・ネットワーク・トラフィックが同じ物理10GbE接続を通じて送信されます。最大数の接続によって、Oracle Big Data Applianceに対し、160ギガビット/秒(Gbps)のクライアント・ネットワーク帯域幅が提供されます。
3.2.2 40Gbps物理ポートに接続するためのスプリッタ・ケーブルの使用
ゲートウェイ・スイッチごとに最大8つの10GbE接続を作成できますが、その物理ポートは40GbpsのQuad Small Form-Factor Pluggable (QSFP)ポートです。各ゲートウェイ・スイッチには、10GbE接続用に確保されたこれらの物理ポートが2つあります。各ポートは、MTP/MPOコネクタを搭載した光ケーブルを使用するQSFPトランシーバを備えています。サイト・ネットワーク側には、通常、LCコネクタを使用するSFP+トランシーバを備えた10Gbpsポートがあります。これらの接続のために、一方の端にオスのMTP/MPOコネクタを1つ持ち、他方の端にLCコネクタの4つのペアを持つスプリッタ・ケーブルを使用できます。各10Gbps SFP+トランシーバは、合計4つのペアになる二重LCコネクタを使用します。そのため、単一のスプリッタ・ケーブルを使用して最大4つの10GbE接続を作成できます。ただし、4つの二重LCコネクタすべてがサイト・ネットワークへの接続を必要としているわけではありません。
スプリッタ・ケーブルは、Oracle Big Data Applianceに付属していないため、オラクル社とは別に注文する必要があります。これらの長さには、10、20および50mがあります。10GbEネットワークのサイト終端で使用するSFP+トランシーバは、10GbEスイッチと同じ製造業者に注文することをお薦めします。
3.2.4 ゲートウェイ・スイッチへの接続のガイドライン
Oracle Big Data Applianceで2つのゲートウェイ・スイッチに10 GbE接続する際には、次のガイドラインに従うことをお薦めします。
-
両方のゲートウェイ・スイッチに対して10 GbE接続の数を同じにします。
-
各スイッチに対して1つから4つの10-GbE接続を確立するには、両方のスイッチの0A-ETHポートに対して1つのQSFPスプリッタ・ケーブルを使用します。
-
各スイッチに対して5つから8つの10-GbE接続を確立するには、両方のスイッチの0A-ETHポートと1A-ETHポートに対して2つのQSFPスプリッタ・ケーブルを使用します。2つのスプリッタ・ケーブル間で、接続を均等に分割します。
-
1つのQSFPスプリッタ・ケーブルに対して複数の10 GbE接続を確立するには、最小番号のポートから始めて大きい番号に進みます。たとえば、2つの接続の場合には、0A-ETH1と0A-ETH2を使用します。
-
両方のNM2-GWスイッチで、同じポートに対して10 GbE接続を確立します。一方のスイッチで0A-ETH1と0A-ETH2に対する接続を確立する場合、もう一方のスイッチでは0A-ETH1と0A-ETH2にのみ接続を確立します。
3.2.4.1 LACP/LAG接続の構成
リンク集約グループ(LAG)は、2つ以上のイーサネット接続を結合してアップリンク速度とレジリエンシを向上します。
Oracle Big Data Appliance構成ユーティリティでクラスタのネットワークを事前構成している場合、「Use LACP/LAG」チェック・ボックスを選択してから、LAGに含めるコネクタを選択することで、LAGを定義できます。ネットワーク・スクリプトは2つのLAG (各スイッチに1つ)を作成します。各ノードに関連して、1つはアクティブになり、もう1つはパッシブになります。たとえば、構成ユーティリティで0A-ETH-1
および0A-ETH-2
を選択した場合、ネットワーク設定スクリプトを実行すると、2つのLAG (リーフ・スイッチ1の0A-ETH-1 + 0A-ETH-2
およびリーフ・スイッチ2の0A-ETH-1 + 0A-ETH-2
)が構成されます。一部のノードでは、リーフ・スイッチ1のLAGがアクティブになり、リーフ・スイッチ2のLAGがパッシブになります。これは、リーフ・スイッチ1のLAGが0A-ETH-1 + 0A-ETH-2 (リーフ・スイッチ1)であるためです。その他のノードの場合、これは逆になります。この構成の外部スイッチは、インフィニバンド・スイッチごとに1つの論理接続を提供する必要があります。
LAGの実装には次の制約があります。
-
コネクタは複数のLAGに属することができません。
-
LAGのコネクタをVLANまたはVNICで使用することはできません。VLAN IDをLAGに割り当てることはできますが、別のネットワーク内のVNICのためにLAG内のポートを再利用することはできません。そのため、クライアント・ネットワークを追加作成する場合は、LAGですでに使用されているポートを使用しないでください
-
複数のスイッチにわたるLAGはサポートされません
-
ラック内では、同じラックを占有する複数のクラスタでLAGを共有できます。
-
単一のLAGは1つのラックにしかサービスを提供できません。複数のBDAラックにまたがるクラスタでリンク集計を使用するには、クラスタ内のすべてのラックにある2つのスイッチごとにリンク集計グループを作成する必要があります。
構成ユーティリティによって生成されたネットワークの設定スクリプトを実行すると、クラスタおよびインフィニバンド・スイッチに対するLAG関連の構成変更が自動的に実行されますが、これらのスクリプトは外部スイッチを再構成しません。インフィニバンド・スイッチに接続されている外部スイッチでLAGモードを手動で有効にする必要があります。
ノート:
構成ユーティリティでLAGを設定している場合、構成ユーティリティで生成されるネットワーク設定スクリプトを実行する前に、LAGを有効にするように外部スイッチを構成します。
外部スイッチ構成が構成ユーティリティで指定した設定と一致していることを確認してください。
各ノードでネットワーク設定スクリプトを実行するとき、LAGに選択したコネクタがアクティブに使用されていないことを確認してください。そうしないと、LAGの作成が失敗します。
LANを有効にするために必要なステップは、イーサネット・スイッチ・モデルとデータセンター構成に応じて異なります。次の例では、Cisco 4948スイッチで802.3adベースのLACPを使用する方法を示します。同等のステップについては、使用するスイッチに付属の製品ドキュメントを参照してください。
この例では、VLAN ID 1および2を使用します。また、Ciscoポート1/4および1/5がインフィニバンド・スイッチ10GbEアップリンク・ポート1A-ETH-1および1A-ETH-2にそれぞれ接続されていることを前提とします。
例3-1 外部のCisco 4948イーサネット・スイッチとインフィニバンドの接続のLAG構成
この例のコマンドの最初のセットは、Ciscoポート1/4および1/5 (インフィニバンド・スイッチに接続されます)で指定される順序で実行する必要があります。
switchport
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 1,2
switchport mode trunk
no shutdown
channel-group 3 mode active
この例のCiscoポート・チャネル3の場合は、次のコマンドを示されている順序で実行します。
switchport
switchport trunk encapsulation dot1q
switchport trunk allowed vlan 1,2
switchport mode trunk
3.3 工場出荷時のネットワーク設定
この初期ネットワーク構成は、Oracle Big Data Applianceの工場で設定されます。
-
ゲートウェイ: 192.168.1.254 (必要なすべてのデバイス)
-
サブネット・マスク: 255.255.255.0 (必要なすべてのデバイス)
-
IPアドレス範囲: 192.168.1.1-192.168.1.211
表3-2に、Oracle Big Data ApplianceのデフォルトIPアドレスを示します。
表3-2 Oracle Big Data ApplianceのデフォルトIPアドレス
ホスト | 管理IPアドレス | Oracle ILOM IPアドレス | インフィニバンド結合IPアドレス |
---|---|---|---|
bda18脚注2 |
|
|
|
bda17脚注2 |
|
|
|
bda16脚注2 |
|
|
|
bda15脚注2 |
|
|
|
bda14脚注2 |
|
|
|
bda13脚注2 |
|
|
|
bda12脚注3 |
|
|
|
bda11脚注3 |
|
|
|
bda10脚注3 |
|
|
|
bdasw-ib3 |
|
||
Ciscoスイッチ |
|
||
bdasw-ib2 |
|
||
bda9脚注3 |
|
|
|
bda8脚注3 |
|
|
|
bda7脚注;3 |
|
|
|
bda6 |
|
|
|
bda5 |
|
|
|
bda4 |
|
|
|
bda3 |
|
|
|
bda2 |
|
|
|
bda1 |
|
|
|
bdasw-ib1 |
|
||
PDU A |
|
||
PDU B |
|
脚注2
フル・ラックのみ
脚注3
追加サーバーを含むフル・ラックまたはスタータ・ラックのみ
3.4 Oracle Big Data Applianceソフトウェアのポート割当て
この項では、Oracle Big Data Applianceソフトウェアによって使用されるポート番号を示します。
Cloudera CDH、CM、その他のCloudera製品で使用されるポート番号は、Clouderaのドキュメント・ライブラリを参照してください。
表3-3 Oracle Big Data Applianceのポート番号
ポート | 使用者 |
---|---|
22 |
ssh |
80 |
yumrepos (インストール時のみ) |
111 |
portmap |
162 |
|
443 |
自動サービス・リクエスト・マネージャ(オプション) |
668 |
rpc.statd |
3306 |
MySQL Database |
5000 |
Oracle NoSQL Database登録 |
5001 |
Oracle NoSQL Database管理 |
5010-5020 |
Oracle NoSQL Databaseプロセス |
5042 | Oracle Big Data SQL |
6481 |
自動サービス・リクエスト・マネージャ・サービス・タグ・リスナー(オプション) |
8139 |
Puppetノード |
8140 |
Puppet親 |
8890 | Big Data Manager |
20910 |
Oracle Data Integratorエージェント |
30920 |
自動サービス・モニター(ASM) |
次の表はOracle Management Service (OMS)およびManagement Agentが、Oracle Enterprise Managerのプラグインを使用するために必要なOracle Big Data Applianceのポート・アクセスを示しています。
表3-4 Oracle Enterprise Managerプラグインに必要なポート・アクセス
ポート番号 | 参照先ノード | 用途 |
---|---|---|
7183 | Cloudera Managerサーバーのホスト。 | HTTPSアクセスがCloudera Managerで有効な場合の検出用。 |
7180 | Cloudera Managerサーバーのホスト。 | HTTPSアクセスがCloudera Managerで有効でない場合の検出および監視用。 |
7187 | Cloudera Managerサーバーのホスト。 | HTTPSアクセスがCloudera Managerで有効な場合の監視用。 |
22 | すべてのノード | 検出中のbdacli実行用のSSH。 |
3.5 Oracle Big Data Applianceのネットワークの準備
Oracle Big Data Appliance構成生成ユーティリティによって、インストールの前に使用する次のファイルが生成されます。
-
bda-install-review.html: Oracle Big Data Applianceのホスト名およびカスタムIPアドレスがリストされます。情報が正しいことを確認し、ホスト名とIPアドレスをネットワークのネーム・サーバーに追加してください。このファイルはブラウザで表示できます。
-
bda-preinstall-checkip.sh: ホスト名やIPアドレスを含むネットワーク構成値の検証チェックを実行します。
「構成ファイルの生成」を参照してください。
インストール・プロセスの次の時点でbda-preinstall-checkip.sh
スクリプトを実行します。
-
Oracle Big Data Applianceがサイトに到着する前で、ネットワーク管理者が新しい名前およびIPアドレスをネーム・サーバーに追加した後。このステップによって、ネットワーク構成パラメータが有効で、ネットワークがOracle Big Data Applianceの接続を受け入れる準備が完了していることが保証されます。
-
Oracle Big Data Applianceが到着した後で、ネットワークに接続する前。このステップによって、ネットワークが変更されておらず、同じようにOracle Big Data Applianceの接続を受け入れる準備が完了していることが保証されます。
ノート:
bda-preinstall-checkip.sh
の実行は、インストール前の重要なステップです。ネットワーク・エラーがあると、インストール手順で大幅な遅延が発生する可能性があります。
ネットワークの競合をチェックするには、次の手順を実行します。
-
bda-preinstall-checkip.sh
スクリプトを、Oracle Big Data Applianceがデプロイされるサブネットに対する10GBイーサネット接続を備えたLinuxシステムにコピーします。 -
スクリプトが実行可能であることを確認します。
chmod +x bda-preinstall-checkip.sh
-
スクリプトを実行します。
./bda-preinstall-checkip.sh
-
スクリプトでエラーが識別された場合、
bda-checkip.out
ファイルを開いて詳細を確認します。これには、スクリプトによって実行されたすべてのテストに関する情報が含まれます。出力ファイルは、スクリプトと同じディレクトリに作成されます。 -
スクリプトを再実行する前に、レポートされたすべてのエラーを解決します。
例3-2に、bda-preinstall-checkip.sh
スクリプトによる成功メッセージとエラー・メッセージを示します。
例3-2 bda-preinstall-checkip.shからの出力
Big Data Appliance pre-installation network verification starting ... Using name server 198.51.100.21 for all DNS lookups Domain is example.com Processing DNS name servers : SUCCESS Processing NTP time servers : SUCCESS Processing gateways : SUCCESS Processing factory IP addresses : SUCCESS Processing public node names (bondeth0) : SUCCESS Processing private IP addresses (bondib0) : ERROR - see bda-checkip.out for details Processing admin node names (eth0) : SUCCESS Processing ILOM names : SUCCESS Processing switch and PDU IP addresses : SUCCESS Processing ASR hostname : SUCCESS One or more checks report ERROR. Review bda-checkip.out for details