| Oracle® Big Data Applianceオーナーズ・ガイド リリース2 (2.2.1) E48216-02 |
|
 前 |
 次 |
この章では、Oracle Big Data Applianceのネットワーク要件について説明します。この章の内容は次のとおりです。
Oracle Big Data Applianceには、6、12または18のサーバーと、それらのサーバーをネットワークに接続するための装置が含まれます。ネットワーク接続によって、サーバーをリモートから管理し、クライアントをそれらに接続できます。この章の情報を使用して、Oracle Big Data Applianceの環境を構成してください。
各サーバーには、次のネットワーク・コンポーネントおよびインタフェースがあります。
1つのデュアル・ポート4X QDR (40Gbps)インフィニバンド・ホスト・チャネル・アダプタ・ネットワーク・インタフェース・カード
1 Oracle Integrated Lights Out Manager v3.0のイーサネット・ポート(リモート管理用)
1ギガビット・イーサネット・ポート
インストール・プロセスによって、各Sun Network QDR InfiniBand Gatewayスイッチに1つ以上の10GbE接続があるかどうかが自動的に検出されます。すべて確認された場合、サーバーごとに2つの仮想ネットワーク・インタフェース・カード(VNIC)が構成されます(アクティブ/パッシブ・フェイルオーバー・モードでbondeth0として固定されたスイッチごとに1つ)。VNICは、使用可能な10GbE接続にラウンドロビン方式で自動的に割り当てられます。たとえば、各スイッチに使用可能な3つの10GbE接続がある場合、サーバー1のVNICは10GbEポート1に、サーバー2はポート2に、サーバー3はポート3に、サーバー4はポート1に、といった形式で割り当てられます。
VNICは、すべて同じデフォルトの仮想ローカル・エリア・ネットワーク(VLAN)に割り当てられます。異なるVLANを異なるVNICに割り当てるには、最初のVNICを削除して独自に手動作成する必要があります。
ユーザーの環境でスイッチを適切に動作させるには、複数のVLANを定義したり、ルーティングを有効化するなど、追加の構成が必要になることがあります。追加の構成が必要な場合、ネットワーク管理者は、Oracle Big Data Applianceの設置時に必要な構成手順を実行する必要があります。
Oracle Big Data Applianceをデプロイするには、現在のネットワークが最小要件を満たしていることを確認します。Oracle Big Data Applianceでは、3つのネットワークを使用します。各ネットワークは、他から独立した個別のサブネット上に存在する必要があります。ネットワークの説明は次のとおりです。
管理ネットワーク: この1ギガビット・イーサネット(GbE)・ネットワークは、既存の管理ネットワークに接続し、Oracle Big Data Applianceのすべてのコンポーネントを管理するために使用します。これによって、ラックのイーサネット・スイッチに接続されたサーバー、Oracle ILOMおよびインフィニバンド・スイッチが接続されます。
管理ネットワークに対しては、次の2つの場所からのアップリンクがあります。
ラックのイーサネット・スイッチ
ラックのKVMスイッチ(Sun Fire X4270 M2ベース・ラックのみ)
各サーバーには、管理用の2つのネットワーク・インタフェースがあります。1つはeth0イーサネット・インタフェースを通じてオペレーティング・システムに対する管理アクセスを提供し、もう1つはOracle ILOMイーサネット・インタフェースを通じてIntegrated Lights Out Managerに対するアクセスを提供します。Oracle Big Data Applianceには、ラックのイーサネット・スイッチに接続されたeth0およびILOMインタフェースが付属しています。サーバーのeth0インタフェースはクライアント・ネットワーク・トラフィックには使用しないでください。これらのインタフェースのケーブル配線または構成の変更は、許可されません。
ドメイン・ネーム・システム(DNS)サーバーが使用可能な場合、Oracle Big Data Applianceはこれを使用しますが、管理ネットワーク上になくてもかまいません。1つ以上のネットワーク・タイム・プロトコル(NTP)サーバーも使用可能である必要があります。管理ネットワークのNTPサーバーは、クライアント・ネットワークのNTPサーバーと異なっていてもかまいません。
管理ネットワーク上のOracle Big Data Applianceのすべてのコンポーネントは、同じサブネット上にある必要があります。つまり、すべてのサーバー、ILOM、PDU、インフィニバンド・スイッチおよびCiscoイーサネット・スイッチのeth0 IPアドレスは、同じサブネット上にある必要があります。
クライアント・アクセス・ネットワーク: この10GbEネットワークは、ゲートウェイ・スイッチを通じてサーバーを既存のクライアント・ネットワークに接続し、サーバーに対するクライアント・アクセスのために使用します。クライアント・アプリケーションは、サーバーのクライアント・ネットワーク・ホスト名を使用し、このネットワークを通じてソフトウェアにアクセスします。
ラックには、2つのSun Network QDR InfiniBand Gatewayスイッチがあります。各スイッチは、クライアント・アクセス用に1から8の接続をサポートし、合計で最大16のクライアント・ネットワーク接続に対応します。フェイルオーバーのためには、各スイッチからの接続が少なくとも1つ存在する必要があり、データのロードおよびクライアント・アクセスの提供に対する要件に応じて増加させる必要があります。
1つ以上のDNSサーバーが、クライアント・ネットワークでアクセス可能である必要があります。1つ以上のNTPサーバーも使用可能である必要があります。クライアント・ネットワークのNTPサーバーは、管理ネットワークのNTPサーバーと異なっていてもかまいません。
インフィニバンド・プライベート・ネットワーク: このネットワークは、ラックおよびbondib0インタフェースのインフィニバンド・スイッチを使用してサーバーを接続します。ルーティングに対応しないこのネットワークは、Oracle Big Data Applianceとインフィニバンド・ケーブルを使用してこれに接続されている他のOracleエンジニアド・システム内で完全に完結しています。このネットワークは、既存のネットワークには接続されません。インストール時に自動的に構成されます。
|
注意: すべてのネットワークは、相互に独立した個別のサブネット上に存在する必要があります。 |
ネットワークでのサーバーの構成は、次のとおりです。
eth0: 管理ネットワークを使用してオペレーティング・システムに対するアクセスを提供します。
bondeth0: クライアント・アクセス・ネットワークを使用してサーバーに対するアクセスを提供します。
ILOM: 管理ネットワークを使用してOracle Integrated Lights Out Manager (ILOM)に対するアクセスを提供します。
Oracle Big Data Applianceを既存のネットワークに接続する前に、preinstall-checkip.shスクリプトを使用してネットワーク環境の準備が整っていることを確認します。「Oracle Big Data Applianceのネットワークの準備」を参照してください。
図3-1に、Sun Server X3-2Lベース・ラックのネットワーク図を示します。
図3-2に、Sun Fire X4270 M2ベース・ラック(KVMを含む)のネットワーク図を示します。
Oracle Big Data Applianceの2つのSun Network QDR InfiniBand Gatewayスイッチには、それぞれ8つの10GbEポートが備わっています。この2つのスイッチにより、各ラックに最大で16の10GbE接続が作成されます。作成する接続の数は、クライアント・ネットワークに必要な帯域幅に基づいて決定できます。正しく動作するには、各ゲートウェイ・スイッチの8つのポートのうち1つ以上ポートで、サイトの10GbEネットワークにアクティブに接続している必要があります。フェイルオーバーによって有効なクライアント・ネットワークの帯域幅が失われることのないように、2つのスイッチで10GbEへのアクティブな接続数を同じにすることをお薦めします。
物理イーサネット接続は、サイト・ネットワークとゲートウェイ・スイッチ間でのみ作成されます。Oracle Big Data Applianceサーバーは、インフィニバンドによってのみ、これらのスイッチに接続されます。各サーバーには2つのインフィニバンド接続があり、それぞれが各ゲートウェイ・スイッチにアクティブ/パッシブ・バックアップ・モードで接続します(アクティブなインフィニバンド接続のみが、そのサーバーに対するすべてのインフィニバンド・トラフィックに使用されます)。この接続に障害が発生すると、即座に他の接続にフェイルオーバーされます。
Oracle Big Data Applianceサーバーの半分が一方のゲートウェイ・スイッチにアクティブに接続し、もう半分が他方のゲートウェイ・スイッチにアクティブに接続します。Oracle Big Data Appliance内で、クライアント・ネットワーク・トラフィックは、Ethernet over InfiniBand (EoIB)プロトコルを使用してこれらのインフィニバンド接続を通じてトランスポートされます。結果として、各Oracle Big Data Applianceサーバーには、同じアクティブ/パッシブ・バックアップ・モードで固定された2つの仮想NIC (VNIC)が含まれます。各VNICには、ゲートウェイ・スイッチの特定のポートが割り当てられます。スイッチに1つの10GbE接続のみが存在する場合、そのスイッチのすべてのVNICは、同じポートを指し示します。スイッチに複数の接続が存在する場合、VNICはラウンドロビン方式でそれらのポート全体に分散されます。
たとえば、各ゲートウェイ・スイッチからの3つの10GbEアップリンクを作成すると、サーバーからのクライアント・ネットワーク・トラフィックは、次の表に示す各スイッチによって処理されます。
| サーバー番号 | アクティブ・リンク | バックアップ・リンク |
|---|---|---|
| 1 | GWスイッチ1リンク1 | GWスイッチ2リンク1 |
| 2 | GWスイッチ1リンク2 | GWスイッチ2リンク2 |
| 3 | GWスイッチ1リンク3 | GWスイッチ2リンク3 |
| 4 | GWスイッチ1リンク1 | GWスイッチ2リンク1 |
| ... | ... | ... |
| 17 | GWスイッチ2リンク2 | GWスイッチ1リンク2 |
| 18 | GWスイッチ2リンク3 | GWスイッチ1リンク3 |
10GbE接続の数によっては、複数のサーバーのクライアント・ネットワーク・トラフィックが同じ物理10GbE接続を通じて送信されます。最大数の接続によって、Oracle Big Data Applianceに対し、160ギガビット/秒(Gbps)のクライアント・ネットワーク帯域幅が提供されます。
ゲートウェイ・スイッチごとに最大8つの10GbE接続を作成できますが、その物理ポートは40GbpsのQuad Small Form-Factor Pluggable (QSFP)ポートです。各ゲートウェイ・スイッチには、10GbE接続用に確保されたこれらの物理ポートが2つあります。各ポートは、MTP/MPOコネクタを搭載した光ケーブルを使用するQSFPトランシーバを備えています。サイト・ネットワーク側には、通常、LCコネクタを使用するSFP+トランシーバを備えた10Gbpsポートがあります。これらの接続のために、一方の端にオスのMTP/MPOコネクタを1つ持ち、他方の端にLCコネクタの4つのペアを持つスプリッタ・ケーブルを使用できます。各10Gbps SFP+トランシーバは、合計4つのペアになる二重LCコネクタを使用します。そのため、単一のスプリッタ・ケーブルを使用して最大4つの10GbE接続を作成できます。ただし、4つの二重LCコネクタすべてがサイト・ネットワークへの接続を必要としているわけではありません。
スプリッタ・ケーブルは、Oracle Big Data Applianceに付属していないため、オラクル社とは別に注文する必要があります。これらの長さには、10、20および50mがあります。10GbEネットワークのサイト終端で使用するSFP+トランシーバは、10GbEスイッチと同じ製造業者に注文することをお薦めします。
この初期ネットワーク構成は、Oracle Big Data Applianceの工場で設定されます。
ゲートウェイ: 192.168.1.254 (必要なすべてのデバイス)
サブネット・マスク: 255.255.255.0 (必要なすべてのデバイス)
IPアドレス範囲: 192.168.1.1-192.168.1.211
表3-1に、Oracle Big Data ApplianceのデフォルトIPアドレスを示します。
表3-1 Oracle Big Data ApplianceのデフォルトIPアドレス
| ホスト | 管理IPアドレス | Oracle ILOM IPアドレス | インフィニバンド結合IPアドレス |
|---|---|---|---|
|
bda18脚注 1 |
|
|
|
|
bda17脚注 1 |
|
|
|
|
bda16脚注 1 |
|
|
|
|
bda15脚注 1 |
|
|
|
|
bda14脚注 1 |
|
|
|
|
bda13脚注 1 |
|
|
|
|
bda12脚注 2 |
|
|
|
|
bda11脚注 2 |
|
|
|
|
bda10脚注 2 |
|
|
|
|
bdasw-ib3 |
|
||
|
Ciscoスイッチ |
|
||
|
bdasw-ib2 |
|
||
|
bda09脚注 2 |
|
|
|
|
bda08脚注 2 |
|
|
|
|
bda07脚注 2 |
|
|
|
|
bda06 |
|
|
|
|
bda05 |
|
|
|
|
bda04 |
|
|
|
|
bda03 |
|
|
|
|
bda02 |
|
|
|
|
bda01 |
|
|
|
|
bdasw-ib1 |
|
||
|
PDU A |
|
||
|
PDU B |
|
脚注 1 フル・ラックのみ
脚注 2 フル・ラックまたはラック内拡張が含まれるスタータ・ラックのみ
表3-2に、Oracle Big Data Applianceソフトウェアによって使用されるポート番号を示します。ネットワークを構成する前に、これらのポートが空いていることを確認してください。
表3-2 Oracle Big Data Applianceのポート番号
| ポート | 使用者 |
|---|---|
|
22 |
ssh |
|
80 |
yumrepos (インストール時のみ) |
|
111 |
portmap |
|
162 |
|
|
443 |
自動サービス・リクエスト・マネージャ(オプション) |
|
668 |
rpc.statd |
|
3306 |
MySQL Database |
|
5000 |
Oracle NoSQL Database登録 |
|
5001 |
Oracle NoSQL Database管理 |
|
5010-5020 |
Oracle NoSQL Databaseプロセス |
|
6481 |
自動サービス・リクエスト・マネージャ・サービス・タグ・リスナー(オプション) |
|
8139 |
Puppetノード |
|
8140 |
Puppet親 |
|
20910 |
Oracle Data Integratorエージェント |
|
30920 |
自動サービス・モニター(ASM) |
表3-3に、Cloudera's Distribution including Apache Hadoopバージョン4 (CDH4)で使用されるポートを示します。これらのポート割当ての詳細は、次の場所にあるCloudera社のWebサイトを参照してください。
表3-3 CDHのポート番号
| ポート | コンポーネント | サービス | アクセス |
|---|---|---|---|
|
0 |
MapReduce |
TaskTracker |
localhost |
|
1004 |
HDFS |
Secure DataNode |
外部 |
|
1006 |
HDFS |
Secure DataNode |
外部 |
|
2181 |
HBase |
HQuorumPeer |
|
|
2181 |
ZooKeeper |
Server |
外部 |
|
2888 |
HBase |
HQuorumPeer |
|
|
2888 |
ZooKeeper |
Server |
内部 |
|
3181 |
ZooKeeper |
Server |
内部 |
|
3888 |
HBase |
HQuorumPeer |
|
|
3888 |
ZooKeeper |
Server |
内部 |
|
4181 |
ZooKeeper |
Server |
内部 |
|
8002 |
Hue |
Beeswax Server |
内部 |
|
8003 |
Hue |
Beeswax Metastore |
内部 |
|
8020 |
HDFS |
NameNode |
外部 |
|
8021 |
MapReduce |
JobTracker |
外部 |
|
8030 |
YARN |
ResourceManager |
|
|
8031 |
YARN |
ResourceManager |
|
|
8032 |
YARN |
ResourceManager |
|
|
8033 |
YARN |
ResourceManager |
|
|
8040 |
YARN |
NodeManager |
|
|
8041 |
YARN |
NodeManager |
|
|
8042 |
YARN |
NodeManager |
|
|
8080 |
HBase |
REST Service |
外部 |
|
8088 |
YARN |
ResourceManager |
外部 |
|
8888 |
Hue |
Server |
外部 |
|
9083 |
Hive |
Metastore |
外部 |
|
9090 |
HBase |
Thrift Server |
外部 |
|
9090 |
HBase |
Avro Server |
外部 |
|
9290 |
MapReduce |
JobTracker Thrift Plug-in |
内部 |
|
10000 |
Hive |
HiveServer |
外部 |
|
11000 |
Oozie |
Server |
外部 |
|
11001 |
Oozie |
Server |
localhost |
|
16000 |
Sqoop |
Metastore |
外部 |
|
19888 |
YARN |
MapReduce JobHistory Server |
|
|
50010 |
HDFS |
DataNode |
外部 |
|
50020 |
HDFS |
DataNode |
外部 |
|
50030 |
MapReduce |
JobTracker |
外部 |
|
50060 |
MapReduce |
TaskTracker |
外部 |
|
50070 |
HDFS |
NameNode |
外部 |
|
50075 |
HDFS |
DataNode |
外部 |
|
50090 |
HDFS |
Secondary NameNode |
内部 |
|
50470 |
HDFS |
Secure NameNode |
外部 |
|
50495 |
HDFS |
Secure Secondary NameNode |
内部 |
|
60000 |
HBase |
Master |
外部 |
|
60010 |
HBase |
Master |
外部 |
|
60020 |
HBase |
RegionServer |
外部 |
|
60030 |
HBase |
RegionServer |
外部 |
Oracle Big Data Appliance構成ユーティリティによって、インストールの前に使用する次の2つのファイルが生成されます。
bda-install-template.pdf: このインストール・テンプレートには、Oracle Big Data Applianceのホスト名およびカスタムIPアドレスがリストされます。インストール・テンプレートが正しいことを確認し、ホスト名とIPアドレスをネットワークのネーム・サーバーに追加してください。
preinstall-checkip.sh: 名前とアドレスの競合についてネットワークをチェックします。
通常、Oracle Big Data Appliance構成ユーティリティを実行するオラクル社の担当者からファイルを取得できます。「構成ファイルについて」を参照してください。
インストール・プロセスの次の時点でpreinstall-checkip.shスクリプトを実行します。
Oracle Big Data Applianceがサイトに到着する前で、ネットワーク管理者が新しい名前およびIPアドレスをネーム・サーバーに追加した後。この手順によって、ネットワーク構成パラメータが有効で、ネットワークがOracle Big Data Applianceの接続を受け入れる準備が完了していることが保証されます。
Oracle Big Data Applianceが到着した後で、ネットワークに接続する前。この手順によって、ネットワークが変更されておらず、同じようにOracle Big Data Applianceの接続を受け入れる準備が完了していることが保証されます。
|
注意: preinstall-checkip.shの実行は、インストール前の重要な手順です。ネットワーク・エラーがあると、インストール手順で大幅な遅延が発生する可能性があります。 |
ネットワークの競合をチェックするには、次の手順を実行します。
preinstall-checkip.shスクリプトを、Oracle Big Data Applianceがデプロイされるサブネットに対する10GBイーサネット接続を備えたLinuxシステムにコピーします。
スクリプトが実行可能であることを確認します。
chmod +x preinstall-checkip.sh
スクリプトを実行します。
./preinstall-checkip.sh
スクリプトでエラーが識別された場合、bda-checkip.outファイルを開いて詳細を確認します。これには、スクリプトによって実行されたすべてのテストに関する情報が含まれます。出力ファイルは、スクリプトと同じディレクトリに作成されます。
次に進む前にすべての矛盾を解決します。
例3-1に、preinstall-checkip.shスクリプトによる成功メッセージとエラー・メッセージを示します。
例3-1 preinstall-checkip.shからの出力
Big Data Appliance pre-installation network verification starting ... Using name server 198.51.100.21 for all DNS lookups Domain is example.com Processing DNS name servers : SUCCESS Processing NTP time servers : SUCCESS Processing gateways : SUCCESS Processing factory IP addresses : SUCCESS Processing public node names (bondeth0) : SUCCESS Processing private IP addresses (bondib0) : ERROR - see bda-checkip.out for details Processing admin node names (eth0) : SUCCESS Processing ILOM names : SUCCESS Processing switch and PDU IP addresses : SUCCESS Processing ASR hostname : SUCCESS One or more checks report ERROR. Review bda-checkip.out for details
