hadoop

hadoop構成タイプはBDDのHadoop構成に対して変更を行います。

指定したオプションに応じて、hadoopは次のことを実行できます。

新規または更新されたHadoopクライアント構成ファイルをBDDクラスタに公開します。
$BDD_HOME/BDD_manager/conf/bdd.confのHUE_URIプロパティをリセットします(HDPのみ)。
BDDを再インストールする必要なく、Hadoop配信の別のバージョンに切り替えます。ただし、別のHadoopディストリビューションを切り替えるために使用することはできません。

注意: BDD_HADOOP_UI_USERNAMEおよびBDD_HADOOP_UI_PASSWORD環境変数が設定されていない場合、スクリプトではHadoopクラスタ・マネージャのユーザー名とパスワードが必要となります。

BDDのHadoop構成を更新するには、次を管理サーバーから実行します。

./bdd-admin.sh publish-config hadoop [option <arg>]

hadoopでは次のオプションがサポートされています。

オプション	説明
`-u, --hueuri <host:port>`	HDPクラスタのみ。bdd.confの`HUE_URI`プロパティを指定したURIに設定します。
`-l, --clientlibs <path[,path]>`	クライアント・ライブラリのカンマ区切り知ストからHadoop fat jarを再生成します。`<path[,path]>`は新規ライブラリのカンマ区切りリストである必要があります。これを使用して、Hadoop配信の別のバージョンに切り替えることができます。これは`--sparkjar`とともに実行する必要があります。
`-j, --sparkjar <file>`	すべてのBDD構成ファイル内のYARN jarのSparkの場所を、指定したパスに設定します。`<file>`は、Hadoopノード上のYARN jarのSparkへの絶対パスである必要があります。これを使用して、Hadoop配信の別のバージョンに切り替えることができます。 Hadoopインストール環境の場所が変更されていないかぎり、bdd.confの`SPARK_ON_YARN_JAR`の値を使用できます。念のために、パスをダブルチェックしてください。これは`--clientlibs`とともに実行する必要があります。

オプション

説明

-u, --hueuri <host:port>

HDPクラスタのみ。bdd.confのHUE_URIプロパティを指定したURIに設定します。

-l, --clientlibs <path[,path]>

クライアント・ライブラリのカンマ区切り知ストからHadoop fat jarを再生成します。<path[,path]>は新規ライブラリのカンマ区切りリストである必要があります。これを使用して、Hadoop配信の別のバージョンに切り替えることができます。

これは--sparkjarとともに実行する必要があります。

-j, --sparkjar <file>

すべてのBDD構成ファイル内のYARN jarのSparkの場所を、指定したパスに設定します。<file>は、Hadoopノード上のYARN jarのSparkへの絶対パスである必要があります。これを使用して、Hadoop配信の別のバージョンに切り替えることができます。

Hadoopインストール環境の場所が変更されていないかぎり、bdd.confのSPARK_ON_YARN_JARの値を使用できます。念のために、パスをダブルチェックしてください。

これは--clientlibsとともに実行する必要があります。

どのオプションも指定しない場合、スクリプトは、Hadoopクライアント構成ファイルをすべてのBDDノードに公開し、すべてのBDD構成ファイルのHadoop関連のプロパティを更新します。

この構成タイプによって実行されるアクションの詳細は、次を参照してください。