BDDでは、Hadoopと相互作用する多数のクライアント・ライブラリが必要です。インストーラの実行時、これらのライブラリがHadoop fat jarと呼ばれる単一のjarに追加され、これはすべてのBDDノードに配布されます。
クライアント・ライブラリをどのように取得するかは、Hadoopディストリビューションに依存します。CDHがある場合、インストーラにより自動的にダウンロードされます。これには、インストール・マシンでインターネット接続が必要であることに注意してください。スクリプトがクライアント・ライブラリのすべてをダウンロードできない場合、失敗となり、それらを手動でダウンロードする必要があります。詳細は、「Hadoopクライアント・ライブラリのダウンロードの失敗」を参照してください。
HDPがある場合、クライアント・ライブラリをHadoopノードからインストール・マシンに手動でコピーする必要があります。必要となる個別のライブラリは、所有しているHDPのバージョンによって異なります。
HDP 2.2.4
HDP 2.2.4を所有している場合、Hadoopノードで次のディレクトリを探し、インストール・マシンにコピーします。
注意: これらのディレクトリすべてが同じノード上にあるわけではありません。
- /usr/hdp/<version>/pig/lib/h2/
- /usr/hdp/<version>/hive/lib/
- /usr/hdp/<version>/spark/lib/
- /usr/hdp/<version>/spark/external/spark-native-yarn/lib/
- /usr/hdp/<version>/hadoop/
- /usr/hdp/<version>/hadoop/lib/
- /usr/hdp/<version>/hadoop-hdfs/
- /usr/hdp/<version>/hadoop-hdfs/lib/
- /usr/hdp/<version>/hadoop-yarn/
- /usr/hdp/<version>/hadoop-yarn/lib/
- /usr/hdp/<version>/hadoop-mapreduce/
- /usr/hdp/<version>/hadoop-mapreduce/lib/
HDP 2.3
HDP 2.3を所有している場合、Hadoopノードで次のディレクトリを探し、インストール・マシンにコピーします。
注意: これらのディレクトリすべてが同じノード上にあるわけではありません。
- /usr/hdp/<version>/hive/lib/
- /usr/hdp/<version>/spark/lib/
- /usr/hdp/<version>/hadoop/
- /usr/hdp/<version>/hadoop/lib/
- /usr/hdp/<version>/hadoop-hdfs/
- /usr/hdp/<version>/hadoop-hdfs/lib/
- /usr/hdp/<version>/hadoop-yarn/
- /usr/hdp/<version>/hadoop-yarn/lib/
- /usr/hdp/<version>/hadoop-mapreduce/
- /usr/hdp/<version>/hadoop-mapreduce/lib/