必要なHadoopクライアント・ライブラリ

BDDでは、Hadoopと相互作用する多数のクライアント・ライブラリが必要です。インストーラの実行時、これらのライブラリがHadoop fat jarと呼ばれる単一のjarに追加され、これはすべてのBDDノードに配布されます。

クライアント・ライブラリをどのように取得するかは、Hadoopディストリビューションに依存します。CDHがある場合、インストーラにより自動的にダウンロードされます。これには、インストール・マシンでインターネット接続が必要であることに注意してください。スクリプトがクライアント・ライブラリのすべてをダウンロードできない場合、失敗となり、それらを手動でダウンロードする必要があります。詳細は、「Hadoopクライアント・ライブラリのダウンロードの失敗」を参照してください。

HDPがある場合、クライアント・ライブラリをHadoopノードからインストール・マシンに手動でコピーする必要があります。必要となる個別のライブラリは、所有しているHDPのバージョンによって異なります。

HDP 2.2.4

HDP 2.2.4を所有している場合、Hadoopノードで次のディレクトリを探し、インストール・マシンにコピーします。
注意: これらのディレクトリすべてが同じノード上にあるわけではありません。
  • /usr/hdp/<version>/pig/lib/h2/
  • /usr/hdp/<version>/hive/lib/
  • /usr/hdp/<version>/spark/lib/
  • /usr/hdp/<version>/spark/external/spark-native-yarn/lib/
  • /usr/hdp/<version>/hadoop/
  • /usr/hdp/<version>/hadoop/lib/
  • /usr/hdp/<version>/hadoop-hdfs/
  • /usr/hdp/<version>/hadoop-hdfs/lib/
  • /usr/hdp/<version>/hadoop-yarn/
  • /usr/hdp/<version>/hadoop-yarn/lib/
  • /usr/hdp/<version>/hadoop-mapreduce/
  • /usr/hdp/<version>/hadoop-mapreduce/lib/

HDP 2.3

HDP 2.3を所有している場合、Hadoopノードで次のディレクトリを探し、インストール・マシンにコピーします。
注意: これらのディレクトリすべてが同じノード上にあるわけではありません。
  • /usr/hdp/<version>/hive/lib/
  • /usr/hdp/<version>/spark/lib/
  • /usr/hdp/<version>/hadoop/
  • /usr/hdp/<version>/hadoop/lib/
  • /usr/hdp/<version>/hadoop-hdfs/
  • /usr/hdp/<version>/hadoop-hdfs/lib/
  • /usr/hdp/<version>/hadoop-yarn/
  • /usr/hdp/<version>/hadoop-yarn/lib/
  • /usr/hdp/<version>/hadoop-mapreduce/
  • /usr/hdp/<version>/hadoop-mapreduce/lib/