BDDでは、Hadoopと相互作用する多数のクライアント・ライブラリが必要です。インストーラの実行時、これらのライブラリがHadoop fat JARと呼ばれる単一のJARに追加され、これはすべてのBDDノードに配布されます。
クライアント・ライブラリをどのように取得するかは、Hadoopディストリビューションに依存します。
- CDH: インストーラによって、必要なライブラリが自動的にダウンロードされます。これには、インストール・マシンでインターネット接続が必要であることに注意してください。スクリプトがクライアント・ライブラリのすべてをダウンロードできない場合、失敗となり、それらを手動でダウンロードする必要があります。詳細は、「Hadoopクライアント・ライブラリのダウンロードの失敗」を参照してください。
- HDP: Hadoopノードで次のディレクトリを探し、それらをインストール・マシンにコピーします。それらすべてが同一ノード上にあるわけではない場合があることに注意してください。
- /usr/hdp/<version>/hive/lib/
- /usr/hdp/<version>/spark/lib/
- /usr/hdp/<version>/hadoop/
- /usr/hdp/<version>/hadoop/lib/
- /usr/hdp/<version>/hadoop-hdfs/
- /usr/hdp/<version>/hadoop-hdfs/lib/
- /usr/hdp/<version>/hadoop-yarn/
- /usr/hdp/<version>/hadoop-yarn/lib/
- /usr/hdp/<version>/hadoop-mapreduce/
- /usr/hdp/<version>/hadoop-mapreduce/lib/
- MapR: Hadoopノードで次のディレクトリを探し、それらをインストール・マシンにコピーします。それらすべてが同一ノード上にあるわけではない場合があることに注意してください。
- /opt/mapr/spark/spark-1.6.1/lib
- /opt/mapr/hive/hive-1.2/lib
- /opt/mapr/zookeeper/zookeeper-3.4.5
- /opt/mapr/zookeeper/zookeeper-3.4.5/lib
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/common
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/common/lib
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/hdfs
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/hdfs/lib
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce/lib
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/tools/lib
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/yarn
- /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/yarn/lib