Hadoopクライアント・ライブラリの取得

BDDでは、Hadoopと相互作用する多数のクライアント・ライブラリが必要です。通常のHadoopクラスタでは、これらのライブラリは散らばっているため、BDDでこれらすべてを見つけるのは困難です。この問題を解決するために、アップグレード・スクリプトは必要なライブラリをHadoop fat JARという単一のJARに追加し、これがすべてのBDDノードに配布されます。

必要なライブラリはHadoopディストリビューションによって異なります。これらを配置する場所は任意であり、bdd.confに定義します。

• CDH: 次のファイルをhttp://archive-primary.cloudera.com/cdh5/cdh/5/から管理サーバーにダウンロードして、それらを解凍します。
  • spark-<spark_version>.cdh.<cdh_version>.tar.gz
  • hive-<hive_version>.cdh.<cdh_version>.tar.gz
  • hadoop-<hadoop_version>.cdh.<cdh_version>.tar.gz
  • avro-<avro_version>.cdh.<cdh_version>.tar.gz
  現在インストールされているコンポーネント・バージョンに対応したファイルをダウンロードします。
• HDP: 次のライブラリをHadoopノードから管理サーバーにコピーします。これらのディレクトリすべてが同じノード上にあるわけではありません。
  • /usr/hdp/<version>/hive/lib/
  • /usr/hdp/<version>/spark/lib/
  • /usr/hdp/<version>/hadoop/
  • /usr/hdp/<version>/hadoop/lib/
  • /usr/hdp/<version>/hadoop-hdfs/
  • /usr/hdp/<version>/hadoop-hdfs/lib/
  • /usr/hdp/<version>/hadoop-yarn/
  • /usr/hdp/<version>/hadoop-yarn/lib/
  • /usr/hdp/<version>/hadoop-mapreduce/
  • /usr/hdp/<version>/hadoop-mapreduce/lib/
• MapR: Hadoopノードで次のディレクトリを探し、それらを管理サーバーにコピーします。それらすべてが同一ノード上にあるわけではない場合があることに注意してください。
  • /opt/mapr/spark/spark-1.6.1/lib
  • /opt/mapr/hive/hive-1.2/lib
  • /opt/mapr/zookeeper/zookeeper-3.4.5
  • /opt/mapr/zookeeper/zookeeper-3.4.5/lib
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/common
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/common/lib
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/hdfs
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/hdfs/lib
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce/lib
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/tools/lib
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/yarn
  • /opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/yarn/lib