bds-database-create-bundle.sh
を構成するには、これらの各パラメータにURLを提供する必要があります。--hive-client-ws --hadoop-client-ws --hbase-client-ws
適切なURLを提供するために必要な情報を取得するには、まずコンテンツ管理サービス(CMまたはAmbari)をチェックして、Hadoopクラスタで実行中のHadoop、HiveおよびHBaseの各サービスのバージョンを確認します。互換性のあるクライアントは、同じバージョンのものです。いずれの場合にも、クライアントのtarballファイル名には、クラスタにインストールされているサービスのバージョンに一致するバージョン文字列セグメントが含まれています。CDHの場合、公開リポジトリを参照して、サービス・バージョンに一致するクライアントのURLを見つけることができます。HDPリポジトリの場合、このためにはAmazon S3ストレージを参照できるツールが必要になります。ただし、ここで説明するように、Ambariから取得できる情報とともに既知のURLパターンを使用して、適切なURLを構成することもできます。
CDH (Oracle Big Data ApplianceとコモディティCDHシステムの両方)の場合:
Cloudera Managerにログオンし、「Hosts」メニューに移動します。「All Hosts」を選択し、「Inspect All Hosts」を選択します。
この検査が終了したら、「Show Inspector Results」(画面上)または「Download Result Data」(JSONファイルへ)のいずれかを選択します。
いずれの場合も、結果セットをスキャンし、サービス・バージョンを確認します。
componentInfo
セクションがあり、ここにそのクラスタにインストールされているソフトウェアのバージョンが示されます。次に例を示します。"componentInfo": [ ... { "cdhVersion": "CDH5", "componentRelease": "1.cdh5.11.1.p0.6", "componentVersion": "2.6.0+cdh5.11.1+2400", "name": "hadoop" }, ...
http://archive-primary.cloudera.com/cdh5/cdh/5に移動します。
アーカイブのCDH5セクションのhadoop、hiveおよびhbaseの各サブディレクトリを確認します。リストでは、クラスタにインストールされているサービスのバージョン用のクライアント・パッケージが見つかります。
URLをコピーし、bds-database-create-bundle.sh
に指定されるパラメータの値として使用します。次に例を示します。
http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.11.1.tar.gz http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.11.1.tar.gz http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.11.1.tar.gz
関連項目:
このツールを使用してインストールされているソフトウェア・バージョンを確認する方法の詳細が必要な場合は、ClouderaのWebサイトで「Host Inspector」を検索してください。HDPの場合:
Ambariにログオンします。「Admin」→「Stack and Versions」に移動します。「Stack」タブで、HDFS、HiveおよびHBaseの各サービスのエントリを見つけ、それぞれのバージョン番号をservice version
として書き留めます。
「Versions」タブをクリックします。クラスタで実行されているHDPのバージョンをHDP version base
として書き留めます。
「Show Details」をクリックするとポップアップ・ウィンドウが表示され、インストールされているHDPリリースの完全なバージョン文字列が示されます。これをHDP full version
として書き留めます。
必要な情報の最後の部分は、Linuxのバージョン(centos5、centos6またはcentos7)です。これをOS version
として書き留めます。
この手順で取得したこれらの情報を使用してAmazon S3ストレージのHDPリポジトリを検索し、適切なクライアントURLを探すには、S3ブラウザ、ブラウザ拡張機能またはコマンドライン・ツールが必要になります。もう1つの方法として、これらの文字列を組み合せて適切なURLを作成することができます。
HDP 2.5以前では、URLパターンは次のようになります。
http://public-repo-1.hortonworks.com/HDP/<OS version>/2.x/updates/<HDP version base>/tars/{hadoop|apache-hive|hbase}-<service version>.<HDP full version>.tar.gz
次にいくつかの例を示します。gzipファイル名のパターンは、Hiveの場合は若干異なることに注意してください。名前に追加の-bin
セグメントがあります。
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/hadoop-2.7.1.2.3.2.0-2950.tar.gz http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/apache-hive-1.2.1.2.3.2.0-2950-bin.tar.gz http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/hbase-1.1.2.2.3.2.0-2950.tar.gz
tar
ディレクトリの下に追加のhadoop
、hive
またはhbase
ディレクトリがある点を除いてほぼ同じです。
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hadoop/hadoop-2.7.3.2.5.6.0-40.tar.gz http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hive/apache-hive-1.2.1000.2.5.6.0-40-bin.tar.gz http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hbase/hbase-1.1.2.2.5.6.0-40.tar.gz
HDPの代替方法:
Ambariを使用するかわりに、コマンドラインから必要なソフトウェア・バージョンを取得できます。
# hdp-select versions
ダッシュの左側にある番号をコピーし、HDP version base
として保存します。
# hadoop version # beeline --version # hbase versionこれらのコマンドからの出力を使用して、各URLの<
service version
>.<HDP full version
>セグメントを形成します。