1. インストレーション・ガイド
  2. 適切なソフトウェア・バージョンの確認とHadoopクライアントのダウンロード・パスの構成

D 適切なソフトウェア・バージョンの確認とHadoopクライアントのダウンロード・パスの構成

Hadoop、HiveおよびHBaseのtarballをダウンロードするようにbds-database-create-bundle.shを構成するには、これらの各パラメータにURLを提供する必要があります。
--hive-client-ws
--hadoop-client-ws
--hbase-client-ws

適切なURLを提供するために必要な情報を取得するには、まずコンテンツ管理サービス(CMまたはAmbari)をチェックして、Hadoopクラスタで実行中のHadoop、HiveおよびHBaseの各サービスのバージョンを確認します。互換性のあるクライアントは、同じバージョンのものです。いずれの場合にも、クライアントのtarballファイル名には、クラスタにインストールされているサービスのバージョンに一致するバージョン文字列セグメントが含まれています。CDHの場合、公開リポジトリを参照して、サービス・バージョンに一致するクライアントのURLを見つけることができます。HDPリポジトリの場合、このためにはAmazon S3ストレージを参照できるツールが必要になります。ただし、ここで説明するように、Ambariから取得できる情報とともに既知のURLパターンを使用して、適切なURLを構成することもできます。

CDH (Oracle Big Data ApplianceとコモディティCDHシステムの両方)の場合:

  1. Cloudera Managerにログオンし、「Hosts」メニューに移動します。「All Hosts」を選択し、「Inspect All Hosts」を選択します。

  2. この検査が終了したら、「Show Inspector Results」(画面上)または「Download Result Data」(JSONファイルへ)のいずれかを選択します。

  3. いずれの場合も、結果セットをスキャンし、サービス・バージョンを確認します。

    JSONバージョンの検査結果では、クラスタごとにcomponentInfoセクションがあり、ここにそのクラスタにインストールされているソフトウェアのバージョンが示されます。次に例を示します。
               "componentInfo": [
                ...              
         {                 
            "cdhVersion": "CDH5",                  
            "componentRelease": "1.cdh5.11.1.p0.6",                
         "componentVersion": "2.6.0+cdh5.11.1+2400",
         "name": "hadoop"             
         },              
        ...

  4. https://archive.cloudera.com/cdh5/cdh/5に移動します。

    アーカイブのCDH5セクションのhadoop、hiveおよびhbaseの各サブディレクトリを確認します。リストでは、クラスタにインストールされているサービスのバージョン用のクライアント・パッケージが見つかります。

  5. URLをコピーし、bds-database-create-bundle.shに指定されるパラメータの値として使用します。次に例を示します。 

    https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.12.1.tar.gz
https://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.12.1.tar.gz
https://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.12.1.tar.gz

関連項目:

このツールを使用してインストールされているソフトウェア・バージョンを確認する方法の詳細が必要な場合は、ClouderaのWebサイトで「Host Inspector」を検索してください。

HDPの場合:

  1. Ambariにログオンします。「Admin」→「Stack and Versions」に移動します。「Stack」タブで、HDFS、HiveおよびHBaseの各サービスのエントリを見つけ、それぞれのバージョン番号をservice versionとして書き留めます。

  2. 「Versions」タブをクリックします。クラスタで実行されているHDPのバージョンをHDP version baseとして書き留めます。

  3. 「Show Details」をクリックするとポップアップ・ウィンドウが表示され、インストールされているHDPリリースの完全なバージョン文字列が示されます。これをHDP full versionとして書き留めます。

  4. 必要な情報の最後の部分は、Linuxのバージョン(centos5、centos6またはcentos7)です。これをOS versionとして書き留めます。

このステップで取得したこれらの情報を使用してAmazon S3ストレージのHDPリポジトリを検索し、適切なクライアントURLを探すには、S3ブラウザ、ブラウザ拡張機能またはコマンドライン・ツールが必要になります。もう1つの方法として、これらの文字列を組み合せて適切なURLを作成することができます。

HDP 2.5以前では、URLパターンは次のようになります。

http://public-repo-1.hortonworks.com/HDP/<OS version>/2.x/updates/<HDP version base>/tars/{hadoop|apache-hive|hbase}-<service version>.<HDP full version>.tar.gz

次にいくつかの例を示します。gzipファイル名のパターンは、Hiveの場合は若干異なることに注意してください。名前に追加の-binセグメントがあります。 

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/hadoop-2.7.1.2.3.2.0-2950.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/apache-hive-1.2.1.2.3.2.0-2950-bin.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/hbase-1.1.2.2.3.2.0-2950.tar.gz
HDP 2.5以降のリリースの場合、パターンは、tarディレクトリの下に追加のhadoop、hiveまたはhbaseディレクトリがある点を除いてほぼ同じです。
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hadoop/hadoop-2.7.3.2.5.6.0-40.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hive/apache-hive-1.2.1000.2.5.6.0-40-bin.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hbase/hbase-1.1.2.2.5.6.0-40.tar.gz

HDPの代替方法:

Ambariを使用するかわりに、コマンドラインから必要なソフトウェア・バージョンを取得できます。

  • # hdp-select versions

    ダッシュの左側にある番号をコピーし、HDP version baseとして保存します。 

  • # hadoop version 
# beeline --version 
# hbase version
    これらのコマンドからの出力を使用して、各URLの<service version>.<HDP full version>セグメントを形成します。