ローカル・リポジトリ用のHadoop、HiveおよびHBaseクライアントの適切なバージョンのダウンロード

D ローカル・リポジトリ用のHadoop、HiveおよびHBaseクライアントの適切なバージョンのダウンロード

これらの依存関係をローカル・リポジトリからダウンロードする場合は、次の手順に従って修正クライアント・バージョンをリポジトリに追加します。

デフォルトでは、Jaguarインストーラは、インターネット上のClouderaまたはHDPリポジトリからクライアントのダウンロードを試みます。このアクセスがデータ・センター内で制限されている場合は、ローカル・リポジトリを指定できます。これらは、ローカル・ディレクトリまたはNFSパスにすることができます。ローカル・ネットワーク内またはインターネット上のURLにすることもできます。

CDH 5.xの場合:

まずコンテンツ管理サービス(CMまたはAmbari)をチェックして、Hadoopクラスタで実行中のHadoop、HiveおよびHBaseの各サービスのバージョンを確認します。互換性のあるクライアントは、同じバージョンのものです。いずれの場合にも、クライアントのtarballファイル名には、クラスタにインストールされているサービスのバージョンに一致するバージョン文字列セグメントが含まれています。CDHの場合、公開リポジトリを参照して、サービス・バージョンに一致するクライアントのURLを見つけることができます。

Cloudera Managerにログオンし、「Hosts」メニューに移動します。「All Hosts」を選択し、「Inspect All Hosts」を選択します。
この検査が終了したら、「Show Inspector Results」(画面上)または「Download Result Data」(JSONファイルへ)のいずれかを選択します。
いずれの場合も、結果セットをスキャンし、サービス・バージョンを確認します。

JSONバージョンの検査結果では、クラスタごとにcomponentInfoセクションがあり、ここにそのクラスタにインストールされているソフトウェアのバージョンが示されます。データセットの形式は次のとおりです。
```
"componentInfo": [
       ...              
{                 
   "cdhVersion": "CDH5",                  
   "componentRelease": "1.cdh5.11.1.p0.6",  
   "componentVersion": "2.6.0+cdh5.11.1+2400",   
   "name": "hadoop"                
},              
...
```
https://archive.cloudera.com/cdh5/cdh/5に移動します。

ノート:
2021年2月以降、すべてのClouderaリポジトリでパスワード認証が必要であり、cdh5のクライアントjarまたはcdh6のクライアントrpmの両方にアクセスしてダウンロードするには、Cloudera資格証明を指定する必要があります。Big Data Applianceを実行している場合は、オラクル社のサポートに連絡して、必要な特定のクライアントのパッチをリクエストしてください。

アーカイブのCDH5セクションのhadoop、hiveおよびhbaseの各サブディレクトリを確認します。リストでは、クラスタにインストールされているサービスのバージョン用の次のようなクライアントtarballパッケージが見つかります。
```
https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.12.1.tar.gz
https://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.12.1.tar.gz
https://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.12.1.tar.gz
```

適切なバージョンのクライアントを特定してローカル・リポジトリにダウンロードしたら、Jaguarインストーラで使用されるbds-config.jsonファイルのrepositoriesセクションにパスを指定します。

CDH 6.Xの場合:

bds-config.json構成ファイルのdirおよびurlパラメータは、Cloudera 6.xシステムではサポートされていません。CDH 6.xの場合は、bds-database-install.sh (データベース側)インストーラを実行する前にローカル・リポジトリを設定し、bds-database-install.shのコマンドライン・パラメータ・リファレンスの説明に従って、インストーラ・コマンド・ラインに--alternate-repoパラメータを含めます。

HDPの場合:

Ambariにログオンします。「Admin」→「Stack and Versions」に移動します。「Stack」タブで、HDFS、HiveおよびHBaseの各サービスのエントリを見つけ、それぞれのバージョン番号をservice versionとしてノートにとります。
「Versions」タブをクリックします。クラスタで実行されているHDPのバージョンをHDP version baseとしてノートにとります。
「Show Details」をクリックするとポップアップ・ウィンドウが表示され、インストールされているHDPリリースの完全なバージョン文字列が示されます。これをHDP full versionとして書き留めます。
必要な情報の最後の部分は、Linuxのバージョン(centos5、centos6またはcentos7)です。これをOS versionとして書き留めます。

このステップで取得したこれらの情報を使用してAmazon S3ストレージのHDPリポジトリを検索し、適切なクライアントURLを探すには、S3ブラウザ、ブラウザ拡張機能またはコマンドライン・ツールが必要になります。もう1つの方法として、これらの文字列を組み合せて適切なURLを作成することができます。

HDP 2.5以前では、URLパターンは次のようになります。

http://public-repo-1.hortonworks.com/HDP/<OS version>/2.x/updates/<HDP version base>/tars/{hadoop|apache-hive|hbase}-<service version>.<HDP full version>.tar.gz

次にいくつかの例を示します。gzipファイル名のパターンは、Hiveの場合は若干異なることに注意してください。名前に追加の-binセグメントがあります。

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/hadoop-2.7.1.2.3.2.0-2950.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/apache-hive-1.2.1.2.3.2.0-2950-bin.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars/hbase-1.1.2.2.3.2.0-2950.tar.gz

HDP 2.5以降のリリースの場合、パターンは、tarディレクトリの下に追加のhadoop、hiveまたはhbaseディレクトリがある点を除いてほぼ同じです。

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hadoop/hadoop-2.7.3.2.5.6.0-40.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hive/apache-hive-1.2.1000.2.5.6.0-40-bin.tar.gz
http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.5.6.0/tars/hbase/hbase-1.1.2.2.5.6.0-40.tar.gz

HDPの代替方法:

Ambariを使用するかわりに、コマンドラインから必要なソフトウェア・バージョンを取得できます。

# hdp-select versions

ダッシュの左側にある番号をコピーし、HDP version baseとして保存します。
```
# hadoop version 
# beeline --version 
# hbase version
```
これらのコマンドからの出力を使用して、各URLの<service version>.<HDP full version>セグメントを形成します。