MapRへのSparkのインストール

このトピックでは、MapRインスタンスにApache Sparkをインストールする方法について説明します。

MapR (MapR Converged Data Platform)クラスタのSparkバージョンと一致するApache Sparkをダウンロードする必要があります。Sparkのバージョン情報は、インストールされているクラスタ、またはMapRの公式Webサイトから確認できます。

Spark 1.5.xまたは1.6.xコンポーネントをインストールするには:

  1. BDDシェル・マシンにMapRクライアントがあることを確認します。
  2. 2つの方法のいずれかを使用してSparkを取得します。
    • MapRのSparkをインストールします。
      yum install mapr-spark mapr-spark-historyserver
    • または、MapRクラスタからSparkをコピーします。
      scp -r bdduser@abc.us.example.com:/opt/mapr/spark/ /opt/mapr/spark/
  3. MapRのhive-site.xmlファイルをコピーします。
    scp -r bdduser@abc.us.example.com:/opt/mapr/hive/hive-1.2/conf/hive-site.xml /opt/mapr/spark/spark-1.6.1/conf/