3.1.2.6 Spark作業ディレクトリの変更

Spark作業ディレクトリを変更するには:

1. Sparkサービスを停止します:
   1. sudo systemctl stop spark-slave.service
   2. sudo systemctl stop spark-master.service
2. u02の下に作業ディレクトリを作成します:
   1. /u02に移動します
   2. sudo mkdir sparkを実行します。ここで、sparkは作業フォルダ名です。任意の名前でフォルダを作成できます。
   3. chmod 777 sparkを実行して、権限を変更します。
3. spark-env.shを編集します
   1. SPARK_HOME/confに移動し、spark-env.shを編集します
   2. /u02の下に新しく作成されたフォルダを指すように、spark-env.shファイルの末尾にSPARK_WORKER_DIR=/u02/sparkを追加します
4. Sparkサービスを開始します:
   1. sudo systemctl start spark-master.service
   2. sudo systemctl start spark-slave.service

   パイプラインを再度パブリッシュすると、/u02/sparkの下にアプリケーションおよびドライバのデータ(ファイルおよびログ)が表示されます。