3.1.2.7 時間に基づいたSparkログ・ロールオーバーの変更

時間に基づいてSparkログ・ロールオーバーを変更するには:

1. Sparkサービスを停止します:
   1. sudo systemctl stop spark-slave.service
   2. sudo systemctl stop spark-master.service
2. spark-env.shを編集します
   1. SPARK_HOME/confに移動し、SPARK_WORKER_OPTS変数とその値をコメント化または削除します。
3. 次の行を追加して、spark-defaults.confを編集します:
   • spark.executor.logs.rolling.maxRetainedFiles 7
   • spark.executor.logs.rolling.strategy time
   • spark.executor.logs.rolling.time.interval minutely

   ノート:

   spark.executor.logs.rolling.time は、daily、 hourly、minutelyに変更できます。これは、時間に基づいてログ・ロールオーバーを有効にするためです。
4. Sparkサービスを開始します:
   1. sudo systemctl start spark-master.service
   2. sudo systemctl start spark-slave.service

   パイプラインを再度パブリッシュすると、/u02/sparkの下にアプリケーションおよびドライバのデータ(ファイルおよびログ)が表示されます。