6.2.1 Sparkストリーミング・データサーバー・プロパティ

Spark実行ユニットに追加されたSparkテクノロジに固有のストリーミング・プロパティを示します。

表6-2 Sparkストリーミング・データサーバー・プロパティ

キー	値
spark.checkpointingBaseDir	このプロパティはベース・ディレクトリを定義し、そのベース・ディレクトリ下に各Spark EUによってEUという名前のサブディレクトリが作成されます。例: hdfs://cluster-ns1/user/oracle/spark/checkpoints
spark.checkpointingInterval	時間(秒)を表します。
spark.restartFromCheckpoint	trueに設定すると、Sparkストリーミング・アプリケーションは既存のチェックポイントから再開されます。 falseに設定すると、Sparkストリーミング・アプリケーションは既存のチェックポイントをすべて無視します。チェックポイントが存在しない場合は、通常どおり開始されます。
spark.batchDuration	Sparkによってストリーム入力データがバッチにまとめられる時間(秒)を表します。
spark.rememberDuration	Sparkによってストリーミング・コンテキストに設定される、RDDを保存する時間(秒)を表します。
spark.checkpointing	Sparkチェックポイントを有効にします。
spark.streaming.timeout	ストリーミング・アプリケーションが停止されるまでSparkが待機する時間(秒)を表します。デフォルトは60です。
odi-execution-mode	SYNCHRONOUS: Sparkアプリケーションは、`OdiOSCommand`を使用して発行およびモニターされます。 ASYNCHRONOUS: Sparkアプリケーションは、`OdiOSCommand`を使用して非同期に発行され、Spark REST APIを使用してモニターされます。
spark.ui.enabled	Spark Live REST APIを有効にします。注意: 非同期実行の場合はtrueに設定します。
spark.eventLog.enabled	Sparkイベント・ログを有効にします。これにより、Spark履歴サーバーでログにアクセスできるようになります。注意: 非同期実行の場合はtrueに設定します。
principal	Kerberos化されたユーザー名。
keytab	Kerberos化されたパスワード。
odi.spark.enableUnsupportedSparkModes	このチェックは、yarn-clientとyarn-clusterのみがサポートされると、採用されます。