アプリケーションの実行
データ・フローで作成したアプリケーションの実行方法、引数およびパラメータ値を指定し、結果を確認する方法、JVMオプションの指定などの実行を診断およびチューニングする方法を学習します。
データ・フローは、委任トークンを使用して長時間実行のバッチ・ジョブ(24時間以上)を自動的に停止します。この場合、アプリケーションのデータの処理が終了していないと、実行が失敗し、ジョブは未完了のままになる可能性があります。これを防ぐには、次のオプションを使用して、アプリケーションを実行できる合計時間を制限します。
- コンソールを使用した実行の作成時
- 「拡張オプション」で、「最大実行期間(分)」に期間を指定します。
- CLIを使用して実行を作成する場合
--max-duration-in-minutes <number>のコマンドライン・オプションを渡します- SDKを使用して実行を作成する場合
- オプションの引数
max_duration_in_minutesを指定します - APIを使用した実行の作成時
- オプションの引数
maxDurationInMinutesを設定します
実行の理解
データ・フロー・アプリケーションが実行されるたびに、データ・フロー実行が作成されます。データ・フロー実行では、アプリケーションの出力、ログおよび統計が取得され、安全に格納されます。出力は保存され、UIまたはREST APIを使用して、適切な権限を持つユーザーが参照できます。実行により、デバッグおよび診断のためにSpark UI へのセキュアなアクセスも可能になります。