アプリケーションの実行
データ・フローで作成したアプリケーションの実行方法、引数およびパラメータ値を指定し、結果を確認する方法、JVMオプションの指定などの実行を診断およびチューニングする方法を学習します。
重要
データ・フローでは、24時間後に委任トークンを使用し、30日後にリソース・プリンシパルを使用して長時間実行されるバッチ・ジョブが自動的に停止されます。ジョブが停止しようとしていることを示す通知はありません。
アプリケーションのデータの処理が完了していない場合、実行が失敗し、ジョブは未完了のままになる可能性があります。これを防ぐには、次のオプションを使用して、アプリケーションを実行できる合計時間を制限します。 データ・フローでは、24時間後に委任トークンを使用し、30日後にリソース・プリンシパルを使用して長時間実行されるバッチ・ジョブが自動的に停止されます。ジョブが停止しようとしていることを示す通知はありません。
- コンソールを使用した実行の作成時
- 「拡張オプション」で、「最大実行期間(分)」に期間を指定します。
- CLIを使用して実行を作成する場合
--max-duration-in-minutes <number>のコマンドライン・オプションを渡します- SDKを使用して実行を作成する場合
- オプションの引数
max_duration_in_minutesを指定します - APIを使用した実行の作成時
- オプションの引数
maxDurationInMinutesを設定します
実行の理解
データ・フロー・アプリケーションが実行されるたびに、データ・フロー実行が作成されます。データ・フロー実行では、アプリケーションの出力、ログおよび統計が取得され、安全に格納されます。出力は保存され、UIまたはREST APIを使用して、適切な権限を持つユーザーが参照できます。実行により、デバッグおよび診断のためにSpark UI へのセキュアなアクセスも可能になります。