Anwendungen ausführen
Erfahren Sie, wie Sie die in Data Flow erstellten Anwendungen ausführen, Argument- und Parameterwerte bereitstellen, die Ergebnisse prüfen und die Ausführungen diagnostizieren und optimieren, einschließlich der Bereitstellung von JVM-Optionen.
Data Flow stoppt Batchjobs mit langer Ausführungszeit (mehr als 24 Stunden) automatisch mit einem Delegationstoken. Wenn die Anwendung in diesem Fall nicht mit der Verarbeitung der Daten fertig ist, kann es zu einem Ausführungsfehler kommen, und der Job bleibt nicht abgeschlossen. Um dies zu verhindern, verwenden Sie die folgenden Optionen, um die gesamte Ausführungszeit der Anwendung zu begrenzen:
- Beim Erstellen von Ausführungen mit der Konsole
- Geben Sie unter Erweiterte Optionen die Dauer in Max. Ausführungsdauer in Minuten an.
- Beim Erstellen von Ausführungen mit der CLI
- Übergeben Sie die Befehlszeilenoption von
--max-duration-in-minutes <number>
. - Beim Erstellen von Ausführungen mit dem SDK
- Geben Sie das optionale Argument
max_duration_in_minutes
an. - Beim Erstellen von Ausführungen mit der API
- Legen Sie das optionale Argument
maxDurationInMinutes
fest.
Ausführungen
Bei jeder Ausführung einer Datenflussanwendung wird eine Datenflussausführung erstellt. Die Datenflussausführung erfasst die Ausgabe, Logs und Statistiken der Anwendung und speichert diese auf sichere Weise. Die Ausgabe wird so gespeichert, dass sie von jedem Benutzer mit den entsprechenden Berechtigungen über die UI oder die REST-API angezeigt werden kann. Ausführungen ermöglichen außerdem den sicheren Zugriff auf die Spark-UI zu Debugging- und Diagnosezwecken.