Anwendungen ausführen
Erfahren Sie, wie Sie die in Data Flow erstellten Anwendungen ausführen, Argument- und Parameterwerte bereitstellen, die Ergebnisse prüfen und die Ausführungen diagnostizieren und optimieren, einschließlich der Bereitstellung von JVM-Optionen.
Wichtig
Data Flow stoppt Batchjobs mit langer Ausführungszeit automatisch mit Delegierungstoken nach 24 Stunden und Batchjobs mit langer Ausführungszeit mit Resource Principals nach 30 Tagen. Es wird keine Benachrichtigung angezeigt, dass der Job gestoppt wird.
Wenn die Verarbeitung der Daten für die Anwendung noch nicht abgeschlossen ist, kann es zu einem Ausführungsfehler kommen, und der Job bleibt nicht abgeschlossen. Um dies zu verhindern, verwenden Sie die folgenden Optionen, um die Gesamtzeit zu begrenzen, die die Anwendung ausführen kann: Data Flow stoppt Batchjobs mit langer Ausführungszeit automatisch mit Delegierungstoken nach 24 Stunden und Batchjobs mit langer Ausführungszeit mit Resource Principals nach 30 Tagen. Es wird keine Benachrichtigung angezeigt, dass der Job gestoppt wird.
- Beim Erstellen von Ausführungen mit der Konsole
- Geben Sie unter Erweiterte Optionen die Dauer in Max. Ausführungsdauer in Minuten an.
- Beim Erstellen von Ausführungen mit der CLI
- Übergeben Sie die Befehlszeilenoption von
--max-duration-in-minutes <number>. - Beim Erstellen von Ausführungen mit dem SDK
- Geben Sie das optionale Argument
max_duration_in_minutesan. - Beim Erstellen von Ausführungen mit der API
- Legen Sie das optionale Argument
maxDurationInMinutesfest.
Ausführungen
Bei jeder Ausführung einer Datenflussanwendung wird eine Datenflussausführung erstellt. Die Datenflussausführung erfasst die Ausgabe, Logs und Statistiken der Anwendung und speichert diese auf sichere Weise. Die Ausgabe wird so gespeichert, dass sie von jedem Benutzer mit den entsprechenden Berechtigungen über die UI oder die REST-API angezeigt werden kann. Ausführungen ermöglichen außerdem den sicheren Zugriff auf die Spark-UI zu Debugging- und Diagnosezwecken.