Exécution des applications
Découvrez comment exécuter les applications créées dans Data Flow, fournir des valeurs d'argument et de paramètre, vérifier les résultats, ainsi que diagnostiquer et régler les exécutions, y compris en fournissant des options JVM.
Important
Data Flow arrête automatiquement les traitements batch à longue durée d'exécution à l'aide de jetons de délégation au bout de 24 heures et les traitements batch à longue durée d'exécution à l'aide de principaux de ressource au bout de 30 jours. Aucune notification n'indique que le travail est sur le point d'être arrêté.
Si l'application n'est pas terminée avec le traitement des données, vous risquez d'obtenir un échec d'exécution et le travail reste inachevé. Pour éviter cela, utilisez les options suivantes pour limiter la durée totale d'exécution de l'application : Data Flow arrête automatiquement les traitements batch à longue durée d'exécution à l'aide de jetons de délégation au bout de 24 heures et les traitements batch à longue durée d'exécution à l'aide de principaux de ressource au bout de 30 jours. Aucune notification n'indique que le travail est sur le point d'être arrêté.
- Lors de la création d'exécutions à l'aide de la console
- Sous Options avancées, indiquez la durée en Durée d'exécution maximale en minutes.
- Lors de la création d'exécutions à l'aide de la CLI
- Option Transmettre la ligne de commande de
--max-duration-in-minutes <number> - Lors de la création d'exécutions à l'aide du kit SDK
- Indiquez l'argument facultatif
max_duration_in_minutes - Lors de la création d'exécutions à l'aide de l'API
- Définissez l'argument facultatif
maxDurationInMinutes.
Présentation des exécutions
Chaque fois qu'une application Data Flow est prête, une exécution Data Flow est créée. L'exécution Data Flow capture et stocke en toute sécurité la sortie, les journaux et les statistiques de l'application. La sortie est enregistrée afin qu'elle puisse être visualisée par tout utilisateur disposant des droits d'accès appropriés à l'aide de l'interface utilisateur ou de l'API REST. Ces exécutions vous donnent également un accès sécurisé à l'interface utilisateur Spark pour permettre le débogage et le diagnostic.