Ejecución de aplicaciones
Descubra cómo ejecutar las aplicaciones que ha creado en Data Flow, proporcionar valores de argumentos y parámetros, revisar los resultados y diagnosticar y ajustar las ejecuciones, incluidas las opciones de JVM.
Importante
El flujo de datos detiene automáticamente los trabajos por lotes de larga ejecución que utilizan tokens de delegación después de 24 horas y los trabajos por lotes de larga ejecución que utilizan principales de recursos después de 30 días. No se notifica que el trabajo está a punto de detenerse.
Si la aplicación no ha terminado de procesar los datos, es posible que se produzca un error de ejecución y que el trabajo permanezca sin finalizar. Para evitarlo, utilice las siguientes opciones para limitar el tiempo total que la aplicación puede ejecutar: El flujo de datos detiene automáticamente los trabajos por lotes de larga ejecución que utilizan tokens de delegación después de 24 horas y los trabajos por lotes de larga ejecución que utilizan principales de recursos después de 30 días. No se notifica que el trabajo está a punto de detenerse.
- Al crear ejecuciones mediante la consola
- En Opciones avanzadas, especifique la duración en Máximo de minutos de duración de ejecución.
- Al crear ejecuciones con la CLI
- Transferir opción de línea de comandos de
--max-duration-in-minutes <number> - Al crear ejecuciones con el SDK
- Proporcione el argumento opcional
max_duration_in_minutes - Al crear ejecuciones mediante la API
- Defina el argumento opcional
maxDurationInMinutes
Descripción de las ejecuciones
Cada vez que se ejecuta una aplicación de Data Flow se crea una ejecución de Data Flow. La ejecución de Data Flow captura y almacena de forma segura la salida, los logs y las estadísticas de la aplicación. El resultado se guarda para que lo pueda ver cualquier usuario que tenga los permisos correctos mediante la interfaz de usuario o la API de REST. Las ejecuciones también proporcionan acceso seguro a la IU de Spark para la depuración y el diagnóstico.