Referencia

Apache Spark: Apache Spark es un motor de análisis unificado para el procesamiento de big data, con módulos integrados para flujo, SQL, Machine Learning y procesamiento de gráficos.

Spark Application: las aplicaciones Spark son aplicaciones que utilizan la API de Spark para realizar tareas de procesamiento de datos distribuidos. Las aplicaciones Spark se pueden escribir en varios lenguajes, entre otros, Java y Python. Las aplicaciones Spark son archivos como archivos JAR que se ejecutan en el marco de Spark.

Aplicación de Data Flow: las aplicaciones de Data Flow son plantillas que agrupan una aplicación Spark y especifican una versión de la aplicación Spark, el tamaño de la aplicación por defecto y de tamaño de las aplicaciones por defecto.

Ejecución de Data Flow: las aplicaciones de Data Flow se pueden ejecutar varias veces. Cada uno de estos resultados en un objeto de ejecución de Data Flow. El usuario puede sustituir los tamaños y los parámetros de los recursos en tiempo de ejecución. Una ejecución de Data Flow realiza un seguimiento de la información relevante para la ejecución de la aplicación, como estadísticas y logs.

IU de Spark: la interfaz de usuario de Spark se incluye con Apache Spark y es una herramienta importante para depurar y diagnosticar las aplicaciones Spark. Puede acceder a la interfaz de usuario de Spark para cualquier ejecución de Data Flow, según las políticas de autorización de la ejecución.

Logs de Spark: Spark genera archivos log que son útiles para la depuración y el diagnóstico. Cada ejecución de Data Flow almacena automáticamente los archivos log a los que puede acceder mediante la interfaz de usuario o la API de Spark, según las políticas de autorización de la ejecución.