Escala automática

Para ayudarle a ahorrar recursos y reducir el tiempo de gestión, la asignación dinámica de Spark ahora está activada en Data Flow.

La planificación de recursos para el procesamiento de datos es una tarea compleja. El uso de recursos es una función del volumen de los datos. Los volúmenes diarios de datos pueden variar, lo que significa que el recurso informático también necesita cambios.

Puede definir un cluster de Data Flow basado en un rango de ejecutores, en lugar de en un número fijo de ejecutores. Spark proporciona un mecanismo para ajustar dinámicamente los recursos que ocupa la aplicación en función de la carga de trabajo. La aplicación puede ceder recursos si ya no se utilizan y volver a solicitarlos más tarde cuando haya demanda. La facturación solo cuenta el tiempo durante el cual la aplicación utiliza un recurso. Los recursos devueltos no se facturan.