Dimensionamento Automático

Para ajudar a salvar recursos e reduzir o tempo de gerenciamento, a alocação dinâmica do Spark agora está ativada no serviço Data Flow.

O planejamento de recursos para processamento de dados é uma tarefa complexa. O uso de recursos é uma função do volume de dados. Os volumes diários de dados podem variar, o que significa que os recursos computacionais necessários também mudam.

Você pode definir um cluster do serviço Data Flow com base em uma faixa de executores, em vez de um número fixo de executores. O Spark fornece um mecanismo para ajustar dinamicamente os recursos que o aplicativo ocupa com base na carga de trabalho. O aplicativo poderá liberar recursos se eles não forem mais usados e solicitá-los novamente mais tarde quando houver demanda. O faturamento só conta o tempo em que um recurso é usado pelo aplicativo. Os recursos retornados não são faturados.