Redimensionnement automatique

Pour vous aider à économiser des ressources et à réduire le temps de gestion, l'allocation dynamique Spark est désormais activée dans Data Flow.

La planification des ressources pour le traitement des données est une tâche complexe. L'utilisation des ressources dépend du volume de données. Les volumes de données quotidiens peuvent varier, ce qui signifie que la ressource de calcul a également besoin de modifications.

Vous pouvez définir un cluster Data Flow en fonction d'une plage d'exécuteurs au lieu d'un nombre fixe d'exécuteurs. Spark fournit un mécanisme permettant d'ajuster de manière dynamique les ressources occupées par l'application en fonction de la charge globale. L'application peut abandonner des ressources si elles ne sont plus utilisées et les demander de nouveau ultérieurement en cas de besoin. La facturation prend en compte uniquement la durée d'utilisation d'une ressource par l'application. Les ressources renvoyées ne sont pas facturées.