Ajustement automatique

Pour vous aider à économiser des ressources et à consacrer moins de temps à la gestion, l'affectation dynamique Spark est maintenant activée dans le service de flux de données.

La planification des ressources pour le traitement des données est une tâche complexe. L'utilisation des ressources est fonction du volume de données. Les volumes de données quotidiens peuvent varier, ce qui signifie que les ressources de calcul doivent également évoluer.

Vous pouvez définir une grappe de flux de données basée sur un intervalle d'exécuteurs, au lieu d'un nombre fixe d'exécuteurs. Spark fournit un mécanisme permettant d'ajuster dynamiquement les ressources occupées par une application en fonction de la charge de travail. L'application peut restituer des ressources si elles ne sont plus utilisées et les demander à nouveau plus tard en cas de besoin. La facturation ne tient compte que de la durée pendant laquelle une ressource est utilisée par l'application. Les ressources retournées ne sont pas facturées.