Autoscaling

Um Ressourcen zu sparen und die Verwaltungszeit zu verkürzen, ist die dynamische Spark-Zuweisung jetzt in Data Flow aktiviert.

Die Ressourcenplanung für die Datenverarbeitung ist eine komplexe Aufgabe. Die Ressourcennutzung hängt funktional vom Datenvolumen ab. Die täglichen Datenmengen können variieren. Das heißt, dass sich auch die erforderlichen rechnerischen Ressourcen ändern.

Sie können ein Data Flow-Cluster basierend auf einem Bereich von Executors anstelle einer festen Anzahl von Executors definieren. Spark bietet einen Mechanismus, mit dem die Ressourcen, die von der Anwendung belegt werden, basierend auf der Workload dynamisch angepasst werden. Die Anwendung gibt Ressourcen möglicherweise ab, wenn sie nicht mehr verwendet werden, und fordert sie später bei Bedarf erneut an. Die Abrechnung zählt nur die Zeit, zu der eine Ressource von der Anwendung verwendet wird. Zurückgesendete Ressourcen werden nicht fakturiert.