Data Flow-Pools

Datenflusspools können in vielen Data Flow-Batch-, Streaming- und Session-Workloads von verschiedenen Benutzern gleichzeitig im selben Mandanten verwendet werden.

Pools bieten einen leistungsstarken und flexiblen Mechanismus zur effizienten Verwaltung von Spark-basierten Batch-, Streaming- und Session-Workloads über mehrere Benutzer innerhalb desselben Mandanten hinweg. Pools wurden entwickelt, um sowohl zeitkritische Produktionsumgebungen als auch dynamische Entwicklungsszenarien zu unterstützen und reduzieren die Startzeiten von Anwendungen, indem die vorab initialisierte Compute-Infrastruktur beibehalten wird.

Sie ermöglichen eine Workload-Isolation der Unternehmensklasse und stellen sicher, dass kritische Produktionsjobs durch dedizierte Ressourcensegmentierung nicht von Entwicklungsaktivitäten beeinflusst werden. Die Kostenkontrolle wird durch feingranulierte IAM-Policys optimiert, mit denen die Poolnutzung auf autorisierte Benutzer oder bestimmte Umgebungen beschränkt wird. Gleichzeitig ermöglichen intelligente Queuing-Mechanismen eine hochvolumige Jobweiterleitung und optimieren gleichzeitig die Ressourcennutzung.

Pools können so geplant werden, dass sie automatisch innerhalb definierter Zeitfenster gestartet werden und schließlich nach einem Timeout bei der Nutzung gestoppt werden, die Rechenverfügbarkeit an Geschäftsprozessen ausgerichtet und die Leerlaufkosten minimiert werden. Darüber hinaus verarbeitet die integrierte Automatisierung das Sicherheitspatching nahtlos, ohne laufende Anwendungen zu unterbrechen. Daher sind Pools die ideale Wahl für eine sichere, skalierbare und kosteneffiziente Ausführung von Spark-Workloads.

Pools bieten eine breite Palette von Funktionen für verschiedene Anwendungsfälle, wie zum Beispiel:

• Zeitabhängige große Produktions-Workloads mit vielen Executors, die eine schnellere Startzeit in Sekunden erfordern.
• Kritische Produktions-Workloads werden nicht von dynamischen Entwicklungs-Workloads beeinflusst, da ihre Ressourcen in verschiedene Pools aufgeteilt werden können.
• Kontrollieren Sie Kosten und Nutzung für die Entwicklung mit der IAM-Policy, mit der Sie Datenflussausführungen an bestimmte Pools weiterleiten können.
• Eine große Anzahl von Datenflussausführungen muss mit weniger Startzeit verarbeitet werden.
• Die Queueing von Data Flow wird in einem Pool ausgeführt, um Ressourcen effizient zu nutzen und die Kosten zu kontrollieren.
• Workloads werden nur in einem bestimmten Zeitfenster eines Tages ausgeführt, für das der automatische Start eines Pools nach einem Zeitplan und der automatische Stopp im Leerlauf erforderlich sind.
• Automatisches Sicherheitspatching ohne Auswirkungen auf Ausführungen oder Ressourcen in einem Pool.

Ein weiterer Anwendungsfall für Data Flow ist die Möglichkeit, Knoten mit einer speziellen Konfiguration vorab zuzuweisen (oder zu reservieren). Dies sind Ressourcen bestimmter Größen (oder der Beziehung zwischen CPU und Speicher), die in den Data Centern, die diese Region unterstützen, selten sind. Die Jobs, die eine solche spezielle Konfiguration erfordern, umfassen in der Regel große Datenmengen und Datensatzgrößen, die nicht einfach verteilt werden können, indem der Jobausführung mehr Knoten zugewiesen werden.

Für diese Szenarien ist es praktisch, die Data Center in der Region abzufragen, um die Verfügbarkeit dieser Ressourcen zu bewerten. Oracle-Beispiele bieten einen einfachen Ansatz, um diese Kapazität in verschiedenen kommerziellen Kontexten zu untersuchen.