Supportinformationen und Überlegungen bei der Verwendung von Pipelines
In Data Integration ist eine Pipeline eine Entwurfszeitressource zum Erstellen einer Gruppe von Aufgaben, die in einer Sequenz oder parallel verbunden sind, um die Datenverarbeitung zu erleichtern. Sie können damit die Ausführung einer Gruppe zugehöriger Aufgaben und Aktivitäten für eine Workload verwalten und orchestrieren, anstatt Aufgaben einzeln auszuführen und die Ausführungsergebnisse separat zu verarbeiten. Diese Pipelines sind nicht für Aufgaben mit geringer Latenz konzipiert. Gelegentlich kann es bei jedem Schritt aufgrund von Netzwerk- oder Cloud-Problemen zu einer Verzögerung von mehreren Minuten kommen. Dazwischen befinden sich Abstimmungsprozesse, die eine Minute oder manchmal sogar länger dauern können.
Stellen Sie sicher, dass Sie verstehen, was unterstützt wird, und alle aktuellen Einschränkungen, bevor Sie Pipelines in Data Integration erstellen.
- Standardmäßig ist ein Workspace auf vier nebenläufige Aufgabenausführungen begrenzt. Wenn mehr als vier Aufgaben in einer Pipeline vorhanden sind, werden Integrationsaufgaben und Data-Loader-Aufgaben basierend auf dem Limit von vier nebenläufigen Ausführungen pro Standard-Workspace in die Queue gestellt. SQL-, OCI Data Flow- und REST-Aufgaben werden nicht in die Queue gestellt.
- Das Limit von vier nebenläufigen Ausführungen beträgt über Pipelines in einem Workspace. Das Limit beträgt nicht nur innerhalb einer Pipeline.
- Beachten Sie beim Entwerfen einer Pipeline, dass während der maximal unterstützten Nebenläufigkeit 16 gleichzeitig nur vier Aufgabenausführungen gleichzeitig ausgeführt werden können.
- Das Verschachteln von Pipelines wird unterstützt. Die maximale verschachtelte Tiefe beträgt drei (3) Ebenen.
- Eine Pipeline darf auf keiner Ebene mehr als 100 Aufgaben enthalten.
- Wenn in einer Pipeline die Ausgabeparameter eines Operators im nächsten Operator verwendet werden, verzichten Sie darauf, denselben Ausgabeparameter mehrmals zu verwenden, da dies zu einem unbestimmten Ergebnis führen kann.
Das Limit für verschachtelte Tiefenebenen und das Aufgabenlimit für eine Ebene gelten nur für neue Pipelines, die Sie erstellen und speichern. Vorhandene Pipelines, die diese Einschränkungen überschreiten, sind nicht betroffen, und sie funktionieren und laufen ohne Unterbrechung weiter.