Pipelineoperatoren verwenden
In Data Integration stehen Pipelineoperatoren für verschiedene Aufgaben und Aktivitäten, die in einer Pipeline verwendet werden können.
Folgende Aufgabenoperatoren können in einer Pipeline verwendet werden:
- Integrations- und Data Loader-Aufgabenoperatoren, mit denen Sie Datenintegrationslösungen innerhalb einer Pipeline ausführen können. Sie können Eingaben für die Operatoren konfigurieren. Aufgabenoperatoreingaben ähneln Parametern, die auf Aufgaben- oder Datenflussebene definiert werden.
- SQL-Aufgabenoperatoren, mit denen Sie SQL-Stored Procedures in einer Pipeline ausführen können. Sie können Werte für die Parameter in den Stored Procedures konfigurieren.
- OCI Data Flow-Aufgabenoperatoren, mit denen Sie OCI Data Flow-Anwendungen in einer Pipeline ausführen können.
- REST-Aufgabenoperatoren, mit denen Sie REST-API-Endpunkte in einer Pipeline ausführen können. Sie können die Werte aller Parameter, die in der REST-Aufgabe verwendet werden, neu konfigurieren.
- Pipelineaufgabenoperatoren, mit denen Sie eine andere Pipeline innerhalb einer Pipeline ausführen können.
Stellen Sie sicher, dass Sie Supportinformationen und Überlegungen bei der Verwendung von Pipelines prüfen, bevor Sie eine Pipeline erstellen oder bearbeiten. Achten Sie beispielsweise auf die verschachtelte Tiefenebene und das Aufgabenlimit pro Ebene.
Für alle Aufgabenoperatoren können Sie Entwurfszeitaufgaben aus Projekten im aktuellen Workspace und veröffentlichte Aufgaben aus einer beliebigen Anwendung im aktuellen Workspace auswählen. Mit veröffentlichten REST-Aufgaben und OCI Data Flow-Aufgaben können Sie auch eine Aufgabe aus einer beliebigen Anwendung in einem anderen Workspace in demselben Compartment oder einem anderen Compartment auswählen.
Für Aufgaben, die parallel ausgeführt werden, können Sie einen Zusammenführungsoperator verwenden und eine Bedingung angeben, um nachfolgende Downstreamvorgänge zu verarbeiten. Um die Ausgabe eines beliebigen Operators an den nächsten Operator zu übergeben, können Sie einen Ausdrucksoperator verwenden.
Sie verwenden einen Designer, der dem Datenflussdesigner ähnelt, um eine Pipeline zu erstellen. Der Designer wird mit einem Startoperator und einem Endoperator geöffnet, die bereits für Sie auf der Leinwand platziert wurden. In einer Pipeline dürfen nur ein Startoperator und ein Endoperator vorhanden sein. Eine Pipeline muss mindestens einen Aufgabenoperator enthalten, um gültig zu sein. Sie können beliebig viele Aufgaben hinzufügen und anschließend in einer Sequenz zwischen dem Start- und Endoperator verbinden. Ziehen Sie im Bereich "Operatoren" die Operatoren auf die Leinwand, um die Pipeline zu entwerfen. Anschließend können Sie die Eigenschaften für die einzelnen Operatoren im Bereich "Eigenschaften" konfigurieren.
Aufgaben, die direkt mit dem Startoperator verbunden sind, werden immer ausgeführt. Nachfolgende Aufgaben in der Sequenz können so konfiguriert werden, dass sie basierend auf der Bedingung des vorherigen Operators ausgeführt werden. Nehmen wir beispielsweise an, eine Pipeline hat die folgende Sequenz: Start > Aufgabe A > Aufgabe B > Ende. Aufgabe A wird immer ausgeführt. Für Aufgabe B können Sie die Aufgabe mit der Eigenschaft "Eingangslinkbedingung" im Bereich "Eigenschaften" so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status von Aufgabe A eine bestimmte Ausführungsbedingung erfüllt.
Um Operatoren zu verbinden, zeigen Sie mit der Maus auf einen Operator, bis der Connector (kleiner Kreis) auf der rechten Seite des Operators angezeigt wird. Verschieben Sie dann den Connector auf den nächsten Operator, mit dem Sie eine Verbindung herstellen möchten. Eine Verbindung ist gültig, wenn die Operatoren mit einer Linie verbunden sind, nachdem Sie den Connector abgelegt haben.
Im Allgemeinen hat ein Operator nur einen eingehenden Port und einen oder mehrere ausgehende Ports, über die Prozesse die Pipeline durchlaufen. Sie können beispielsweise einen einzelnen ausgehenden Port für einen SQL-Aufgabenoperator mit eingehenden Ports für zwei verschiedene Ausdrucksoperatoren verbinden. Nur der Endoperator und der Zusammenführungsoperator können mehrere eingehende Ports haben.
Sie können schnell einen Aufgaben- oder Ausdrucksoperator duplizieren, der einer Pipeline hinzugefügt wurde. Um den Operator zu kopieren, klicken Sie mit der rechten Maustaste auf das Operatorsymbol auf der Leinwand, und wählen Sie im angezeigten Menü die Option "Doppelt" aus. Benennen Sie dann die ID des duplizierten Operators im Bereich "Eigenschaften" um. Wenn der ursprüngliche Operator mit anderen Operatoren verbunden ist, werden die Verbindungen und alle Referenzen auf die Ausgaben eines vorherigen Operators nicht in den doppelten Operator kopiert.
Startoperator und Endoperator
Wenn Sie mit dem Erstellen einer Pipeline beginnen, wird der Designer mit einem Startoperator und einem Endoperator geöffnet, die bereits auf der Leinwand platziert wurden. In einer Pipeline dürfen nur ein Startoperator und ein Endoperator vorhanden sein.
Für den Startoperator können Sie keine Eigenschaften konfigurieren.
Beim Endoperator können Sie die Eigenschaft Eingangslinkbedingung konfigurieren, um eine der folgenden Regeln für den Status einer Pipelineaufgabenausführung anzugeben:
- Alle abgeschlossenen: Der Status der Pipelineaufgabe wird auch wenn eine der Aufgaben in der Pipeline nicht erfolgreich verlaufen.
- Alle erfolgreich: Der Status der Pipelineaufgabe wird als erfolgreich angezeigt, wenn alle Aufgaben in der Pipeline erfolgreich abgeschlossen werden.
- Alle nicht erfolgreich: Der Status der Pipelineaufgabe wird als "OK" angezeigt, wenn alle Aufgaben in der Pipeline nicht erfolgreich verlaufen.
Zusammenführungsoperator
Für Aufgaben, die parallel ausgeführt werden, können Sie den Operator "Zusammenführen" verwenden und eine Bedingung angeben, um zu bestimmen, wie nachfolgende Downstreamvorgänge verarbeitet werden.
Ein Zusammenführungsoperator kann mehrere Eingabelinks (Upstream) und mehrere Ausgabelinks (Downstream) aufweisen.
Ausdrucksoperator
Mit einem Pipelineausdrucksoperator können Sie neue, abgeleitete Felder in einer Pipeline erstellen, ähnlich wie mit einem Ausdrucksoperator in einem Datenfluss.
Im Gegensatz zu einem Datenflussausdrucksoperator wird ein Pipelineausdrucksoperator nicht auf Daten angewendet. Mit einem Pipelineausdrucksoperator können Sie Ausgaben des vorherigen Operators, Pipelineparameter und vom System generierte Ausgaben bearbeiten.
Mit Expression Builder können Sie Elemente visuell auswählen, um einen Ausdruck für einen Ausdrucksoperator in einer Pipeline zu erstellen. Sie können einen Ausdruck auch manuell im Editor eingeben.
Der Expression Builder ist ein Abschnitt im Bereich "Ausdruck hinzufügen".
Sie können Ausdrücke löschen, wenn Sie sie nicht mehr benötigen.
- Wählen Sie auf der Leinwand einer Pipeline einen Ausdrucksoperator aus.
- Setzen Sie den Ausdrucksoperator in den Fokus, und wählen Sie in der Registerkarte Details des Bereichs Eigenschaften den Ausdruck, den Sie löschen möchten. Wählen Sie anschließend Löschen aus.
- Vergewissern Sie sich im Dialogfeld "Ausdruck löschen", dass Sie diesen Ausdruck löschen möchten, und wählen Sie Löschen aus.
Entscheidungsoperator
Mit dem Entscheidungsoperator können Sie eine boolesche Bedingung schreiben, die den Verzweigungsfluss in der Pipeline bestimmt. Die Verzweigung basiert auf drei möglichen Ergebnissen, nämlich TRUE, FALSE und ERROR.
Ein Entscheidungsoperator verfügt über einen Eingangslink (Upstream) und drei Ausgangslinks (Downstream).
Data-Loader-Aufgabenoperator
Mit einem Data-Loader-Aufgabenoperator können Sie eine Data-Loader-Aufgabe innerhalb einer Pipeline ausführen.
Ein Data-Loader-Aufgabenoperator, der direkt mit dem Startoperator verbunden ist, wird immer ausgeführt.
Für einen Aufgabenoperator, der nicht direkt mit dem Startoperator verbunden ist, können Sie die Aufgabe mit der Eigenschaft Eingangslinkbedingung so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status des vorherigen Operators eine bestimmte Ausführungsbedingung erfüllt.
Integrationsaufgabenoperator
Mit einem Integrationsaufgabenoperator können Sie einen Datenfluss ausführen, der für einen bestimmten Kontext konfiguriert ist. Der Datenfluss muss in einer Integrationsaufgabe gewickelt sein.
Ein Integrationsaufgabenoperator, der direkt mit dem Startoperator verbunden ist, wird immer ausgeführt.
Für einen Aufgabenoperator, der nicht direkt mit dem Startoperator verbunden ist, können Sie die Aufgabe mit der Eigenschaft Eingangslinkbedingung so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status des vorherigen Operators eine bestimmte Ausführungsbedingung erfüllt.
Pipelineaufgabenoperator
Mit einem Pipelineaufgabenoperator können Sie eine Pipeline innerhalb einer anderen Pipeline ausführen.
Ein Pipelineaufgabenoperator, der direkt mit dem Startoperator verbunden ist, wird immer ausgeführt.
Für einen Aufgabenoperator, der nicht direkt mit dem Startoperator verbunden ist, können Sie die Aufgabe mit der Eigenschaft Eingangslinkbedingung so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status des vorherigen Operators eine bestimmte Ausführungsbedingung erfüllt.
SQL-Aufgabenoperator
Mit einem SQL-Aufgabenoperator können Sie ein SQL-Objekt wie zum Beispiel eine Stored Procedure ausführen.
Ein SQL-Aufgabenoperator, der direkt mit dem Startoperator verbunden ist, wird immer ausgeführt.
Für einen Aufgabenoperator, der nicht direkt mit dem Startoperator verbunden ist, können Sie die Aufgabe mit der Eigenschaft Eingangslinkbedingung so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status des vorherigen Operators eine bestimmte Ausführungsbedingung erfüllt.
OCI Data Flow-Aufgabenoperator
Mit einem OCI Data Flow-Aufgabenoperator können Sie eine OCI Data Flow-Anwendung in einer Pipeline ausführen.
Ein Aufgabenoperator, der direkt mit dem Startoperator verbunden ist, wird immer ausgeführt.
Für einen Aufgabenoperator, der nicht direkt mit dem Startoperator verbunden ist, können Sie die Aufgabe mit der Eigenschaft Eingangslinkbedingung so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status des vorherigen Operators eine bestimmte Ausführungsbedingung erfüllt.
REST-Aufgabenoperator
Mit einem REST-Aufgabenoperator können Sie einen REST-API-Endpunkt in einer Pipeline ausführen.
Ein Aufgabenoperator, der direkt mit dem Startoperator verbunden ist, wird immer ausgeführt.
Für einen Aufgabenoperator, der nicht direkt mit dem Startoperator verbunden ist, können Sie die Aufgabe mit der Eigenschaft Eingangslinkbedingung so konfigurieren, dass sie immer ausgeführt wird oder dass sie nur ausgeführt wird, wenn der Status des vorherigen Operators eine bestimmte Ausführungsbedingung erfüllt.