Datenflussparameter verwenden
In Data Integration sind die Parameter, die Sie in Datenflüssen verwenden können, benutzerdefiniert oder systemgeneriert.
Data Integration generiert die Systemparameter zur Laufzeit, wie SYS.TASK_START_TIME
. Die Werte der Systemparameter können in Ausdrücken zur Protokollierung von Systeminformationen verwendet werden. Derzeit können Sie systemgenerierte Parameter nur mit dem Ausdrucksoperator verwenden.
Mit benutzerdefinierten Parametern können Sie Aufgaben flexibel mit verschiedenen Konfigurationen von Quellen, Zielen und Transformationen zur Entwurfs- und Laufzeit verwenden. Um Parameter zu verwenden, erstellen Sie zunächst Parameter für Operatoren in einem Datenfluss. Beispiel: Beim Entwerfen eines Datenflusses verwenden Sie die Registerkarte "Details" im Bereich "Eigenschaften" eines Operators, um Parameter für die folgenden Ressourcentypen hinzuzufügen und zuzuweisen:
- Datenasset (Quelle und Ziel)
- Verbindung (Quelle und Ziel)
- Schema oder Bucket (Quelle und Ziel)
- Datenentity (Quelle und Ziel)
- Bedingung (Filter, Join, Lookup, Split)
Bei einer Datenentity können Sie einen oder mehrere Parameter in den Datenentitynamen aufnehmen, anstatt den gesamten Entitynamen zu parametrieren. Siehe Parameter in Datenentitynamen.
Für Datenflussoperatoren, die Ausdrücke in der Konfiguration verwenden, wie die Ausdrucks- und Aggregationsoperatoren sowie die Filter-, Join-, Lookup- und Aufteilungsoperatoren, können Sie Parameter in den Ausdrücken verwenden (auch als skalare Parameter bezeichnet). Siehe Informationen zu Ausdrucksparametern.
Wenn Sie benutzerdefinierte Parameter und Ausdrucksparameter in einem Datenfluss verwenden, müssen Sie Standardwerte für die Parameter angeben. Wenn Sie dann eine Integrationsaufgabe für den parametrisierten Datenfluss erstellen, können Sie einen oder mehrere dieser Standardwerte auf der Seite "Parameter konfigurieren" ändern oder die Werte zur Laufzeit ändern. Wenn Sie einen Parameter zur Entwurfs- oder Laufzeit nicht ändern, wird der im Datenfluss festgelegte Standardwert bei der Ausführung der Aufgabe verwendet.
Parameter können Ressourcen auch in Aufgaben wie SQL-, OCI Data Flow- und REST-Aufgaben zugewiesen werden. Informationen zum Verwenden von Parametern für die Quell- und Zielressourcen in einer Data-Loader-Aufgabe finden Sie unter Parameter für Quelle und Ziel verwenden.
Wenn Sie eine parametrierte Aufgabe einer Pipeline hinzufügen, können Sie alle Werte der eingehenden Parameter neu konfigurieren, die auf Aufgabenebene oder auf der zugehörigen Datenablaufebene definiert sind. Sie können auch Ausdrucksparameterwerte neu konfigurieren. Siehe Parameter in Pipelines verwenden.
Hinweise zur Verwendung von Parametern
Durch die Verwendung von Parametern wird verhindert, dass Datenintegrationsressourcen und -werte dauerhaft an eine Integrationsaufgabe gebunden werden. Wenn Sie keine Parameter zuweisen, werden die ausgewählten Ressourcen und Werte bei jeder Ausführung der Aufgabe verwendet. Mit Parametern können Sie ein Datenflussdesign flexibel mit verschiedenen Datenintegrationsressourcen und -werten verwenden. Um Werte zur Entwurfszeit zu ändern, verwenden Sie den Bereich "Parameter" oder die Seite "Parameter konfigurieren", wenn Sie den Datenfluss in einer Integrationsaufgabe konfigurieren.
Obwohl Parameter so konzipiert sind, dass Sie bei der Ausführung des Datenflusses in einer Integrationsaufgabe flexibel sind, kann dieser Vorgang schnell komplex und unübersichtlich werden. Wenn Sie beispielsweise einen Quelloperator einem Datenfluss hinzufügen, wählen Sie das Datenasset, die Verbindung, das Schema und dann die Datenentity aus, die als Datenquelle des Datenflusses dient. Diese vier Werte sind die Standardwerte des Operators. Für jeden dieser Werte können Parameter zugewiesen werden. Wenn Sie Parameter zuweisen, müssen Sie besonders sorgfältig vorgehen und genau auf die zugewiesenen Werte achten.
Angenommen, Sie weisen den Datenentity- und Datenassetwerten Parameter zu, den Verbindungs- oder Schemawerten jedoch nicht. Damit besteht die Gefahr, dass beim Ändern eines Parameterwertes Fehler auftreten. Wenn Sie beispielsweise den Datenassetwert ändern, hat das neue Datenasset möglicherweise nicht dieselben Verbindungs-, Schema- oder Datenentitywerte, die Sie ursprünglich festgelegt haben. Data Integration warnt Sie, wenn Sie einen Wert ändern. Sie müssen die Beziehungen jedoch selbst prüfen und sicherstellen, dass der Datenfluss mit den geänderten Werten weiterhin funktioniert. Beachten Sie beim Entwerfen des Datenflusses innerhalb einer Integrationsaufgabe und beim Ausführen der Aufgabe die Parameterwerte überall.
Parameter gelten lokal in dem Datenfluss, für den Sie sie hinzufügen. Daher können Sie Parameter nicht über Datenflüsse hinweg freigeben oder erneut verwenden.
Gehen Sie auch sorgfältig vor, wenn Sie einen Parameter für eine neue Zieldatenentity hinzufügen. Neue Datenentitys sind formlos, d.h. sie enthalten noch keine Attribute. Um zu vermeiden, dass zur Entwurfs- oder Laufzeit Fehler auftreten, müssen Sie darauf achten, wie Sie Parameter wiederverwenden, die für neue Objekte zugewiesen sind. Sie dürfen beispielsweise den Parameter, dessen Standardwert eine neue Zieldatenentity ist, keiner Quelldatenentity und keiner vorhandenen Zieldatenentity zuweisen.
Ausdrucksparametern
Mit Parametern in Ausdrücken können Sie Ausdrücke flexibel mit verschiedenen Werten zur Entwurfs- oder Laufzeit wiederverwenden.
Das Hinzufügen von Parametern zu Ausdrücken erfolgt auf Datenflussebene, wenn Sie Operatoren konfigurieren, die Ausdrücke verwenden. Ausdrucksparameter (auch als skalare Parameter bezeichnet) gelten für Filter-, Join-, Lookup-, Aufteilungs-, Ausdrucks- und Aggregationsoperatoren. Je nach Operator verwenden Sie Expression Builder oder den Bedingungsbuilder, um Ausdrucksparameter hinzuzufügen.
Die Ausdrucksparameter, die Sie einem Operator hinzufügen, werden im Datenfluss gespeichert und stehen anderen anwendbaren Operatoren im Datenfluss zur Verfügung.
Ein Ausdrucksparameter hat einen Namen und einen Standardwert und ist einem Datentyp zugeordnet. Die folgenden Typen werden unterstützt:
NUMERIC
VARCHAR
DATE
DATETIME
DECIMAL
DOUBLE
FLOAT
INTEGER
TIMESTAMP
TINYINT
BOOLEAN
LONG
STRING
Nachdem Sie einen Ausdrucksparameter erstellt haben, können Sie den Namen, den Typ oder andere Eigenschaften des Parameters je nach Typ nicht mehr ändern. Nur der Standardwert kann geändert werden. Sie können den Standardwert zur Entwurfs- und Laufzeit ändern.
Beispiel: Ein Bedingungsfilter in einem Datenfluss enthält folgenden Ausdruck:
FILTER_1.COUNTRIES.CITY='Redwood Shores'
Anstatt einen expliziten Wert für CITY
anzugeben, können Sie einen Parameter im Ausdruck verwenden. Angenommen, Sie erstellen einen VARCHAR
-Ausdrucksparameter, z.B. P_VARCHAR
, und setzen den Standardwert auf Redwood Shores
. Anschließend können Sie den Bedingungsfilter bearbeiten, um den Ausdrucksparameter zu verwenden:
FILTER_1.COUNTRIES.CITY=$P_VARCHAR
Zur Entwurfszeit können Sie den Standardwert von P_VARCHAR
ändern, wenn Sie eine Integrationsaufgabe erstellen, die diesen Datenfluss verwendet. Zur Laufzeit können Sie dann den in der Integrationsaufgabe festgelegten Standardwert verwenden oder den Wert bearbeiten.
Alle Ausdrucksparameter, die Sie einem Datenfluss hinzufügen, sind im Bereich "Parameter" verfügbar.
Systemparameter
Ein Systemparameter hat einen Namen und Typ. Sie können den Wert eines Systemparameters binden, aber nicht ändern.
Wenn Sie einem Ausdrucksoperator in einem Datenfluss einen Ausdruck hinzufügen, können Sie auf der Registerkarte "Parameter" im Expression Builder die Liste der Systemparameter anzeigen. Sie können Systemparameter in Ausdrücken verwenden, um Systeminformationen zu protokollieren.
In der folgenden Tabelle werden die Systemparameter angezeigt, die Sie verwenden können.
Name | Typ | Beschreibung |
---|---|---|
SYS.TASK_START_TIME | TIMESTAMP | Aufgabenstartzeit in UTC. |
SYS.TASK_RUN_KEY |
OCID |
Interne ID der Aufgabenausführung. |
SYS.TASK_RUN_NAME |
STRING |
Name der Aufgabenausführung. |
SYS.TASK_SCHEDULE_TRIGGER_TIME | TIMESTAMP | Die Triggerzeit für den Zeitplan (für eine Aufgabenausführung, die in einem Zeitplan initiiert wird). Die geplante Zeit kann sich von der Aufgabenstartzeit unterscheiden. |
SYS.TASK_SCHEDULE_TIMEZONE | STRING | Die Zeitzone, die der geplanten Zeit entspricht, die die im Aufgabenplan definierte Zeit der Zeitzone darstellt. |
SYS.RETRY_ATTEMPT | INTEGER | Die Anzahl der Ausführungsversuche einer Aufgabe, die für Wiederholungen konfiguriert ist, wenn eine Ausführung nicht erfolgreich verläuft. |
Hinweis: Ein OCID-Wert ist eine Zeichenfolge (STRING).
Parameter in Datenentitynamen
Wenn Sie einen Quell- oder Zieloperator in einem Datenfluss konfigurieren, können Sie Parameter mit der Syntax ${PARAMETER_NAME}
in den Datenentitynamen aufnehmen.
Bei einem Parameternamen muss die Groß-/Kleinschreibung beachtet werden, und jeder verwendete Parameter muss einen Standardwert aufweisen.
Beispiel: CUSTOMERS_${COUNTRY}
könnte die Datenbanktabelle CUSTOMERS_USA
zurückgeben und BANK_${COUNTRY}/*
die Object Storage-Dateien in BANK_EU
.
Um Parameter in Datenentitynamen zu verwenden, können Sie den Parameter vor dem Datenoperator dem Datenfluss hinzufügen. Sie können den Parameter auch hinzufügen, wenn Sie die Datenentity für den Operator konfigurieren.
-
Um einem Datenfluss Parameter hinzuzufügen, wählen Sie im Datenfluss in der Leinwandsymbolleiste im Menü Anzeigen die Option Parameter aus, um den Bereich "Parameter" zu öffnen.
Wählen Sie im Bereich "Parameter" die Option Konfig und dann Hinzufügen aus.
Konfigurieren Sie im Bereich Parameter hinzufügen einen Parameter mit dem entsprechenden Datentyp, z.B. VARCHAR oder NUMERIC, und fügen Sie einen Standardwert hinzu.
-
Um einen Parameter bei der Konfiguration der Dateneinheit hinzuzufügen, gehen Sie im Bereich Dateneinheiten durchsuchen folgendermaßen vor:
-
Klicken Sie im Menü Weitere Aktionen auf Datenflussparameter hinzufügen.
-
Geben Sie im Suchfeld
${
gefolgt von einem beliebigen Zeichen ein. Wenn der vordere Teil des Parameternamens mit vorhandenen Parametern im Datenfluss übereinstimmt, wird eine Liste mit vorgeschlagenen Namen angezeigt. Um einen Parameter aus der Liste auszuwählen, wählen Sie den Parameternamen aus, vervollständigen Sie die Syntax, indem Sie}
hinzufügen, und drücken Sie dann die Eingabetaste. -
Geben Sie im Suchfeld den Parameternamen ein. Wenn der Name des Parameters noch nicht im Datenfluss vorhanden ist und Sie die Eingabe drücken, zeigt Data Integration den Bereich Datenflussparameter hinzufügen an. Wählen Sie alternativ nach Eingabe des Parameternamens im Menü Weitere Aktionen die Option Datenflussparameter hinzufügen aus.
Geben Sie im Bereich Datenflussparameter hinzufügen den Datentyp, den Standardwert und andere Eigenschaften für den Parameter an, den Sie hinzufügen und verwenden möchten.
Nur für Quelloperator in Object Storage: Wenn Sie die Datenentity in einem Quelloperator konfigurieren, der ein Object Storage-Datenasset verwendet, können Sie Parameter und Dateimuster verwenden. Geben Sie im Bereich Datenobjekte nach Muster durchsuchen einen Ausdruck mit Parametern und Mustern ein, um Entitys auszuwählen. Beispiel:
ADDRESSES_${STATE}/*
-
Bei einer Datenentity, die einen Datenflussparameter im Namen enthält, können Sie die Entityressource nicht an einen anderen Parameter binden. Die Option Parameter zuweisen ist nicht verfügbar.
Bereich "Parameter"
Im Bereich "Parameter" in einem Datenfluss werden die Parameter angezeigt, die im gesamten Datenfluss definiert wurden.
Im Bereich "Parameter" können Sie Folgendes anzeigen:
- Alle Parameter, die für Datenassets, Verbindungen, Schemas oder Buckets und Datenentitys erstellt wurden, die im Datenfluss verwendet werden.
- Alle Parameter, die für Modellierungsoperatoren wie Filter, Join und Lookup erstellt wurden.
- Alle für Ausdrucks- und Aggregatoperatoren erstellten Ausdrucksparameter sowie Modellierungsoperatoren wie Filter, Join, Lookup und Aufteilung.
- Alle Datenflussparameter, die für Datenentitynamen in einem Datenfluss erstellt wurden.
Wenn der Datenfluss auf der Designerleinwand geöffnet ist, wählen Sie in der Leinwandsymbolleiste im Menü Anzeigen die Option Parameter aus, um auf den Bereich "Parameter" zuzugreifen.
Der Bereich "Parameter" enthält zwei Registerkarten: Anzeigen und Konfiguration. Auf beiden Registerkarten können Sie die Liste durchsuchen, indem Sie den vollständigen Namen eines Parameters eingeben.
Auf der Registerkarte Anzeigen können Sie folgende Aktionen ausführen:
- Die Parameter anzeigen, die im Datenfluss erstellt wurden, unabhängig davon, ob ein Parameter einem Objekt zugewiesen ist. Ein Parameter ist zugewiesen, wenn neben Verwendet in ein Wert angezeigt wird.
- Die Details jedes Parameters ein- und ausblenden.
- Wählen Sie den Link Verwendet in für einen zugewiesenen Parameter. Der Operator, der diesen Parameter referenziert, wird auf der Leinwand und im Bereich "Eigenschaften" (Registerkarte "Details") in den Fokus gesetzt.
Auf der Registerkarte Konfiguration können Sie folgende Aktionen ausführen:
- Fügen Sie Ausdrucksparameter und Datenflussparameter hinzu. Wählen Sie Hinzufügen, und verwenden Sie dann den Bereich Parameter hinzufügen, der zur Definition des Parameters angezeigt wird.
- Ändern Sie den Standardwert eines Parameters. Wählen Sie im Menü "Aktionen" (
) für den Parameter die Option Bearbeiten aus, um den Wert im Bereich Parameter bearbeiten zu bearbeiten.
- Parameter löschen. Siehe Parameter löschen.
Parameter hinzufügen
Sie können Parameter zu Operatoren, die mit Datenquellen in einem Datenfluss verknüpft sind, hinzufügen und definieren.
Ein Parameter in einem Datenfluss kann als Standardwert für eine andere Ressource desselben Typs innerhalb desselben Datenflusses wiederverwendet werden.
Wie Sie einen Parameter definieren, hängt vom Typ der Ressource ab, der Sie den Parameter hinzufügen. Für alle Parametertypen geben Sie einen Namen und eine optionale Beschreibung an und legen einen Standardwert für den Parameter fest. Sie können den Namen und die Beschreibung nicht ändern, nachdem der Parameter erstellt wurde.
Das folgende Verfahren gilt nicht für das Hinzufügen von Parametern in Ausdrücken und Bedingungen. Siehe Ausdrucksparameter hinzufügen. Informationen zum Hinzufügen von Systemparametern zum Ausdrucksoperator finden Sie unter Ausdrucksoperator hinzufügen und konfigurieren.
So fügen Sie einem Datenfluss einen Parameter hinzu:
System- und benutzerdefinierte Parameter anzeigen
Sie können die Systemparameter, die zur Laufzeit in einem Datenfluss verfügbar sind, und die benutzerdefinierten Parameter anzeigen, die Sie erstellt haben.
Für benutzerdefinierte Parameter enthält die Liste zugewiesene und nicht verwendete Parameter auf Datenflussebene für Datenassets, Verbindungen, Schemas oder Buckets und Datenentitys. Für zugewiesene Parameter können Sie sehen, wo der Parameter im Datenfluss verwendet wird.
Die Liste "Benutzerdefiniert" enthält außerdem verwendete und nicht verwendete Ausdrucksparameter. Ausdrucksparameter sind Parameter, die auf Datenflussebene mit dem Bedingungsbuilder (Filter-, Join-, Lookup- und Aufteilungsoperatoren) oder mit Expression Builder (Ausdrucks- und Aggregatoperatoren) hinzugefügt werden.
Verwenden Sie die Registerkarte "Parameter" im Bereich "Eigenschaften" des Datenflusses, um die System- und benutzerdefinierten Parameter anzuzeigen.
Parameter zuweisen
Sie können Parameter verschiedenen Ressourcentypen zuweisen, wie Datenentitys in Quell- und Zieloperatoren sowie Bedingungen in Filter-, Join- und Lookup-Operatoren.
In einem Datenfluss können Sie vorhandene Parameter auswählen oder einen Parameter hinzufügen und dann zuweisen.
Auf der Registerkarte "Details" im Bereich "Eigenschaften" eines Datenflussoperators können Sie Parameter zuweisen. Sie können nach dem folgenden Verfahren Parameter Quell-, Ziel-, Filter-, Join- und Lookup-Operatoren zuzuweisen.
So weisen Sie einem Operator in einem Datenfluss einen Parameter zu:
Parameter bearbeiten
Sie bearbeiten den Standardwert eines zugewiesenen Parameters in dem Datenfluss, in dem der Parameter verwendet wird.
Sie können den Parameterwert auch ändern, wenn Sie eine Integrationsaufgabe mit dem Datenfluss erstellen oder wenn Sie die Aufgabe ausführen. Das folgende Verfahren beschreibt, wie Sie einen Parameterwert beim Erstellen des Datenflussdesigns bearbeiten.
Das folgende Verfahren gilt nicht für das Bearbeiten von Ausdrucksparametern in Ausdrücken oder Bedingungen.
So bearbeiten Sie einen zugewiesenen Parameter:
Stellen Sie beim Bearbeiten des Parameters für eine Ressource vom Typ "Datenasset", "Verbindung", "Schema" oder "Datenentity" sicher, dass Sie die richtigen Beziehungen zwischen den Werten beibehalten. Beispiel: Wenn Sie den Schemawert ändern, prüfen Sie, ob der neue Schemawert die ursprünglich ausgewählte Datenentity enthält. Wenn der bearbeitete Wert nicht die ursprüngliche Datenentity enthält, besteht das Risiko, dass beim Datenfluss zur Laufzeit Fehler auftreten. Data Integration warnt Sie vor potenziellen Problemen. Sie sind jedoch für das Festlegen der richtigen Werte für die Parameter verantwortlich.
Parameter entfernen
Wenn Sie einen Parameter aus einem Operator entfernen, wird nur die Zuordnung zwischen dem Operator und dem Parameter entfernt.
Der Parameter wird nicht aus dem Datenfluss gelöscht, wenn Sie einen Parameter entfernen. Sie können den Parameter weiterhin für einen anderen Operator desselben Ressourcentyps verwenden.
Wenn Sie einen Parameter entfernen, wird der Wert, der dem Parameter zugewiesen wurde, zum Standardwert des Operators.
Das folgende Verfahren gilt nicht für das Entfernen oder Löschen von Ausdrucksparametern aus Ausdrücken oder Bedingungen.
So entfernen Sie einen zugewiesenen Parameter:
- Wählen Sie auf der Leinwand eines Datenflusses den Operator aus, dessen Parameter Sie entfernen möchten.
- Wählen Sie in der Registerkarte Details des Bereichs "Eigenschaften" für den zu entfernenden Parameterressourcentyp die Option Parameter löschen aus.
- Prüfen Sie im Dialogfeld Parameter entfernen die Liste der Operatoren, die betroffen sind, wenn Sie diesen Parameter entfernen, und wählen Sie Entfernen aus.
Parameter löschen
Wenn Sie einen Parameter aus einem Datenfluss löschen, kann der Parameter nicht mehr im Datenfluss verwendet werden.
Wenn der zu löschende Parameter einem Operator im Datenfluss zugeordnet ist, wird der dem Parameter zugewiesene Wert zum Standardwert des Operators.
So löschen Sie einen Parameter:
Ausdrucksparameter hinzufügen
Mit Expression Builder oder dem Bedingungsbuilder können Sie Ausdrucksparameter in einem Datenfluss hinzufügen.
Ein Ausdrucksparameter hat einen Namen, einen Typ und einen Standardwert. Nachdem der Parameter erstellt wurde, kann nur der Standardwert geändert werden.
So fügen Sie einen Ausdrucksparameter hinzu:
Ausdrucksparameter bearbeiten
Sie können nur die Standardwerte von Ausdrucksparametern bearbeiten. Name, Typ oder andere typspezifische Eigenschaften eines Ausdrucksparameters können Sie nicht ändern.
Sie können den Bereich Parameter oder die Registerkarte "Parameter" im Bereich "Eigenschaften" des Datenflusses verwenden, um die Standardwerte zu bearbeiten.
Im folgenden Verfahren wird die Registerkarte "Parameter" im Bereich "Eigenschaften" des Datenflusses verwendet.