Oracle Cloud Infrastructure-Dokumentation

Parameter in Pipelines verwenden

In Data Integration stammen Parameter in Pipelines aus Parametern, die in Datenflüssen und Aufgaben zugewiesen sind.

Für Datenflussoperatoren, die Ausdrücke in der Konfiguration verwenden, sind die Werte aller Parameter, die in den Ausdrücken verwendet werden, auch für die Neukonfiguration in einer Pipeline verfügbar.

Informationen zur Verwendung von Parametern und Ausdrucksparametern (auch als skalare Parameter bezeichnet) in Datenflüssen finden Sie unter Data Flow-Parameter verwenden und Informationen zu Ausdrucksparametern.

Parameter und Ausdrucksparameter, die in Datenflüssen und Aufgaben verwendet werden, verfügen über Typen und Standardwerte. Wenn Sie die eingehenden Parameterwerte für Aufgaben und zugehörige Datenflüsse in einer Pipeline nicht ändern, werden die ursprünglichen Standardwerte zur Entwurfszeit der Pipeline oder zur Laufzeit verwendet, wenn Sie die Pipeline ausführen.

Folgende Datentypen werden unterstützt:

  • NUMERIC
  • VARCHAR
  • DATE
  • DATETIME
  • DECIMAL
  • DOUBLE
  • FLOAT
  • INTEGER
  • TIMESTAMP
  • TINYINT
  • BOOLEAN
  • LONG
  • STRING

Parameter für die Quell- und Zielressourcen in einer Data-Loader-Aufgabe können auch neu konfiguriert werden, wenn die Aufgabe in einer Pipeline verwendet wird. Weitere Informationen zur Verwendung von Parametern in Data-Loader-Aufgaben finden Sie unter Parameter für Quelle und Ziel verwenden.

Möglichkeiten zur Neukonfiguration von Parametern in einer Pipeline

Wenn Sie einer Pipeline eine parametrisierte Aufgabe hinzufügen, können Sie auf der Registerkarte "Konfiguration" im Bereich "Eigenschaften" alle Parameterwerte neu konfigurieren, die in dieser Aufgabe oder im zugehörigen Datenfluss angegeben sind, der eine Integrationsaufgabe wrappt.

Um einen eingehenden Parameterwert für eine Aufgabe in einer Pipeline neu zu konfigurieren, können Sie der Eingabe Folgendes zuweisen:

  • Einen bestimmten Wert direkt
  • Den Wert einer Ausgabe von einem vorherigen Operator. Beispiel: Ein Ausgabeparameter.
  • Einen benutzerdefinierten Parameter, mit dem Sie den Wert zur Laufzeit der Pipeline oder zur Entwurfszeit festlegen können, wenn Sie eine Pipelineaufgabe erstellen, die die Pipeline wrappt.
  • Einen Systemparameter

Wenn Sie für eine parametrisierte Pipeline eine Pipelineaufgabe erstellen, können Sie auf der Seite "Parameter konfigurieren" die Standardwerte von benutzerdefinierten Parametern ändern, sofern vorhanden.

Pipelineparametertypen

In Data Integration sind die Parametertypen, die Sie in Pipelines verwenden können, benutzerdefiniert oder systemgeneriert.

Systemgenerierte Parameter können in folgende Typen klassifiziert werden:

Benutzerdefinierte Parameter

Benutzerdefinierte Parameter sind angepasste Parameter, die Sie in Pipelines erstellen, um sie den Eingaben eingehender Parameter für Aufgabenoperatoren zuzuweisen. Ein benutzerdefinierter Parameter gilt lokal für die Pipeline, in der Sie ihn erstellt haben. Daher können Sie keinen benutzerdefinierten Parameter über Pipelines hinweg wieder verwenden.

Ein benutzerdefinierter Parameter hat einen Namen, einen Typ und einen Wert. Wenn Sie einen benutzerdefinierten Parameter erstellen, geben Sie einen Namen und einen Wert an. Der Typ hängt vom Typ des eingehenden Parameters ab, dem Sie den benutzerdefinierten Parameter zuweisen. Sie können den Typ eines benutzerdefinierten Parameters nicht ändern.

Folgende benutzerdefinierte Parametertypen können Sie in einer Pipeline erstellen:

  • Datenasset
  • Verbindung
  • Schema
  • Datenentity
  • Bedingung (aus einer parametrisierten Join- oder Filterbedingung)
  • Ausdruck

Sie können auch Parameter von Datentypen wie NUMERIC, VARCHAR, DATE, DECIMAL und STRING hinzufügen.

Beim Entwerfen einer Pipeline können Sie den Bereich "Parameter" oder die Registerkarte "Parameter" im Bereich "Eigenschaften" der Pipeline verwenden, um die hinzugefügten benutzerdefinierten Parameter anzuzeigen.

Die benutzerdefinierten Parameter sind auch im Expression Builder verfügbar, wenn Sie einen Ausdruck in der Pipeline mit einem Ausdrucksoperator definieren.

Systemparameter

Data Integration generiert Systemparameter, die Sie den Eingaben eingehender Parameter für Aufgabenoperatoren zur Laufzeit zuweisen können. Ein Systemparameter hat einen Namen und Typ. Sie können den Wert eines Systemparameters an einen eingehenden Parameter des gleichen Typs binden, den Wert können Sie jedoch nicht ändern.

In der folgenden Tabelle sind die Systemparameter aufgeführt, die Sie in einer Pipeline verwenden können.

NameTypBeschreibung
SYS.TASK_START_TIMETIMESTAMPAufgabenstartzeit in UTC.
SYS.TASK_RUN_KEY

STRING

Aufgabenausführungsschlüssel der Aufgabenausführung.
SYS.TASK_RUN_NAME

STRING

 Name der Aufgabenausführung der Aufgabenausführung.
SYS.TASK_KEY

STRING

 Schlüssel der Aufgabe.
SYS.TASK_NAME

STRING

 Der Name der Aufgabe
SYS.PARENT_TASK_RUN_KEY

STRING

Schlüssel für übergeordnete Aufgabenausführung.
SYS.TASK_SCHEDULE_TRIGGER_TIMETIMESTAMPDie Triggerzeit für den Zeitplan (für eine Aufgabenausführung, die in einem Zeitplan initiiert wird). Die geplante Zeit kann sich von der Aufgabenstartzeit unterscheiden.
SYS.TASK_SCHEDULE_TIMEZONESTRINGDie Zeitzone, die der geplanten Zeit entspricht, die die im Aufgabenplan definierte Zeit der Zeitzone darstellt.
SYS.RETRY_ATTEMPTINTEGERDie Anzahl der Ausführungsversuche einer Aufgabe, die für Wiederholungen konfiguriert ist, wenn eine Ausführung nicht erfolgreich verläuft.
SYS.PIPELINE_NAMESTRINGName der Pipeline.
SYS.PIPELINE_IDENTIFIERSTRINGID der Pipeline.
SYS.TIMEOUTINTEGERDer Timeoutwert (in Minuten) der Pipeline. Die Pipelineausführung ist nicht erfolgreich, wenn der Timeoutwert erreicht wird.
SYS.WORKSPACE_ID STRING ID des Workspace.
SYS.APPLICATION_KEY STRING Schlüssel der Anwendung.
SYS.REGION STRING Regionsname

Beim Entwerfen einer Pipeline können Sie die verfügbaren Systemparameter auf der Registerkarte "Parameter" im Bereich "Eigenschaften" anzeigen. Die Spalte Verwendet in gibt an, wo ein Parameter in der Pipeline verwendet wird.

Wenn Sie einen Ausdruck einem Ausdrucksoperator in einer Pipeline hinzufügen, können Sie auf der Registerkarte "Parameter" im Expression Builder die Liste der Systemparameter anzeigen. Sie können Systemparameter in Ausdrücken verwenden, um Systeminformationen zu protokollieren.

Ausgabeparameter

Ausgabeparameter sind systemgenerierte Parameter für Operatoren, mit denen Sie Ausgabewerte von einem Operator in einer Pipeline an einen Downstreamoperator übergeben können.

In der folgenden Tabelle werden einige Ausgabeparameter angezeigt, die Sie verwenden können.

NameTypBeschreibung
SYS.STATUSSTRINGStatus des Vorgangs (z.B. Aufgabenausführung)
SYS.ERROR_MESSAGESTRINGFehlermeldung für Vorgang
SYS.NO_OF_INSERTSINTEGERAnzahl der eingefügten und aktualisierten Zeilen
SYS.DATA_READINTEGERMenge der gelesenen Daten
SYS.DATA_WRITTENINTEGERMenge der geschriebenen Daten
SYS.DURATIONINTEGERDauer des Vorgangs
SYS.START_TIME_TIMESTAMPTIMESTAMPStartzeit der Aufgabenausführung im Zeitstempelformat.
SYS.END_TIME_TIMESTAMPTIMESTAMPEndzeit der Aufgabenausführung im Zeitstempelformat.
SYS.TASK_RUN_KEY

STRING

 Aufgabenausführungsschlüssel der Aufgabenausführung.
SYS.TASK_RUN_NAME

STRING

 Name der Aufgabenausführung der Aufgabenausführung.
SYS.TASK_NAME

STRING

 Der Name der Aufgabe
SYS.TASK_KEY

STRING

 Schlüssel der Aufgabe.

Beim Entwerfen einer Pipeline können Sie die Registerkarte "Ausgabe" im Bereich "Eigenschaften" eines Aufgabenoperators verwenden, um die Ausgaben anzuzeigen, die als Eingaben für den nächsten Operator verwendet werden können.

Hinweis:

  • Bei einem SQL-Aufgabenoperator, der einer Stored Procedure zugeordnet ist, enthalten die Ausgaben alle Ausgabeparameter aus der SQL-Stored Procedure.

  • Bei einem Merge-Operator sind die verfügbaren Ausgaben eine Kombination aus Ausgabeparametern aus dem System und den Ausgaben für jeden Operator, der mit dem Merge-Operator verbunden ist.

    • Nur die folgenden Ausgaben des Systems sind verfügbar: SYS.STATUS, SYS.START_TIME_TIMESTAMP und SYS.END_TIME_TIMESTAMP
    • Aufgabenausgaben werden durch den Namen eines Aufgabenoperators gekennzeichnet. Beispiel: TASK_OPERATOR_1.SYS.STATUS, TASK_OPERATOR_2.SYS.STATUS
    • Ausgaben eines Ausdrucksoperators werden durch den Ausdrucksoperatornamen und die Ausdrucks-ID qualifiziert. Beispiel: EXPRESSION_1. EXPRESSION_ERROR_MESSAGE
    • Die Ausgaben eines Zusammenführungsoperators werden durch den Namen des Zusammenführungsoperators angegeben. Beispiel: MERGE_3. SYS.START_TIME_TIMESTAMP

  • Bei einem mit einer OCI Data Flow-Anwendung verknüpften OCI Data Flow-Aufgabenoperator enthält die Ausgabe alle Ausgabeparameter aus der Anwendung und die folgenden Ausgabedatentypen:

    • com.oracle.dos.task.model.customparameter.Arguments: Argumente
    • Float:
      • bytesProcessed
      • bytesWritten
    • Zeichenfolge:
      • applicationId
      • displayName

  • Für einen REST-Aufgabenoperator sind die folgenden Datentypen von REST-Antwortausgaben verfügbar:

    • JSON oder JSON_TEXT: SYS.RESPONSE_PAYLOAD_JSON und SYS.RESPONSE_HEADERS_JSON
    • Zeichenfolge: SYS.RESPONSE_STATUS
    Hinweis

    • Um eine REST-Antwortausgabe in nachgelagerten Vorgängen zu verwenden, übergeben Sie die Ausgabe über einen Ausdrucksoperator, in dem Sie Zeichenfolgenvorgänge und reguläre Ausdrücke anwenden können. Verwenden Sie dann das Ergebnis für nachfolgende Downstream-Aufgabenoperatoren.
    • Die Zeichenfolgenausgaben SYS.RESPONSE_PAYLOAD und SYS.RESPONSE_HEADERS sind veraltet. Es wird empfohlen, jede vorhandene Verwendung in die JSON-Datentypäquivalente SYS.RESPONSE_PAYLOAD_JSON bzw. SYS.RESPONSE_HEADERS_JSON zu konvertieren.

Bereich "Parameter"

Im Bereich "Parameter" werden alle benutzerdefinierten Pipelineparameter angezeigt, die in einer Pipeline erstellt wurden.

Wenn die Pipeline auf der Designerleinwand geöffnet ist, wählen Sie in der Leinwandsymbolleiste im Menü Anzeigen die Option Parameter aus, um auf den Bereich "Parameter" zuzugreifen.

Auf der Registerkarte Anzeigen können Sie die benutzerdefinierten Parameter in der Pipeline sehen. Verwendete und nicht verwendete Parameter werden angezeigt. Wenn Sie für einen Parameter, der in einer Pipeline verwendet wird, den Link Verwendet in auswählen, wird der Aufgabenoperator, die diesen Parameter referenziert, auf der Leinwand in den Fokus gesetzt.

Verwenden Sie die Registerkarte Konfiguration im Bereich "Parameter", um einen benutzerdefinierten Parameter zu löschen oder den Standardwert zu bearbeiten.

Hinweis

Wenn Sie einen benutzerdefinierten Pipelineparameter löschen, werden alle konfigurierten Werte in Operatoren entfernt, die dem Parameter zugeordnet sind. Informationen zum Neukonfigurieren eines Eingabewertes finden Sie unter Eingehende Parameter für Aufgaben konfigurieren.

Parameter in einer Pipeline hinzufügen

Sie können benutzerdefinierte Parameter für eingehende Parameter von Aufgabenoperatoren in einer Pipeline hinzufügen und definieren.

Wie Sie einen benutzerdefinierten Parameter definieren, hängt vom Typ des eingehenden Parameters ab. Für alle Parametertypen geben Sie einen Namen und eine optionale Beschreibung ein und legen einen Standardwert für den benutzerdefinierten Parameter fest. Sie können den Typ nicht ändern, und Sie können den Namen und die Beschreibung nach der Erstellung des Parameters nicht mehr ändern.

Ein benutzerdefinierter Parameter kann innerhalb derselben Pipeline als konfigurierter Wert für einen anderen eingehenden Parameter desselben Typs wiederverwendet werden.

  1. Wählen Sie auf der Leinwand einer Pipeline einen Aufgabenoperator mit mindestens einem eingehenden Parameter aus.
  2. Wählen Sie im Bereich Eigenschaften für die ausgewählte Aufgabe die Option Konfiguration aus.
  3. Prüfen Sie neben Konfiguriert für eingehende Parameter die Anzahl der konfigurierten und verfügbaren eingehenden Parameter.
    Beispiel: 0/4 bedeutet, dass vier eingehende Parameter in der Aufgabe verfügbar sind und dass kein Parameter neu konfiguriert wurde.
  4. Wählen Sie neben Konfigurierte eingehende Parameter die Option Konfigurieren aus.
  5. Prüfen Sie die konfigurierbaren Eingabewerte auf der Seite Eingehenden Parameter konfigurieren. Wählen Sie in der Zeile mit dem Parametertyp und Wert, mit dem Sie einen benutzerdefinierten Pipelineparameter hinzufügen und zuweisen möchten, die Option Konfigurieren aus.
  6. Wählen Sie auf der Seite Eingehenden Parameter für <type> konfigurieren, die für den ausgewählten Parameter angezeigt wird, die Option Parameter zuweisen aus.
  7. Wählen Sie Benutzerdefinierte Parameter verwenden, und wählen Sie Parameter hinzufügen aus, um einen benutzerdefinierten Parameter zu erstellen.
  8. Geben Sie im Bereich Parameter hinzufügen einen Namen für den Parameter in das Feld ID ein.
  9. (Optional) Geben Sie eine Beschreibung ein, damit andere Benutzer den Zweck des benutzerdefinierten Parameters erkennen können.
  10. Im Feld Typ wird der Typ des eingehenden Parameters angezeigt, der nicht geändert werden kann.
  11. Legen Sie den Standardwert für den Parameter fest.
    Wie Sie den Standardwert festlegen, hängt vom Typ des eingehenden Parameters ab. Für eine Datenentity verwenden Sie beispielsweise Menüs, um ein Datenasset, eine Verbindung und ein Schema auszuwählen. Anschließend wählen Sie die Entity aus.
  12. Um den Parameter zu erstellen, wählen Sie Hinzufügen aus.
    Standardmäßig wird der neu erstellte benutzerdefinierte Parameter auf der Seite Eingehenden Parameter für <type> konfigurieren ausgewählt.
  13. Wiederholen Sie die Schritte, um bei Bedarf weitere benutzerdefinierte Parameter desselben Typs hinzuzufügen.

Parameter in einer Pipeline anzeigen

Sie können die in einer Pipeline verfügbaren Systemparameter sowie die benutzerdefinierten Parameter anzeigen, die Sie in einer Pipeline erstellt haben.

Mit diesem Verfahren können Sie auch anzeigen, wo ein Parameter in einer Pipeline verwendet wird.

  1. Klicken Sie auf der Leinwand einer Pipeline auf einen leeren Bereich.
  2. Wählen Sie im Bereich Eigenschaften für die Pipeline Parameter aus.
  3. Wählen Sie Benutzerdefiniert oder Systemdefiniert aus.
  4. Prüfen Sie die Liste.
    Die Spalte Verwendet in gibt an, wo der Parameter in der Pipeline verwendet wird.

Parameter in einer Pipeline zuweisen

Sie können eingehenden Parametern von Aufgabenoperatoren in einer Pipeline vorhandene benutzerdefinierte Parameter und Systemparameter zuweisen.

  1. Wählen Sie auf der Leinwand einer Pipeline einen Aufgabenoperator mit mindestens einem eingehenden Parameter aus.
  2. Wählen Sie im Bereich Eigenschaften für die ausgewählte Aufgabe die Option Konfiguration aus.
  3. Prüfen Sie neben Konfiguriert für eingehende Parameter die Anzahl der konfigurierten und verfügbaren eingehenden Parameter.
    Beispiel: 0/4 bedeutet, dass vier eingehende Parameter in der Aufgabe verfügbar sind und dass kein Parameter neu konfiguriert wurde.
  4. Wählen Sie neben Konfigurierte eingehende Parameter die Option Konfigurieren aus.
  5. Prüfen Sie die konfigurierbaren Eingabewerte auf der Seite Eingehenden Parameter konfigurieren. Wählen Sie in der Zeile mit dem Parametertyp und -wert, den Sie einem benutzerdefinierten Parameter oder Systemparameter zuweisen möchten, die Option Konfigurieren aus.
  6. Wählen Sie auf der Seite Eingehenden Parameter für <type> konfigurieren, die für den ausgewählten Parameter angezeigt wird, die Option Parameter zuweisen aus.
  7. Wählen Sie Benutzerdefinierte Parameter verwenden oder Systemparameter verwenden aus.
  8. Wählen Sie einen vorhandenen Parameter in der Liste der benutzerdefinierten oder Systemparameter aus, und wählen Sie Fertig aus.

    Nur Parameter mit demselben Typ wie der eingehende Parameter stehen zur Auswahl. Wenn keine verfügbar ist, wählen Sie Abbrechen.

    Für einen benutzerdefinierten Parameter können Sie auch Hinzufügen auswählen, um einen Parameter zu erstellen, und ihn dann auswählen. Siehe Parameter in einer Pipeline hinzufügen.

Standardwert eines benutzerdefinierten Parameters bearbeiten

Zur Entwurfszeit der Pipeline können Sie schnell den Standardwert eines zugewiesenen benutzerdefinierten Parameters ändern.

  1. Wählen Sie auf der Leinwand einer Pipeline in der Leinwandsymbolleiste im Menü Anzeigen die Option Parameter aus.
  2. Wählen Sie im Bereich Parameter die Registerkarte Konfiguration aus.
  3. Prüfen Sie die nach Namen aufgelisteten Parameter.

    Sie können die Liste durchsuchen, indem Sie den vollständigen Namen eines Parameters eingeben.

  4. Wählen Sie in der Zeile des Parameterwerts, den Sie ändern möchten, im Menü "Aktionen" (Menü Aktionen) die Option Bearbeiten aus.
    Zu den Parameterdatentypen, die Sie bearbeiten können, gehören NUMERIC, VARCHAR, DATE, DECIMAL, DOUBLE, FLOAT, INTEGER, TIMESTAMP, TINYINT, BOOLEAN, LONG und STRING.

Zuweisung eines Parameters in einer Pipeline aufheben

Wenn Sie die Zuweisung eines Parameters aufheben, wird nur der neu konfigurierte Wert des eingehenden Parameters entfernt. Der eingehende Parameter wird nicht aus der Aufgabe gelöscht, und der benutzerdefinierte Parameter wird nicht gelöscht.

  1. Wählen Sie auf der Leinwand einer Pipeline einen Aufgabenoperator mit mindestens einem eingehenden Parameter aus.
  2. Wählen Sie im Bereich Eigenschaften für die ausgewählte Aufgabe die Option Konfiguration aus.
  3. Prüfen Sie neben Konfiguriert für eingehende Parameter die Anzahl der konfigurierten und verfügbaren eingehenden Parameter.
    Beispiel: 2/4 bedeutet, dass vier eingehende Parameter in der Aufgabe verfügbar sind und zwei Parameter neu konfiguriert wurden.
  4. Wählen Sie neben Konfigurierte eingehende Parameter die Option Konfigurieren aus.
  5. Prüfen Sie auf der Seite Eingehende Parameter konfigurieren die konfigurierten Eingabewerte.
    Eine Eingabe hat einen Standardwert. Wenn der eingehende Parameter neu konfiguriert wird, weist die Eingabe einen konfigurierten Wert auf. Ein konfigurierter Wert kann ein benutzerdefinierter Parametername mit dem neu konfigurierten Wert in Klammern sein.
  6. Um die Zuweisung eines eingehenden Parameters aufzuheben, wählen Sie Löschen aus.

Parameter in einer Pipeline löschen

Sie können benutzerdefinierte Pipelineparameter löschen, die Sie in einer Pipeline nicht mehr benötigen.

Systemparameter in einer Pipeline können nicht gelöscht werden.

  1. Wählen Sie auf der Leinwand einer Pipeline in der Leinwandsymbolleiste im Menü Anzeigen die Option Parameter aus.
    Auf der Registerkarte Anzeigen im Bereich "Parameter" werden die benutzerdefinierten Parameter angezeigt, die in dieser Pipeline erstellt wurden. Wenn ein Parameter in einer Aufgabe verwendet wird, zeigt der Link Verwendet in den Namen dieser Aufgabe an.
  2. Wählen Sie im Bereich Parameter die Option Konfig. aus.
  3. Wählen Sie mindestens einen Parameter, den Sie löschen möchten, und dann Löschen aus.
    Hinweis

    Wenn Sie einen benutzerdefinierten Parameter in einer Pipeline löschen, werden alle konfigurierten Werte in Aufgabenoperatoren entfernt, die mit diesem Parameter in der Pipeline verknüpft sind. Informationen zum Neukonfigurieren eines Eingabewertes finden Sie unter Eingehende Parameter für Aufgaben konfigurieren.