Quelle für eine Data-Loader-Aufgabe auswählen
Wählen Sie das Datenasset, die Verbindung und das Schema mit den Quelldaten zum Laden aus. Wählen Sie dann je nach Ladetyp, den Sie für die Data-Loader-Aufgabe angegeben haben, eine oder mehrere Datenentitys im Schema aus.
Wenn Sie mehrere Datenentitys aus einem Dateispeicherquellentyp (wie Object Storage) auswählen, können Sie mit einem Dateimuster Entitys hinzufügen, die dem Muster entsprechen, und mit dem logischen Entity-Qualifier übereinstimmende Entitys in mindestens einer Mustergruppe gruppieren. Jede Mustergruppe wird während der Laufzeit als logische Entity behandelt.
Um die Quelldaten für eine Data-Loader-Aufgabe zu konfigurieren, wählen Sie zunächst ein Datenasset, eine Verbindung und ein Schema aus.
Sie können die Ressourcen parametrisieren, nachdem Sie die Auswahl getroffen haben.
Wählen Sie in der Tabelle der Datenentitys die Datenentity aus, die Sie als Quelle verwenden möchten. Daten aus der ausgewählten Datenentity werden beim Ausführen der Aufgabe in das Ziel geladen.
Sie können die Quelldatenentity parametrisieren, nachdem Sie eine Datenentity aus der Liste der verfügbaren Entitys ausgewählt haben.
- Gehen Sie zum Schritt Quelle, Registerkarte Datenentitys.
-
Führen Sie eine der folgenden Optionen aus, um eine Datenentity auszuwählen:
-
Wählen Sie in der Tabelle Verfügbare Datenentitys eine Datenentity aus, indem Sie das Kontrollkästchen neben dem Entitynamen aktivieren. Wählen Sie dann Als Quelle festlegen aus. Der Name der ausgewählten Datenentity wird neben Ausgewählte Datenentity angezeigt.
Um die Liste der verfügbaren Entitys zu filtern, geben Sie einen Namen oder ein Muster in das Feld ein, und drücken Sie die Eingabetaste. Sie können einen Teilnamen oder ein Muster mit Sonderzeichen wie "*" eingeben. Beispiel: Geben Sie
ADDRESS_*ein, um ADDRESS_EU1, ADDRESS_EU2 und ADDRESS_EU3 zu suchen. -
Wählen Sie gegebenenfalls Benutzerdefinierte SQL eingeben aus, und wählen Sie SQL hinzufügen aus.
Geben Sie im angezeigten Editorbereich eine einzelne SQL-Anweisung ein, die die Daten definiert, die als Quelle verwendet werden sollen, und wählen Sie Validieren aus.
Hinweis: Verwenden Sie in SQL-Anweisungen einfache Anführungszeichen für Parameter. Beispiel:
select * from ORDERS where Created_On >= '${SYS.LAST_LOAD_DATE}'Wenn die Validierung erfolgreich ist, wählen Sie Hinzufügen aus.
Das Label
SQL_ENTITY<nnnnnnnnn>wird angezeigt. Beispiel:SQL_ENTITY123456789. Um die Anweisung anzuzeigen oder zu bearbeiten, wählen Sie Bearbeiten aus.
-
- (Optional) Sie können der Quelldatenentity einen Parameter zuweisen, nachdem Sie eine Auswahl getroffen haben.
- Wählen Sie Parametrisieren neben der Ressource aus, um dieser Ressource einen Parameter zuzuweisen. Bei der Parametrierung fügt Data Integration einen Parameter des entsprechenden Typs hinzu und setzt den Standardparameterwert auf den Wert, der derzeit für diese Ressource konfiguriert ist.
- Wenn verfügbar, wählen Sie Zieldatenentityparameter wiederverwenden aus, um den Zielentityparameter als Parameter für diese Quelldatenentity zu verwenden. Weitere Informationen finden Sie unter Parameter für Quell- oder Zielressourcen ablehnen.
-
Um die Datenquelle und die Loader-Aufgabe weiter zu konfigurieren, wählen Sie gegebenenfalls die Registerkarte Einstellungen aus. Je nach Quelltyp können Sie folgende Einstellungen konfigurieren:
- Pushdown zulassen oder Pushdown deaktivieren: Standardmäßig wird ein Teil der Datenverarbeitung an das Quellsystem ausgelagert. Um Verarbeitung oder Transformationen außerhalb des Quellsystems anzuwenden, deaktivieren Sie das Kontrollkästchen.
- Schemaabweichung zulassen oder Schemadefinitionen sperren: Standardmäßig werden Schemadefinitionsänderungen in der angegebenen Datenentity automatisch erkannt und übernommen (Entwurfszeit und Laufzeit). Um selbst dann eine feste Ausprägung der angegebenen Datenentity zu verwenden, wenn sich die zugrunde liegende Ausprägung geändert hat, deaktivieren Sie das Kontrollkästchen.
Bei einer JSON-Datei ist die Schemaabweichung standardmäßig deaktiviert und kann nicht aktiviert werden, wenn ein benutzerdefiniertes Schema zum Inferenzieren der Entityausprägung verwendet wird. Wenn die Schemaabweichung verfügbar und aktiviert sein soll, bearbeiten Sie die JSON-Quelle in der Datenfluss- oder Data-Loader-Aufgabe, und deaktivieren Sie das Kontrollkästchen Benutzerdefiniertes Schema verwenden.
- Dateimetadaten als Attribute abrufen: Standardmäßig werden der Dateinname, die Dateigröße und andere Dateimetadaten als Attribute in die Quelldaten aufgenommen.
Sonderzeichen (einschließlich Leerzeichen) in den Dateinamen werden nicht unterstützt.
Deaktivieren Sie das Kontrollkästchen, wenn Sie keine Dateimetadaten als Attribute verwenden möchten.
-
Inkrementelles Laden: Aktivieren Sie das Kontrollkästchen, um nur die Daten zu identifizieren und zu laden, die seit der letzten Ausführung des Ladeprozesses erstellt oder geändert wurden.
(Nur relationale Datenbankquelle) Wählen Sie unter Wasserzeichenspalte die Spalte aus, die zum Markieren der Zeilen verwendet wird, die inkrementell geladen wurden. Nur die Spalten
DATE,TIMESTAMPundDATETIMEkönnen als Wasserzeichenspalte verwendet werden.
Wählen Sie in der Liste der verfügbaren Datenentitys die Datenentitys aus, die Sie als Quelle verwenden möchten. Sie können die Datenentitys einzeln auswählen, alle verfügbaren Entitys auswählen oder ein Dateimuster verwenden, um Entitys als Gruppe auszuwählen. Daten aus den ausgewählten Quelldatenentitys werden beim Ausführen der Aufgabe in die zugeordneten Ziele geladen.
Data Integration erstellt Regeln für die Datenentitys, die Sie als Quelle einschließen. Regeln werden hinzugefügt, wenn Sie einzelne Datenentitys auswählen oder ein Dateimuster verwenden (mit oder ohne Gruppennamen). Gruppierte Datenentitys werden während der Laufzeit als logische Entity behandelt.
Wenn Sie Datenentitys aus der Liste Ausgewählte Quelldatenentitys entfernen, sind diese Datenentitys nicht mehr in der Quelle für die Data-Loader-Aufgabe enthalten.
Wenn Sie mehrere Datenentitys aus einem Dateispeicherquellentyp (z.B. Object Storage) auswählen, die als Quelle für eine Data-Loader-Aufgabe verwendet werden sollen, können Sie ein Dateimuster verwenden, um vorhandene Dateien zu gruppieren und hinzuzufügen, die dem Muster entsprechen. Zukünftige eingehende Dateien, die dem Muster entsprechen, werden ebenfalls in die Gruppe aufgenommen.
Im Dateimuster können Sie auch den Qualifier logicalentity verwenden, um übereinstimmende Entitys in einer oder mehreren Mustergruppen zu gruppieren. Jede Mustergruppe wird während der Laufzeit als logische Entity behandelt.
Datenentitys, die mit mehreren Mustergruppen übereinstimmen, sind in allen diesen Gruppen enthalten.
Beachten Sie die folgenden Dateinamen von Datenentitys, die zur Auswahl verfügbar sind:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
MYSRC_BANK_A_01.csv
MYSRC_BANK_B_01.csv
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csvWenn Sie das Dateimuster SRC*.csv verwenden, erstellt Data Integration eine Musterregel und fügt die folgenden Dateien zur Quelle hinzu:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csvWenn Sie das Dateimuster MYSRC_BANK_C*.csv verwenden und den Gruppennamen MYSRC angeben, erstellt Data Integration eine Gruppenregel. Zur Laufzeit konsolidiert der Gruppenname alle Dateien, die dem Muster entsprechen, in einer Quellentity mit dem Namen MYSRC. Beispiel: Die folgenden Dateien werden konsolidiert:
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csvAlle zukünftigen eingehenden Dateien, die dem Muster entsprechen, werden der Gruppe hinzugefügt. Beispiel:
MYSRC_BANK_C_03.csv
MYSRC_BANK_C_04.csvWenn Sie das Dateimuster mit dem Qualifier logicalentity MYSRC_BANK_{logicalentity:B|D}*.csv verwenden und das Gruppennamenpräfix MYNEWSRC_ angeben, erstellt Data Integration eine Gruppenregel und fügt zwei Mustergruppen hinzu, die folgende übereinstimmende Dateien konsolidieren:
For pattern group MYNEWSRC_B:
MYSRC_BANK_B_01.csv
For pattern group MYNEWSRC_D:
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csvData Integration erstellt Gruppen in der Liste Quelldatenentitys auswählen, wenn Sie mit einem Dateimuster mehrere Dateien (z.B. aus Object Storage) als Gruppe für die Aufnahme in die Quelle für eine Data-Loader-Aufgabe auswählen.
- Gehen Sie zum Schritt Quelle, Registerkarte Datenentitys.
- Wählen Sie in der Liste Ausgewählte Quelldatenentitys einen Gruppennamen aus.
- Im Bereich Mustergruppendetails anzeigen können Sie das zum Erstellen der Gruppe verwendete Muster und die Liste der Datenentitys anzeigen, die dem Muster entsprechen.
Data Integration fügt Regeln hinzu, wenn Sie mehrere Datenentitys auswählen, die in die Quelle für eine Data Loader-Aufgabe aufgenommen werden sollen.
Eine Regel wird hinzugefügt, wenn Sie einzelne Datenentitys ausgewählt haben oder wenn zutreffend, die Entitys nach Muster oder Gruppe aufgenommen haben. Die Anzahl der Regeln wird über der Tabelle Auswahl von Quelldatenentitys in Klammern neben Regeln anzeigen angezeigt. Beispiel: Regeln anzeigen (3).
Bevor Sie eine Gruppenregel entfernen, müssen Sie die Liste der Datenentitys prüfen, auf die sich das Entfernen der Regel auswirkt. Siehe Liste der in einer Gruppe enthaltenen Dateien anzeigen.