Selezione dell'origine per un task di Data Loader
Selezionare l'asset dati, la connessione e lo schema con i dati di origine da caricare. Selezionare quindi una o più entità dati nello schema, a seconda del tipo di caricamento specificato per il task Data Loader.
Quando si selezionano più entità dati da un tipo di origine di storage dei file, ad esempio lo storage degli oggetti, è possibile utilizzare un pattern di file per aggiungere entità corrispondenti al pattern e utilizzare il qualificatore di entità logica per raggruppare le entità corrispondenti in uno o più gruppi di pattern. Ogni gruppo di pattern viene considerato come un'entità logica durante il runtime.
Per configurare i dati di origine per un task di Data Loader, è innanzitutto necessario selezionare un asset dati, una connessione e uno schema.
È possibile parametrizzare le risorse dopo aver effettuato le selezioni.
Nella tabella delle entità dati selezionare l'entità dati che si desidera utilizzare come origine. I dati dell'entità dati selezionata vengono caricati nella destinazione quando viene eseguito il task.
È possibile parametrizzare l'entità dati di origine dopo aver selezionato un'entità dati dall'elenco delle entità disponibili.
- Andare al passo Origine, scheda Entità dati.
-
Per selezionare un'entità dati, eseguire una delle seguenti opzioni:
-
Nella tabella Entità dati disponibili, selezionare un'entità dati facendo clic sulla casella di controllo accanto al nome dell'entità. Quindi fare clic su Imposta come origine. Il nome dell'entità dati selezionata viene visualizzato accanto all'entità dati selezionata.
Per filtrare l'elenco delle entità disponibili, immettere un nome o un pattern nel campo e premere Invio. È possibile immettere un nome parziale o un pattern utilizzando caratteri speciali come *. Ad esempio, immettere
ADDRESS_*
per trovare ADDRESS_EU1, ADDRESS_EU2 e ADDRESS_EU3. -
Se applicabile, fare clic su Immetti SQL personalizzato e fare clic su Aggiungi SQL.
Nel pannello dell'editor visualizzato immettere una singola istruzione SQL che definisce i dati da utilizzare come origine e fare clic su Convalida.
Nota: nelle istruzioni SQL utilizzare virgolette singole per i parametri. Ad esempio:
select * from ORDERS where Created_On >= '${SYS.LAST_LOAD_DATE}'
Se la convalida riesce, fare clic su Aggiungi.
Viene visualizzata l'etichetta
SQL_ENTITY<nnnnnnnnn>
, ad esempioSQL_ENTITY123456789
. Per visualizzare o modificare l'istruzione, fare clic su Modifica.
-
- (Facoltativo) È possibile assegnare un parametro all'entità dati di origine dopo aver effettuato una selezione.
- Fare clic su Parametrizza accanto alla risorsa per assegnare un parametro a tale risorsa. Durante la parametrizzazione, Data Integration aggiunge un parametro del tipo appropriato e imposta il valore del parametro predefinito sul valore attualmente configurato per tale risorsa.
- Se disponibile, fare clic su Riutilizza parametro entità dati di destinazione per utilizzare il parametro entità di destinazione come parametro per questa entità dati di origine. Per ulteriori informazioni, vedere Riutilizzo dei parametri per le risorse di origine o di destinazione.
-
Per configurare ulteriormente l'origine dati e il task del programma di caricamento, fare clic sulla scheda Impostazioni, se applicabile. A seconda del tipo di origine, le impostazioni che è possibile configurare sono le seguenti:
- Consenti pushdown o disattiva pushdown: per impostazione predefinita, alcune elaborazioni dei dati vengono scaricate sul sistema di origine. Per applicare l'elaborazione o le trasformazioni al di fuori del sistema di origine, deselezionare la casella di controllo.
- Consenti deviazione schema o blocca le definizioni dello schema: per impostazione predefinita, le modifiche alla definizione dello schema nell'entità dati specificata vengono rilevate e raccolte automaticamente (tempo di progettazione e runtime). Per utilizzare una forma fissa dell'entità dati specificata anche quando la forma sottostante è stata modificata, deselezionare la casella di controllo.
Per un file JSON, la deviazione dello schema è disabilitata per impostazione predefinita e non può essere abilitata se si utilizza uno schema personalizzato per derivare la forma dell'entità. Se si desidera che la deviazione dello schema sia disponibile e abilitata, modificare l'origine JSON nel task del flusso di dati o del programma di caricamento dati e deselezionare la casella di controllo Usa schema personalizzato.
- Recupera metadati file come attributi: per impostazione predefinita, il nome del file, la dimensione del file e altri metadati del file sono inclusi come attributi nei dati di origine.
I caratteri speciali (spazio incluso) nei nomi dei file non sono supportati.
Deselezionare la casella di controllo se non si desidera utilizzare i metadati dei file come attributi.
-
Caricamento incrementale: selezionare la casella di controllo per identificare e caricare solo i dati creati o modificati dall'ultima esecuzione del processo di caricamento.
(Solo origine database relazionale) Per la colonna Watermark, selezionare la colonna utilizzata per contrassegnare le righe caricate in modo incrementale. È possibile utilizzare come colonna watermark solo le colonne
DATE
,TIMESTAMP
eDATETIME
.
Dall'elenco delle entità dati disponibili, selezionare le entità dati che si desidera utilizzare come origine. È possibile selezionare le entità dati singolarmente, selezionare tutte le entità disponibili oppure utilizzare un pattern di file per selezionare le entità come gruppo. I dati delle entità dati di origine selezionate vengono caricati nelle destinazioni mappate quando viene eseguito il task.
Integrazione dati crea regole per le entità dati incluse come origine. Le regole vengono aggiunte quando si effettuano selezioni di singole entità dati o quando si utilizza un modello di file (con o senza un nome di gruppo). Le entità dati raggruppate vengono trattate come entità logica durante il runtime.
Quando si rimuovono le entità dati dalla lista Entità dati di origine selezionate, tali entità dati non vengono più incluse nell'origine per il task Data Loader.
Quando si selezionano più entità dati da un tipo di origine di storage dei file (ad esempio, Storage degli oggetti) da utilizzare come origine per un task di Data Loader, è possibile utilizzare un pattern di file per raggruppare e aggiungere file esistenti che corrispondono al pattern. I futuri file in entrata che corrispondono al pattern vengono inclusi nel gruppo.
Nel pattern di file è inoltre possibile utilizzare il qualificatore logicalentity
per raggruppare le entità corrispondenti in uno o più gruppi di pattern. Ogni gruppo di pattern viene considerato come un'entità logica durante il runtime.
Le entità dati che corrispondono a più gruppi di pattern vengono incluse in tutti questi gruppi.
Considerare i seguenti nomi di file di entità dati disponibili per la selezione:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
MYSRC_BANK_A_01.csv
MYSRC_BANK_B_01.csv
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csv
Quando si utilizza il pattern di file SRC*.csv
, Data Integration crea una regola di pattern e aggiunge all'origine i file riportati di seguito.
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
Quando si utilizza il pattern di file MYSRC_BANK_C*.csv
e si fornisce il nome del gruppo MYSRC
, Data Integration crea una regola di gruppo. In fase di esecuzione, il nome del gruppo consolida tutti i file corrispondenti al pattern in un'unica entità di origine denominata MYSRC
. Ad esempio, vengono consolidati i seguenti file:
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
Tutti i futuri file in entrata che corrispondono al pattern vengono aggiunti al gruppo. Ad esempio:
MYSRC_BANK_C_03.csv
MYSRC_BANK_C_04.csv
Quando si utilizza il pattern di file con il qualificatore logicalentity
, MYSRC_BANK_{logicalentity:B|D}*.csv
, e si fornisce il prefisso del nome gruppo MYNEWSRC_
, Data Integration crea una regola di gruppo e aggiunge due gruppi di pattern che consolidano i seguenti file corrispondenti:
For pattern group MYNEWSRC_B:
MYSRC_BANK_B_01.csv
For pattern group MYNEWSRC_D:
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csv
Data Integration crea gruppi nella lista Seleziona entità dati di origine quando si utilizza un pattern di file per selezionare più file (ad esempio, dallo storage degli oggetti) come gruppo da includere nell'origine per un task del programma di caricamento dati.
- Andare al passo Origine, scheda Entità dati.
- Nella lista Entità dati di origine selezionate fare clic sul nome di un gruppo.
- Nel pannello Visualizza dettagli gruppo di pattern è possibile visualizzare il pattern utilizzato per creare il gruppo e la lista delle entità dati che corrispondono al pattern.
Data Integration aggiunge regole quando si selezionano più entità dati da includere nell'origine per un task del programma di caricamento dati.
Una regola viene aggiunta quando sono state effettuate selezioni di singole entità dati oppure, se applicabile, le entità sono state incluse in base a un pattern o a un gruppo. Il numero di regole viene visualizzato sopra la tabella Entità dati di origine selezionate, tra parentesi accanto a Visualizza regole. Ad esempio, Visualizza regole (3).
Prima di rimuovere una regola di gruppo, assicurarsi di rivedere l'elenco delle entità dati interessate dalla rimozione della regola. Vedere Visualizzazione della lista di file inclusi in un gruppo.