Utilizzo dei task di Data Loader
Un task di Data Loader consente di prendere dati da un'origine e caricarli in una destinazione. I task di Data Loader sono essenziali per la preparazione dei dati, la migrazione dei dati o il caricamento di dati diversi in data lake o data warehouse.
In Data Integration, è possibile utilizzare un task di Data Loader per eseguire il caricamento da 1 a 1 o da n a n dei dati da un tipo di sistema a un altro, con l'opzione Trasformazioni di dati multiple o inesistenti prima del caricamento. Quando si crea un task di Data Loader, Data Integration assiste l'utente nel processo di selezione dell'entità o delle entità di origine e di destinazione, applicazione delle trasformazioni e convalida del task. Per la destinazione, è possibile creare l'entità o le entità prima di caricare o selezionare le entità esistenti in cui caricare i dati. Sia per l'origine che per la destinazione, è possibile utilizzare i parametri per specificare le risorse e i parametri di riutilizzo come descritto in Parametri per origine e destinazione.
Nelle pagine riportate di seguito viene descritto come creare, modificare ed eliminare i task di Data Loader.
- Creazione di un task di Data Loader
- Selezione dell'origine per un task di Data Loader
- Selezione della destinazione per un task di Data Loader
- Applicazione delle trasformazioni
- Attributi mapping (solo per i task del programma di caricamento dati che utilizzano entità dati di destinazione esistenti)
- Revisione e convalida del task
- Modifica di un task di Data Loader
- Eliminazione di un task di Data Loader
Nelle pagine riportate di seguito viene descritto come utilizzare i parametri in un task di Data Loader.
Nelle pagine riportate di seguito vengono descritti altri task di gestione che è possibile eseguire.
Parti di un task di Data Loader
La configurazione di un task per il caricamento dei dati da un'origine a una destinazione richiede diversi passi.
- Informazioni di base e Tipo di caricamento: scegliere il tipo di entità dati di origine e di entità dati di destinazione e il tipo di caricamento.
Per i tipi di asset dati Database, Memorizzazione file e SaaS applicazioni che è possibile utilizzare come entità dati di origine e destinazione, vedere Tipi di origine e destinazione supportati.
Per il tipo di caricamento, i dati di origine da caricare possono provenire da più entità dati in uno schema o da una singola entità dati. Ad esempio, i dati di due o più entità provenienti da un'origine Oracle Database possono essere caricati in una destinazione di storage degli oggetti.
-
Origine: selezionare l'asset dati, la connessione e lo schema con i dati di origine da caricare. Quindi, a seconda del tipo di caricamento specificato, selezionare una o più entità dati da aggiungere all'origine per il caricamento. Vedere Selezione dell'origine.
Per parametrizzare una risorsa nell'origine, vedere Parametri per l'origine e la destinazione.
-
Destinazione: selezionare l'asset dati, la connessione, lo schema e l'entità dati da utilizzare come destinazione. Per impostazione predefinita, le entità di origine e di destinazione vengono mappate in base al nome. Se non si dispone di un'entità esistente in cui eseguire il caricamento, è possibile creare una nuova entità dati. Vedere Selezione della destinazione.
Per parametrizzare una risorsa di destinazione, vedere Utilizzo dei parametri per l'origine e la destinazione.
- Trasformazione: utilizzare le schede interattive per applicare le trasformazioni agli attributi di origine. Un task di Data Loader supporta le trasformazioni a livello di metadati e dati. Vedere Applicazione delle trasformazioni.
- Mapping attributi: quando si caricano dati in una o più entità dati di destinazione esistenti, per impostazione predefinita gli attributi di origine vengono mappati agli attributi di destinazione in base al nome dell'attributo. È possibile applicare più regole di mapping a tutti gli attributi in tutte le entità mappate. Vedere Mapping degli attributi.
- Rivedi e convalida: rivedere e modificare i passi di configurazione e assicurarsi che il task Data Loader sia valido prima della pubblicazione. Vedere Revisione e convalida del task.
Tipi di origine e destinazione supportati
La maggior parte dei tipi di origini dati è supportata nei task di Data Loader.
Vedere Origini dati supportate e relative versioni.
Se si utilizzano entità dati gerarchiche, vedere anche Tipi di dati gerarchici per comprendere gli elementi supportati.
Parametri per l'origine e la destinazione
Utilizzando i parametri per l'origine o la destinazione, si ha la flessibilità di utilizzare lo stesso task di Data Loader per origini dati o destinazioni dati diverse in fase di progettazione o runtime.
È possibile utilizzare un parametro per ciascuna delle risorse seguenti, sia nel tipo di caricamento di una singola entità dati che nel tipo di caricamento di più entità dati:
- Asset dati di origine, connessione e schema o bucket
- Asset dati di destinazione, connessione e schema o bucket
Tenere presente che quando il tipo di asset dati è Storage degli oggetti, è possibile parametrizzare il bucket (schema), ma non il compartimento che contiene il bucket.
Con la risorsa entità dati, è possibile parametrizzare l'entità di origine o l'entità di destinazione solo nelle seguenti condizioni:
- Quando si utilizza il tipo di caricamento entità dati singola
- Quando si crea una nuova entità dati nella destinazione immettendo un nome entità
- Quando si utilizza un'entità dati esistente nella destinazione
Quando si parametrizza una risorsa nell'origine e nella destinazione, Data Integration aggiunge e utilizza automaticamente i seguenti nomi di parametro:
Risorsa | Nome parametro origine | Nome parametro di destinazione |
---|---|---|
Asset dati | SOURCE_DATA_ASSET |
TARGET_DATA_ASSET |
Connessione | SOURCE_CONNECTION |
TARGET_CONNECTION |
Schema o bucket | SOURCE_SCHEMA |
TARGET_SCHEMA |
Entità dati | SOURCE_DATA_ENTITY |
TARGET_DATA_ENTITY |
Per parametrizzare una risorsa sulla destinazione, vedere anche Riutilizzo dei parametri per le risorse di origine o di destinazione.
Aggiunta, modifica e rimozione di parametri
Quando si crea il task Data Loader, i parametri vengono gestiti nel passo Origine e nel passo Destinazione.
Dopo aver selezionato un asset dati di origine, una connessione, uno schema o un'entità dati, è possibile assegnare un parametro a una risorsa selezionando Parametrizza accanto alla risorsa.
Analogamente per le risorse di destinazione, dopo aver selezionato un asset dati di destinazione, una connessione, uno schema o un'entità dati, è possibile assegnare un parametro a una risorsa selezionando Parametrizza accanto alla risorsa.
Per parametrizzare una risorsa nell'origine o nella destinazione, vedere anche Riutilizzo dei parametri per le risorse di origine o di destinazione.
Dopo aver aggiunto i parametri, è possibile modificare il nome di un parametro e aggiungere una descrizione. Vedere Modifica di un parametro di risorsa.
Per rimuovere un parametro assegnato a una risorsa, vedere Rimozione di un parametro risorsa.
Riutilizzo dei parametri per le risorse di origine o di destinazione
Si supponga di aver parametrizzato l'asset dati di origine, la connessione, lo schema o l'entità dati in un task di Data Loader. Per parametrizzare le risorse di destinazione, anziché selezionare Parametrizza, è possibile selezionare Riutilizza parametro di origine <tipo di risorsa> per utilizzare gli stessi parametri di quelli aggiunti alle risorse dello stesso tipo nell'origine.
Analogamente, se le risorse di destinazione sono state parametrizzate e si desidera utilizzare i parametri di destinazione per le risorse dello stesso tipo nell'origine, è possibile selezionare Riutilizza parametro di destinazione <tipo di risorsa> per parametrizzare l'asset dati di origine, la connessione, lo schema o l'entità dati.
Quando si parametrizza una risorsa di origine o di destinazione riutilizzando il parametro risorsa dello stesso tipo presente nella destinazione o nell'origine, Data Integration non crea un nuovo parametro. Viene invece utilizzato un solo parametro per un tipo di risorsa presente nell'origine e nella destinazione.
Ad esempio, se un asset dati di origine dello storage degli oggetti è parametrizzato, il nome del parametro dell'asset dati di destinazione dello storage degli oggetti è SOURCE_DATA_ASSET
quando si riutilizza il parametro di origine per l'asset dati di destinazione, come illustrato nella tabella riportata di seguito.
Risorsa di destinazione | Nome parametro di destinazione durante il riutilizzo del parametro di origine dello stesso tipo |
---|---|
Asset dati | SOURCE_DATA_ASSET |
Connessione | SOURCE_CONNECTION |
Schema o bucket | SOURCE_SCHEMA |
Entità dati | SOURCE_DATA_ENTITY |
Analogamente, se una risorsa di destinazione dello storage degli oggetti, ad esempio la connessione, è parametrizzata, il parametro di connessione di origine dello storage degli oggetti è TARGET_CONNECTION
quando si riutilizza il parametro di destinazione per la connessione di origine.
Risorsa nell'origine | Nome del parametro di origine durante il riutilizzo del parametro di destinazione dello stesso tipo |
---|---|
Asset dati | TARGET_DATA_ASSET |
Connessione | TARGET_CONNECTION |
Schema o bucket | TARGET_SCHEMA |
Entità dati | TARGET_DATA_ENTITY |