Utilizzo dei task di Data Loader

Un task di Data Loader consente di prendere dati da un'origine e caricarli in una destinazione. I task di Data Loader sono essenziali per la preparazione dei dati, la migrazione dei dati o il caricamento di dati diversi in data lake o data warehouse.

In Data Integration, è possibile utilizzare un task di Data Loader per eseguire il caricamento da 1 a 1 o da n a n dei dati da un tipo di sistema a un altro, con l'opzione Trasformazioni di dati multiple o inesistenti prima del caricamento. Quando si crea un task di Data Loader, Data Integration assiste l'utente nel processo di selezione dell'entità o delle entità di origine e di destinazione, applicazione delle trasformazioni e convalida del task. Per la destinazione, è possibile creare l'entità o le entità prima di caricare o selezionare le entità esistenti in cui caricare i dati. Sia per l'origine che per la destinazione, è possibile utilizzare i parametri per specificare le risorse e i parametri di riutilizzo come descritto in Parametri per origine e destinazione.

Nelle pagine riportate di seguito viene descritto come creare, modificare ed eliminare i task di Data Loader.

Nelle pagine riportate di seguito viene descritto come utilizzare i parametri in un task di Data Loader.

Nelle pagine riportate di seguito vengono descritti altri task di gestione che possono essere eseguiti dopo la creazione di un task di Data Loader.

Parti di un task di Data Loader

La configurazione di un task per il caricamento dei dati da un'origine a una destinazione richiede diversi passi.

  • Informazioni di base e Tipo di caricamento: scegliere il tipo di entità dati di origine e di entità dati di destinazione e il tipo di caricamento.

    Per i tipi di asset dati Database, Memorizzazione file e SaaS applicazioni che è possibile utilizzare come entità dati di origine e destinazione, vedere Tipi di origine e destinazione supportati.

    Per il tipo di caricamento, i dati di origine da caricare possono provenire da più entità dati in uno schema o da una singola entità dati. Ad esempio, i dati di due o più entità provenienti da un'origine Oracle Database possono essere caricati in una destinazione di storage degli oggetti.

  • Origine: selezionare l'asset dati, la connessione e lo schema con i dati di origine da caricare. Quindi, a seconda del tipo di caricamento specificato, selezionare una o più entità dati da aggiungere all'origine per il caricamento. Vedere Selezione dell'origine.

    Per parametrizzare una risorsa nell'origine, vedere Parametri per l'origine e la destinazione.

  • Destinazione: selezionare l'asset dati, la connessione, lo schema e l'entità dati da utilizzare come destinazione. Per impostazione predefinita, le entità di origine e di destinazione vengono mappate in base al nome. Se non si dispone di un'entità esistente in cui eseguire il caricamento, è possibile creare una nuova entità dati. Vedere Selezione della destinazione.

    Per parametrizzare una risorsa di destinazione, vedere Utilizzo dei parametri per l'origine e la destinazione.

  • Trasformazione: utilizzare le schede interattive per applicare le trasformazioni agli attributi di origine. Un task di Data Loader supporta le trasformazioni a livello di metadati e dati. Vedere Applicazione delle trasformazioni.
  • Mapping attributi: quando si caricano dati in una o più entità dati di destinazione esistenti, per impostazione predefinita gli attributi di origine vengono mappati agli attributi di destinazione in base al nome dell'attributo. È possibile applicare più regole di mapping a tutti gli attributi in tutte le entità mappate. Vedere Mapping degli attributi.
  • Rivedi e convalida: rivedere e modificare i passi di configurazione e assicurarsi che il task Data Loader sia valido prima della pubblicazione. Vedere Revisione e convalida del task.

Parametri per l'origine e la destinazione

Utilizzando i parametri per l'origine o la destinazione, si ha la flessibilità di utilizzare lo stesso task di Data Loader per origini dati o destinazioni dati diverse in fase di progettazione o runtime.

È possibile utilizzare un parametro per ciascuna delle risorse seguenti, sia nel tipo di caricamento di una singola entità dati che nel tipo di caricamento di più entità dati:

  • Asset dati di origine, connessione e schema o bucket
  • Asset dati di destinazione, connessione e schema o bucket

Tenere presente che quando il tipo di asset dati è Storage degli oggetti, è possibile parametrizzare il bucket (schema), ma non il compartimento che contiene il bucket.

Con la risorsa entità dati, è possibile parametrizzare l'entità di origine o l'entità di destinazione solo nelle seguenti condizioni:

  • Quando si utilizza il tipo di caricamento entità dati singola
  • Quando si crea una nuova entità dati nella destinazione immettendo un nome entità
  • Quando si utilizza un'entità dati esistente nella destinazione

Quando si parametrizza una risorsa nell'origine e nella destinazione, Data Integration aggiunge e utilizza automaticamente i seguenti nomi di parametro:

Risorsa Nome parametro origine Nome parametro di destinazione
Asset dati SOURCE_DATA_ASSET TARGET_DATA_ASSET
Connessione SOURCE_CONNECTION TARGET_CONNECTION
Schema o bucket SOURCE_SCHEMA TARGET_SCHEMA
Entità dati SOURCE_DATA_ENTITY TARGET_DATA_ENTITY

Per parametrizzare una risorsa sulla destinazione, vedere anche Riutilizzo dei parametri per le risorse di origine o di destinazione.

Aggiunta, modifica e rimozione di parametri

Quando si crea il task Data Loader, i parametri vengono gestiti nel passo Origine e nel passo Destinazione.

Dopo aver selezionato un asset dati, una connessione, uno schema o un'entità dati di origine, è possibile assegnare un parametro a una risorsa facendo clic su Parametrizza accanto alla risorsa.

Analogamente per le risorse di destinazione, dopo aver selezionato un asset dati di destinazione, una connessione, uno schema o un'entità dati, è possibile assegnare un parametro a una risorsa facendo clic su Parametrizza accanto alla risorsa.

Per parametrizzare una risorsa nell'origine o nella destinazione, vedere anche Riutilizzo dei parametri per le risorse di origine o di destinazione.

Dopo aver aggiunto i parametri, è possibile modificare il nome di un parametro e aggiungere una descrizione. Vedere Modifica di un parametro di risorsa.

Per rimuovere un parametro assegnato a una risorsa, vedere Rimozione di un parametro risorsa.

Riutilizzo dei parametri per le risorse di origine o di destinazione

Si supponga di aver parametrizzato l'asset dati di origine, la connessione, lo schema o l'entità dati in un task di Data Loader. Per parametrizzare le risorse di destinazione, invece di fare clic su Parametrizza, è possibile fare clic su Riutilizza parametro <resource type> di origine per utilizzare gli stessi parametri di quelli aggiunti alle risorse dello stesso tipo nell'origine.

Analogamente, se le risorse di destinazione sono state parametrizzate e si desidera utilizzare i parametri di destinazione per le risorse dello stesso tipo nell'origine, è possibile fare clic su Riutilizza parametro <resource type> di destinazione per parametrizzare l'asset dati di origine, la connessione, lo schema o l'entità dati.

Quando si parametrizza una risorsa di origine o di destinazione riutilizzando il parametro risorsa dello stesso tipo presente nella destinazione o nell'origine, Data Integration non crea un nuovo parametro. Viene invece utilizzato un solo parametro per un tipo di risorsa presente nell'origine e nella destinazione.

Ad esempio, se un asset dati di origine dello storage degli oggetti è parametrizzato, il nome del parametro dell'asset dati di destinazione dello storage degli oggetti è SOURCE_DATA_ASSET quando si riutilizza il parametro di origine per l'asset dati di destinazione, come illustrato nella tabella riportata di seguito.

Risorsa di destinazione Nome parametro di destinazione durante il riutilizzo del parametro di origine dello stesso tipo
Asset dati SOURCE_DATA_ASSET
Connessione SOURCE_CONNECTION
Schema o bucket SOURCE_SCHEMA
Entità dati SOURCE_DATA_ENTITY

Analogamente, se una risorsa di destinazione dello storage degli oggetti, ad esempio la connessione, è parametrizzata, il parametro di connessione di origine dello storage degli oggetti è TARGET_CONNECTION quando si riutilizza il parametro di destinazione per la connessione di origine.

Risorsa nell'origine Nome del parametro di origine durante il riutilizzo del parametro di destinazione dello stesso tipo
Asset dati TARGET_DATA_ASSET
Connessione TARGET_CONNECTION
Schema o bucket TARGET_SCHEMA
Entità dati TARGET_DATA_ENTITY