Flussi dati

Uno schema definisce la forma dei dati in un sistema di origine o di destinazione. Quando si utilizza un flusso di dati in Data Integration, la deviazione dello schema si verifica quando le definizioni dei dati cambiano.

Ad esempio, un attributo potrebbe essere aggiunto o rimosso nell'origine oppure un attributo nella destinazione potrebbe essere rinominato. Se non si gestisce la deviazione dello schema, i processi ETL potrebbero non riuscire o si potrebbe perdere la qualità dei dati.

Per impostazione predefinita, Data Integration gestisce automaticamente la deviazione dello schema. Quando si configura un operatore di origine in Progettazione flusso dati, dopo aver selezionato un'entità dati, fare clic sulla scheda Opzioni avanzate nel pannello Proprietà. La casella di controllo Consenti deviazione schema selezionata indica che la deviazione dello schema è abilitata.

Quando la deviazione dello schema è abilitata, Data Integration può rilevare le modifiche alla definizione dello schema nelle entità dati specificate durante il tempo di progettazione e il runtime del flusso di dati. Tutte le modifiche vengono selezionate automaticamente e lo schema viene adattato in modo da includere nuovi attributi, attributi rimossi, nomi di attributi diversi, tipi di dati modificati e così via.

Se si deseleziona la casella di controllo Consenti deviazione schema, si disabilita la deviazione dello schema per bloccare le definizioni dello schema quando viene definito il flusso di dati. Quando la deviazione dello schema è disabilitata, Data Integration utilizza una forma fissa dell'entità dati specificata anche quando la forma di base è stata modificata.

Senza gestire la deviazione dello schema, i flussi di dati possono diventare vulnerabili alle modifiche all'origine dati a monte. Grazie alla deriva degli schemi, i flussi di dati diventano più resilienti e si adattano automaticamente a qualsiasi modifica. Non è necessario riprogettare i flussi di dati quando si verificano modifiche alla definizione dello schema.

Per un file JSON, la deviazione dello schema è disabilitata per impostazione predefinita e non può essere abilitata se si utilizza uno schema personalizzato per derivare la forma dell'entità. Se si desidera che la deviazione dello schema sia disponibile e abilitata, modificare l'origine JSON nel task del flusso di dati o del programma di caricamento dati e deselezionare la casella di controllo Usa schema personalizzato.

In Data Integration è possibile eseguire il push di un'operazione dati in un flusso di dati in un sistema di dati di origine o di destinazione per l'elaborazione.

Ad esempio, è possibile eseguire un'operazione di ordinamento o filtro nel sistema di origine durante la lettura dei dati. Se una delle origini per un'operazione di join si trova nello stesso sistema della destinazione, è possibile eseguire il push dell'operazione dati nel sistema di destinazione.

In Data Integration è possibile utilizzare il pushdown in un flusso di dati quando si utilizzano sistemi di dati relazionali che supportano il pushdown. L'elenco corrente include i database Oracle, Oracle Autonomous Data Warehouse, Oracle Autonomous Transaction Processing e MySQL.

Per impostazione predefinita, Data Integration utilizza il pushdown, se applicabile. Quando si configura un operatore di origine in Progettazione flusso dati, dopo aver selezionato un'entità dati, fare clic sulla scheda Opzioni avanzate nel pannello Proprietà. La casella di controllo Consenti pushdown selezionata indica che il pushdown è abilitato.

Quando il pushdown è abilitato, Data Integration converte la logica dell'operazione dati applicabile in istruzioni SQL che vengono quindi eseguite direttamente nel database relazionale. Spingendo l'elaborazione dei dati al database, vengono estratti e caricati meno dati.

Se si deseleziona la casella di controllo Consenti pushdown, si disabilita il pushdown. Quando il pushdown è disabilitato, Data Integration estrae tutti i dati dal sistema di origine ed elabora i dati nei cluster Apache Spark allocati all'area di lavoro.

Consentendo a Data Integration di utilizzare il pushdown, le prestazioni vengono migliorate perché:

• Viene utilizzata la potenza di elaborazione del database
• Meno dati vengono inclusi per l'elaborazione.

In base all'ottimizzazione, Data Integration può utilizzare il pushdown parziale o completo in un flusso di dati. Il pushdown parziale viene eseguito quando si utilizza un sistema di dati relazionali supportato nell'origine o nella destinazione. Il pushdown completo viene eseguito quando sono presenti le seguenti condizioni:

• Nel flusso di dati esiste una sola destinazione.
• In un flusso di dati con un'unica origine, sia l'origine che la destinazione utilizzano la stessa connessione a un sistema di dati relazionale supportato.
• In un flusso di dati con più origini, tutte le origini devono utilizzare anche lo stesso database e la stessa connessione.
• Tutti gli operatori e le funzioni di trasformazione nel flusso di dati possono generare un codice SQL pushdown valido.

La preparazione dei dati garantisce che i processi di integrazione dei dati includano dati accurati e significativi con meno errori per produrre dati di qualità per insight più affidabili.

La preparazione dei dati include la pulizia e la convalida dei dati per ridurre gli errori e la trasformazione e l'arricchimento dei dati prima del caricamento dei dati nei sistemi di destinazione. Ad esempio, i dati potrebbero provenire da origini diverse con vari formati e persino informazioni duplicate. La preparazione dei dati potrebbe comportare la rimozione di attributi e righe duplicati, la standardizzazione in base a un formato per tutti gli attributi data e il mascheramento dei dati degli attributi riservati, ad esempio le carte di credito e le password.

Data Integration offre operatori e funzioni di modellazione pronti all'uso e trasformazioni che è possibile utilizzare in strumenti interattivi per preparare i dati durante la progettazione della logica per i processi ETL. Ad esempio, la scheda Attributi consente di cercare gli attributi in entrata in base a un pattern e di applicare una regola di esclusione.

Nella scheda Dati è possibile applicare le trasformazioni a un singolo attributo oppure filtrare gli attributi in base a un pattern di nomi o a un tipo di dati, quindi applicare le trasformazioni a un gruppo di attributi. È inoltre possibile visualizzare in anteprima i risultati delle trasformazioni dei dati nella scheda Dati, senza dover eseguire l'intero flusso di dati.

In In Integrazione dati è possibile utilizzare la scheda Mappa per descrivere il flusso di dati dagli attributi di origine agli attributi di destinazione.

Una destinazione può essere un'entità dati esistente o una nuova entità dati. In un flusso di dati, la scheda Mappa è applicabile solo a un operatore di destinazione per un'entità dati esistente. Per le entità dati di destinazione esistenti, gli attributi di origine e gli eventuali attributi personalizzati provenienti dalle operazioni a monte vengono mappati agli attributi nella destinazione.

È possibile scegliere di utilizzare il mapping automatico o la mappa manuale. Per il mapping automatico, Data Integration può mappare gli attributi in entrata agli attributi di destinazione con lo stesso nome o in base alla loro posizione negli elenchi di attributi. Per la mappa manuale, è possibile trascinare un attributo in entrata dall'elenco di origine a un attributo nell'elenco di destinazione per creare un mapping. In alternativa, è possibile utilizzare la finestra di dialogo Mappa attributo per creare un mapping selezionando un attributo di origine e un attributo di destinazione. È inoltre possibile utilizzare un pattern di attributi di origine e un pattern di attributi di destinazione per creare il mapping.

Quando si seleziona la casella di controllo Crea nuova entità dati in un operatore di destinazione, la scheda Mappa non è disponibile. Integrazione dati utilizza gli attributi di origine in entrata per creare la tabella o la struttura di file con un mapping uno a uno.

Gli strumenti per facilitare la navigazione di un flusso di dati o di una pipeline nell'area di creazione includono:

• Visualizza: fare clic su questo menu per scegliere di aprire o chiudere i pannelli Proprietà, Operatori, Convalida e Parametri.
• Zoom avanti: consente di ingrandire la progettazione.
• Zoom indietro: consente di eseguire lo zoom indietro per visualizzare ulteriori informazioni sulla progettazione.
• Reimposta zoom: consente di tornare alla vista predefinita della progettazione.
• Guida alla griglia: attiva e disattiva le guide della griglia.
• Layout automatico: consente di disporre gli operatori sullo sfondo.
• Elimina: rimuove l'operatore selezionato dall'area di creazione.
• Annulla: rimuove l'ultima azione eseguita.
• Ripeti: esegue l'ultima azione se in precedenza si è fatto clic su Annulla.

Lo sfondo è l'area di lavoro principale in cui si progetta il flusso di dati o la pipeline.

Trascinare gli oggetti dal pannello Operatori nell'area di creazione per iniziare.

Iniziare con uno sfondo vuoto per un flusso di dati. Affinché un flusso di dati sia valido, è necessario definire almeno un'origine e una destinazione.

Per una pipeline, si inizia con uno sfondo con un operatore iniziale e un operatore finale. La progettazione della pipeline deve includere almeno un operatore task per essere valido.

Per collegare due operatori, passare il puntatore del mouse su un operatore fino a visualizzare il connettore (piccolo cerchio) sul lato destro dell'operatore. Trascinare quindi il connettore sull'operatore a cui si desidera connettersi. Una connessione è valida quando una linea connette gli operatori dopo l'eliminazione del connettore.

Per inserire un operatore tra due operatori connessi, fare clic con il pulsante destro del mouse sulla linea di connessione e utilizzare il menu Inserisci.

Per eliminare una connessione, è possibile fare clic con il pulsante destro del mouse su una riga e selezionare Elimina.

Per duplicare un operatore di origine, destinazione o espressione, fare clic con il pulsante destro del mouse sull'icona dell'operatore e selezionare Duplica.

Il pannello Operatori visualizza gli operatori che è possibile aggiungere a un flusso di dati o a una pipeline.

Trascinare gli operatori dal pannello Operatori nell'area di creazione per progettare il flusso di dati o la pipeline. Ciascun operatore dispone di un set diverso di proprietà configurate utilizzando il pannello Properties.

Per un flusso di dati, è possibile aggiungere input, output e modellare gli operatori.

Per una pipeline, aggiungere operatori di input, output e task per creare una sequenza.

Il pannello Proprietà consente di configurare il flusso di dati o la pipeline e i relativi operatori.

Utilizzare la scheda Convalida per convalidare l'intero flusso di dati o l'intera pipeline.

Nella scheda Parametri è possibile visualizzare tutti i parametri definiti a livello di flusso di dati o pipeline, inclusi i parametri generati dal sistema. Per i parametri definiti dall'utente, è possibile eliminare i parametri e, se applicabile, modificare i valori predefiniti dei parametri.

Per un flusso di dati, dopo aver aggiunto un operatore nell'area di creazione, selezionare l'operatore e utilizzare il pannello Proprietà per configurare l'operatore. È possibile effettuare le seguenti operazioni.

• Specificare i dettagli dell'operatore, ad esempio l'identificativo, e configurare le impostazioni specifiche dell'operatore nella scheda Dettagli.
• Visualizzare gli attributi dell'operatore in entrata e in uscita nella scheda Attributi.
• Mappare gli attributi in entrata agli attributi nell'entità dati di destinazione per un operatore di destinazione nella scheda Mappa.
• Visualizzare un'anteprima di un campionamento dei dati nella scheda Dati.
• Convalidare la configurazione dell'operatore nella scheda Convalida.

Analogamente per una pipeline, dopo aver aggiunto un operatore nell'area di creazione, selezionare l'operatore e utilizzare il pannello Proprietà per configurare l'operatore. È possibile effettuare le seguenti operazioni.

• Specificare un nome per l'operatore nella scheda Dettagli. Per un operatore di unione, specificare una condizione di unione. Per un operatore di espressione, aggiungere una o più espressioni. Per gli operatori di task, selezionare un task da associare all'operatore e specificare quando il task viene eseguito in base allo stato di esecuzione dell'operatore a monte.

  Per tutti gli operatori di task, è possibile selezionare task in fase di progettazione da progetti nell'area di lavoro corrente e task pubblicati da qualsiasi applicazione nell'area di lavoro corrente. Con i task REST pubblicati e i task di OCI Data Flow, è inoltre possibile selezionare un task da qualsiasi applicazione in un'altra area di lavoro nello stesso compartimento o in un altro compartimento.

• Se applicabile, specificare le opzioni di esecuzione dei task nella scheda Configurazione.
• Se applicabile, configurare i parametri in entrata nella scheda Configurazione.
• Visualizzare gli output nella scheda Output, che può essere utilizzata come input per l'operatore successivo nella pipeline.
• Se applicabile, convalidare la configurazione dell'operatore nella scheda Convalida.

Il pannello Parametri visualizza i parametri utilizzati in un flusso di dati o in una pipeline.

È inoltre possibile eliminare un parametro dal pannello Parametri.

È possibile visualizzare tutti i messaggi di errore e di avvertenza per un flusso di dati o una pipeline nel pannello Convalida globale.

Nella barra degli strumenti dello sfondo fare clic su Convalida per controllare ed eseguire il debug del flusso di dati prima di utilizzare il flusso di dati in un task di integrazione. Analogamente, controllare ed eseguire il debug della pipeline prima di utilizzarla in un task della pipeline. Viene visualizzato il pannello Convalida globale che visualizza i messaggi di errore e di avvertenza da risolvere. Se si seleziona un messaggio, viene visualizzato l'operatore che ha generato il messaggio di errore o di avvertenza.