Uso dei parametri di flusso dati
In Data Integration, i tipi di parametri che è possibile utilizzare nei flussi di dati sono definiti dall'utente o generati dal sistema.
Data Integration genera i parametri di sistema in fase di esecuzione, ad esempio SYS.TASK_START_TIME. I valori dei parametri di sistema possono essere utilizzati nelle espressioni per registrare le informazioni di sistema. Al momento, è possibile utilizzare i parametri generati dal sistema solo con l'operatore di espressione.
I parametri definiti dall'utente offrono la flessibilità di utilizzare i task con diverse configurazioni di origini, destinazioni e trasformazioni in fase di progettazione e runtime. Per utilizzare i parametri, iniziare creando parametri per gli operatori in un flusso di dati. Ad esempio, durante la progettazione di un flusso di dati, è possibile utilizzare la scheda Dettagli del pannello Proprietà di un operatore per aggiungere e assegnare parametri per i seguenti tipi di risorsa:
- Asset dati (origine e destinazione)
- Connessione (origine e destinazione)
- Schema o bucket (origine e destinazione)
- Entità dati (origine e destinazione)
- Condizione (filtro, join, lookup, split)
Con un'entità dati, invece di parametrizzare l'intero nome dell'entità, è possibile includere uno o più parametri nel nome dell'entità dati. Vedere Informazioni sui parametri nei nomi delle entità dati.
Per gli operatori di flusso dati che utilizzano espressioni nella configurazione, ad esempio gli operatori di espressione e aggregazione, nonché gli operatori filtro, join, lookup e split, è possibile utilizzare i parametri nelle espressioni (noti anche come parametri scalari). Vedere Informazioni sui parametri di espressione.
Quando si utilizzano parametri definiti dall'utente e parametri di espressione in un flusso di dati, è necessario specificare i valori predefiniti per i parametri. Quindi, quando si crea un task di integrazione per il flusso dati con parametri, è possibile modificare uno o più di questi valori predefiniti nella pagina Configura parametri oppure modificare i valori in runtime. Se non si modifica un parametro durante la fase di progettazione o in fase di esecuzione, quando si esegue il task viene utilizzato il valore predefinito impostato nel flusso di dati.
È inoltre possibile assegnare parametri alle risorse in task quali SQL, OCI Data Flow e REST. Per utilizzare i parametri per le risorse di origine e di destinazione in un task di Data Loader, vedere Utilizzo dei parametri per l'origine e la destinazione.
Quando si aggiunge un task con parametri a una pipeline, è possibile riconfigurare uno qualsiasi dei valori dei parametri in entrata definiti a livello di task o a livello di flusso dati associato. È inoltre possibile riconfigurare i valori dei parametri dell'espressione. Vedere Utilizzo dei parametri nelle pipeline.
Considerazioni per l'uso dei parametri
L'uso dei parametri impedisce che le risorse e i valori di integrazione dei dati vengano associati in modo permanente a un task di integrazione. Se non si assegnano i parametri, le risorse e i valori scelti vengono utilizzati ogni volta che si esegue il task. I parametri offrono la flessibilità di riutilizzare una progettazione del flusso di dati con risorse e valori di integrazione dati diversi. Per modificare i valori in fase di progettazione, utilizzare il pannello Parametri o la pagina Configura parametri quando si configura il flusso di dati in un task di integrazione.
Sebbene i parametri siano progettati per offrire flessibilità quando si esegue il flusso di dati in un task di integrazione, possono diventare rapidamente complessi e confusi. Ad esempio, quando si aggiunge un operatore di origine a un flusso di dati, si selezionano l'asset dati, la connessione, lo schema e quindi l'entità dati che funge da origine dei dati del flusso di dati. Questi quattro valori sono i valori predefiniti dell'operatore. È possibile assegnare parametri per ciascuno di questi valori. Se si assegnano i parametri, è necessario prestare particolare attenzione ai valori assegnati.
Si supponga di assegnare parametri all'entità dati e ai valori degli asset dati, ma non ai valori di connessione o schema, quindi si rischia di incorrere in errori quando si modifica un valore di parametro. Ad esempio, se si modifica il valore dell'asset dati, il nuovo asset dati potrebbe non avere gli stessi valori di connessione, schema o entità dati impostati in origine. Integrazione dati viene visualizzato un avviso quando si modifica un valore, ma è necessario rivedere le relazioni personalmente e assicurarsi che il flusso di dati funzioni ancora con i valori modificati. Durante la progettazione del flusso di dati, all'interno di un task di integrazione e durante l'esecuzione del task, tenere presente i valori dei parametri ovunque.
I parametri sono locali per il flusso di dati per il quale vengono aggiunti, pertanto non è possibile condividere o riutilizzare i parametri nei flussi di dati.
Tenere presente anche i casi in cui si aggiunge un parametro per una nuova entità dati di destinazione. Le nuove entità dati sono senza forma, il che significa che non contengono ancora attributi. Per evitare errori in fase di progettazione o runtime, fare attenzione a riutilizzare i parametri assegnati per i nuovi oggetti. Ad esempio, non assegnare il parametro il cui valore predefinito è una nuova entità dati di destinazione a un'entità dati di origine o a un'entità dati di destinazione esistente.
Informazioni sui parametri dell'espressione
I parametri nelle espressioni consentono di riutilizzare espressioni con valori diversi in fase di progettazione o runtime.
Quando si configurano operatori che utilizzano espressioni, è possibile aggiungere parametri alle espressioni a livello di flusso di dati. I parametri di espressione (noti anche come parametri scalari) sono applicabili agli operatori di filtro, join, lookup, split, espressione e aggregazione. A seconda dell'operatore, è possibile utilizzare il Builder delle espressioni o la Costruzione guidata condizione per aggiungere parametri di espressione.
I parametri di espressione aggiunti a un operatore vengono salvati nel flusso di dati e sono disponibili per altri operatori applicabili all'interno del flusso di dati.
Un parametro di espressione ha un nome e un valore predefinito ed è associato a un tipo di dati. Sono supportati i tipi seguenti:
NUMERICVARCHARDATEDATETIMEDECIMALDOUBLEFLOATINTEGERTIMESTAMPTINYINTBOOLEANLONGSTRING
Dopo aver creato un parametro di espressione, non è possibile modificare il nome o il tipo o qualsiasi altra proprietà che il parametro potrebbe avere a seconda del tipo. È possibile modificare solo il valore predefinito. È possibile modificare il valore predefinito in fase di progettazione e runtime.
Si consideri, ad esempio, l'espressione seguente per un filtro di condizione in un flusso di dati:
FILTER_1.COUNTRIES.CITY='Redwood Shores'Anziché specificare un valore esplicito per CITY, è possibile utilizzare un parametro nell'espressione. Si supponga di creare un parametro di espressione VARCHAR, ad esempio P_VARCHAR, e di impostare il valore predefinito su Redwood Shores. È quindi possibile modificare il filtro delle condizioni per utilizzare il parametro di espressione:
FILTER_1.COUNTRIES.CITY=$P_VARCHARIn fase di progettazione, è possibile modificare il valore predefinito di P_VARCHAR quando si crea un task di integrazione che utilizza tale flusso di dati. In fase di esecuzione, è possibile utilizzare il valore predefinito impostato nel task di integrazione oppure modificare il valore.
Tutti i parametri di espressione aggiunti a un flusso di dati sono disponibili nel pannello Parametri.
Informazioni sui parametri di sistema
Un parametro di sistema ha un nome e un tipo. È possibile associare il valore di un parametro di sistema, ma non modificarlo.
Quando si aggiunge un'espressione a un operatore di espressione in un flusso di dati, utilizzare la scheda Parametri nel Builder delle espressioni per visualizzare la lista dei parametri di sistema. È possibile utilizzare i parametri di sistema nelle espressioni per registrare le informazioni di sistema.
La tabella seguente mostra i parametri di sistema utilizzabili.
| Nome | Digita | descrizione; |
|---|---|---|
| SYS.TASK_START_TIME | INDICATORE ORARIO | Ora inizio task in UTC. |
| SYS.TASK_RUN_KEY |
OCID |
Identificativo interno dell'esecuzione del task. |
| SYS.TASK_RUN_NAME |
STRING |
Nome dell'esecuzione del task. |
| SYS.TASK_SCHEDULE_TRIGGER_TIME | INDICATORE ORARIO | L'ora di trigger per la pianificazione (per un'esecuzione di task avviata da una pianificazione). L'ora schedulata potrebbe essere diversa dall'ora di inizio del task. |
| SYS.TASK_SCHEDULE_TIMEZONE | STRING | Il fuso orario corrispondente all'ora pianificata, che rappresenta l'ora del fuso orario definita nella pianificazione del task. |
| SYS.RETRY_ATTEMPT | INTEGER | Numero di tentativi di esecuzione di un task configurato per i nuovi tentativi quando un'esecuzione non riesce. |
Nota: un valore OCID è STRING.
Informazioni sui parametri nei nomi delle entità dati
Quando si configura un operatore di origine o di destinazione in un flusso di dati, è possibile includere uno o più parametri nel nome dell'entità dati utilizzando la sintassi ${PARAMETER_NAME}.
Il nome di un parametro fa distinzione tra maiuscole e minuscole e ogni parametro utilizzato deve avere un valore predefinito.
Ad esempio, CUSTOMERS_${COUNTRY} potrebbe restituire la tabella di database CUSTOMERS_USA e BANK_${COUNTRY}/* potrebbe restituire i file di storage degli oggetti in BANK_EU.
Per utilizzare i parametri nei nomi delle entità dati, è possibile aggiungere il parametro al flusso dati prima di aggiungere l'operatore dati. È inoltre possibile aggiungere il parametro al momento della configurazione dell'entità dati per l'operatore.
-
Per aggiungere parametri a un flusso di dati, nel flusso di dati selezionare Parametri dal menu Visualizza nella barra degli strumenti dello sfondo per aprire il pannello Parametri.
Nel pannello Parametri fare clic su Config, quindi su Aggiungi.
Nel pannello Aggiungi parametro, configurare un parametro del tipo di dati appropriato, ad esempio VARCHAR o NUMERIC, quindi aggiungere un valore predefinito.
-
Per aggiungere un parametro al momento della configurazione dell'entità dati, nel pannello Sfoglia entità dati effettuare le operazioni riportate di seguito.
-
Nel menu Altre azioni selezionare Aggiungi parametro flusso dati.
-
Nel campo di ricerca, iniziare a digitare
${seguito da qualsiasi carattere. Se la parte anteriore del nome del parametro corrisponde ai parametri esistenti nel flusso di dati, viene visualizzato un elenco di nomi suggeriti. Per selezionare un parametro dall'elenco, fare clic sul nome del parametro, completare la sintassi aggiungendo}, quindi premere Invio. -
Nel campo della ricerca immettere il nome del parametro. Se il nome del parametro non esiste ancora nel flusso di dati e si fa clic su Invio, Integrazione dati visualizza il pannello Aggiungi parametro flusso di dati. In alternativa, dopo aver immesso il nome del parametro, selezionare Aggiungi parametro del flusso dati dal menu Altre azioni.
Nel pannello Aggiungi parametro flusso dati specificare il tipo di dati, il valore predefinito e altre proprietà per il parametro che si desidera aggiungere e utilizzare.
Solo per lo storage degli oggetti su un operatore di origine: quando si configura l'entità dati su un operatore di origine che utilizza un asset dati di storage degli oggetti, è possibile utilizzare parametri e modelli di file. Nel pannello Sfoglia entità dati per pattern immettere un'espressione utilizzando parametri e pattern per selezionare una o più entità. Ad esempio:
ADDRESSES_${STATE}/* -
Per un'entità dati che include un parametro del flusso dati nel nome, non è possibile associare la risorsa entità a un altro parametro. L'opzione Assign parameter non è disponibile.
Informazioni sul pannello Parametri
Il pannello Parametri di un flusso di dati mostra i parametri definiti nell'intero flusso di dati.
Utilizzare il pannello Parametri per visualizzare:
- Tutti i parametri creati per asset dati, connessioni, schemi o bucket e le entità dati utilizzate nel flusso di dati.
- Tutti i parametri creati per gli operatori di modellazione, ad esempio filtro, join e lookup.
- Tutti i parametri di espressione creati per gli operatori di espressione e aggregazione e gli operatori di forma quali filtro, join, lookup e split.
- Tutti i parametri del flusso dati creati per i nomi delle entità dati in un flusso dati.
Per accedere al pannello Parametri quando il flusso di dati viene aperto nello sfondo del designer, selezionare Parametri dal menu Visualizza nella barra degli strumenti dello sfondo.
Il pannello Parametri contiene due schede, Visualizza e Configurazione. In una delle due schede è possibile cercare l'elenco immettendo il nome completo di un parametro.
Nella scheda Visualizza è possibile:
- Vedere i parametri creati nel flusso di dati, indipendentemente dal fatto che un parametro sia assegnato a un oggetto. Quando viene visualizzato un valore accanto a Utilizzato in, viene assegnato un parametro.
- Comprimere ed espandere i dettagli di ciascun parametro.
- Fare clic sul collegamento Utilizzato in per un parametro assegnato. L'operatore che fa riferimento a tale parametro viene messo a fuoco sullo sfondo e nel pannello Proprietà (scheda Dettagli).
Nella scheda Configurazione è possibile effettuare le operazioni riportate di seguito.
- Aggiungere i parametri dell'espressione e i parametri del flusso di dati. Fare clic su Aggiungi, quindi utilizzare il pannello Aggiungi parametro visualizzato per definire il parametro.
- Modificare il valore predefinito di un parametro. Nel menu Azioni (
) del parametro, selezionare Modifica per utilizzare il pannello Modifica parametro per modificare il valore. - Eliminare uno o più parametri. Vedere Eliminazione di un parametro.
Aggiunta di un parametro
È possibile aggiungere e definire i parametri sugli operatori associati alle origini dati in un flusso di dati.
Un parametro in un flusso di dati può essere riutilizzato per rappresentare il valore predefinito per un'altra risorsa dello stesso tipo all'interno dello stesso flusso di dati.
La modalità di definizione di un parametro dipende dal tipo di risorsa a cui si sta aggiungendo il parametro. Per tutti i tipi di parametro, fornire un nome e una descrizione facoltativa e impostare un valore predefinito per il parametro. Non è possibile modificare il nome e la descrizione dopo la creazione del parametro.
La procedura riportata di seguito non si applica all'aggiunta di parametri in espressioni e condizioni. Vedere Aggiunta di un parametro di espressione. Per aggiungere parametri di sistema all'operatore di espressione, vedere Aggiunta e configurazione di un operatore di espressione.
Per aggiungere un parametro a un flusso di dati:
Visualizzazione dei parametri definiti dal sistema e dall'utente
È possibile visualizzare i parametri di sistema disponibili in un flusso di dati in runtime e i parametri definiti dall'utente creati.
Per i parametri definiti dall'utente, la lista include parametri assegnati e non utilizzati a livello di flusso dati per asset dati, connessioni, schemi o bucket e entità dati. Per i parametri assegnati, è possibile vedere dove viene utilizzato il parametro nel flusso di dati.
L'elenco definito dall'utente include anche parametri di espressione usati e non utilizzati. I parametri dell'espressione sono parametri aggiunti a livello di flusso dati mediante il Generatore condizioni (operatori filtro, join, lookup e split) o il Generatore espressioni (operatori espressione e aggregazione).
Utilizzare la scheda Parametri nel pannello Proprietà del flusso di dati per visualizzare i parametri definiti dall'utente e dal sistema.
Assegnazione di un parametro
È possibile assegnare parametri a tipi di risorse diversi, ad esempio entità dati negli operatori di origine e destinazione e condizioni negli operatori di filtro, join e lookup.
In un flusso di dati è possibile effettuare una selezione tra i parametri esistenti oppure aggiungere e assegnare un parametro.
Per assegnare i parametri si utilizza la scheda Dettagli del pannello Proprietà di un operatore di flusso dati. La procedura riportata di seguito può essere utilizzata per assegnare parametri agli operatori di origine, destinazione, filtro, join e lookup.
Per assegnare un parametro per un operatore in un flusso di dati:
Modifica di un parametro
È possibile modificare il valore predefinito di un parametro assegnato nel flusso di dati in cui viene utilizzato il parametro.
È inoltre possibile modificare il valore del parametro quando si crea un task di integrazione utilizzando il flusso dati o quando si esegue il task. Nella procedura riportata di seguito viene descritto come modificare un valore di parametro durante la progettazione del flusso dati.
La procedura riportata di seguito non si applica alla modifica dei parametri dell'espressione nelle espressioni o nelle condizioni.
Per modificare un parametro assegnato:
Quando si modifica il parametro per un asset dati, una connessione, uno schema o una risorsa entità dati, assicurarsi di mantenere le relazioni corrette tra i valori. Ad esempio, se si modifica il valore dello schema, verificare che il nuovo valore dello schema contenga l'entità dati selezionata in origine. Se il valore modificato non contiene l'entità dati originale, si rischia di incorrere in errori con il flusso dati in runtime. Integrazione dei dati viene visualizzato un avviso relativo a potenziali problemi, ma l'utente è responsabile dell'impostazione dei valori appropriati per i parametri.
Rimozione di un parametro
La rimozione di un parametro da un operatore rimuove solo l'associazione dell'operatore al parametro.
Il parametro non viene eliminato dal flusso dati quando si rimuove un parametro. È comunque possibile utilizzare il parametro per un altro operatore dello stesso tipo di risorsa.
Quando si rimuove un parametro, il valore assegnato al parametro diventa il valore predefinito dell'operatore.
La procedura riportata di seguito non si applica alla rimozione o all'eliminazione dei parametri di espressione da espressioni o condizioni.
Per rimuovere un parametro assegnato:
- Nell'area di creazione di un flusso di dati, selezionare l'operatore di cui si desidera rimuovere il parametro.
- Nella scheda Dettagli del pannello Proprietà, per il tipo di risorsa parametro che si desidera rimuovere, fare clic su Rimuovi parametro.
- Nella finestra di dialogo Rimuovi parametro, esaminare l'elenco degli operatori interessati dalla rimozione di questo parametro, quindi fare clic su Rimuovi.
Eliminazione di un parametro
Quando si elimina un parametro da un flusso di dati, il parametro non è più disponibile per l'uso nel flusso di dati.
Se il parametro eliminato è associato a un operatore nel flusso di dati, il valore assegnato al parametro diventa il valore predefinito dell'operatore.
Per eliminare un parametro:
Aggiunta di un parametro di espressione
Utilizzare il Builder delle espressioni o il Builder delle condizioni per aggiungere parametri di espressione in un flusso di dati.
Un parametro di espressione ha un nome, un tipo e un valore predefinito. Dopo la creazione del parametro è possibile modificare solo il valore predefinito.
Per aggiungere un parametro di espressione:
- A seconda dell'operatore selezionato, effettuare una delle operazioni riportate di seguito.
- Per un'espressione o un operatore di aggregazione, fare clic su Aggiungi espressione o selezionare Modifica nel menu Azioni () per un'espressione esistente.
- Per un operatore di filtro, join o lookup, fare clic su Crea o Modifica.
- Per un operatore diviso, fare clic su Aggiungi o Modifica nel menu Azioni () per una condizione esistente.
- Per un'espressione o un operatore di aggregazione, fare clic su Aggiungi espressione o selezionare Modifica nel menu Azioni (
Modifica di un parametro di espressione
È possibile modificare solo i valori predefiniti dei parametri dell'espressione. Non è possibile modificare il nome, il tipo o altre proprietà specifiche del tipo di un parametro di espressione.
Per modificare i valori predefiniti, è possibile utilizzare il pannello Parametri o la scheda Parametri nel pannello Proprietà del flusso di dati.
La procedura riportata di seguito utilizza la scheda Parametri nel pannello Proprietà del flusso di dati.
-
Nella riga del parametro dell'espressione che si desidera modificare, selezionare Modifica dal menu Azioni ().