Informazioni e considerazioni sul supporto quando si utilizzano le pipeline

In Data Integration, una pipeline è una risorsa in fase di progettazione per la creazione di un set di task connessi in una sequenza o in parallelo per facilitare l'elaborazione dei dati. Consente di gestire e orchestrare l'esecuzione di un set di task e attività correlati per un carico di lavoro invece di eseguire i task singolarmente e di gestire i risultati dell'esecuzione separatamente. Queste pipeline non sono progettate per attività a bassa latenza. A volte ogni passo potrebbe subire diversi minuti di ritardo a causa di problemi di rete o cloud. Tra queste fasi ci sono processi di riconciliazione che potrebbero richiedere un minuto o a volte anche di più.

Prima di creare pipeline in Data Integration, assicurati di comprendere gli elementi supportati ed eventuali limitazioni correnti.

• Per impostazione predefinita, un'area di lavoro ha un limite di quattro esecuzioni di task concorrenti. Quando in una pipeline sono presenti più di quattro task, i task di integrazione e i task del programma di caricamento dati vengono accodati in base al limite di quattro esecuzioni concorrenti per ogni area di lavoro predefinita. I task SQL, OCI Data Flow e REST non sono in coda.
• Il limite di quattro esecuzioni concorrenti è tra pipeline in un'area di lavoro; il limite non è solo all'interno di una pipeline.
• Quando si progetta una pipeline, tenere presente che mentre la concorrenza massima supportata è 16, durante l'esecuzione possono essere eseguite solo quattro esecuzioni contemporanee.
• La nidificazione delle pipeline è supportata. La profondità nidificata massima è di tre (3) livelli.
• Una pipeline non può avere più di 100 task a qualsiasi livello.
• In una pipeline, quando i parametri di output di un operatore vengono utilizzati nell'operatore successivo, astenersi dall'utilizzare lo stesso parametro di output più volte in quanto ciò potrebbe determinare un risultato indeterminato.