Informações e Considerações de Suporte ao Usar Pipelines

No Data Integration, um pipeline é um recurso de design-time para criar um conjunto de tarefas conectadas em uma sequência ou em paralelo para facilitar o processamento de dados. Ele permite gerenciar e orquestrar a execução de um conjunto de tarefas e atividades relacionadas para uma carga de trabalho, em vez de executar tarefas individualmente e tratar os resultados da execução separadamente. Esses pipelines não foram projetados para tarefas de baixa latência. Ocasionalmente, cada etapa pode sofrer vários minutos de atraso por causa de problemas de rede ou nuvem. Entre essas etapas, estão os processos de reconciliação que podem levar um minuto ou, às vezes, até mais.

Certifique-se de entender o que é suportado e quaisquer limitações atuais antes de criar pipelines no Data Integration.

• Por padrão, um espaço de trabalho tem um limite de quatro execuções de tarefas simultâneas. Quando você tem mais de quatro tarefas em um pipeline, as tarefas de integração e as tarefas do carregador de dados são enfileiradas com base no limite de quatro execuções simultâneas por espaço de trabalho padrão. As tarefas SQL, OCI Data Flow e REST não estão enfileiradas.
• O limite de quatro execuções simultâneas está entre pipelines em um espaço de trabalho; o limite não está apenas dentro de um pipeline.
• Ao projetar um pipeline, lembre-se de que, embora a simultaneidade máxima suportada seja 16, apenas quatro execuções de tarefas simultâneas podem ocorrer de cada vez durante a execução.
• O aninhamento de pipelines é suportado. A profundidade máxima aninhada é de três (3) níveis.
• Um pipeline não pode ter mais de 100 tarefas em nenhum nível.
• Em um pipeline, quando os parâmetros de saída de um operador são usados no próximo operador, evite usar o mesmo parâmetro de saída várias vezes, pois isso pode resultar em resultado indeterminado.