Usando Operadores de Pipeline
No Data Integration, operadores de pipeline representam diferentes tarefas e atividades que podem ser usadas em um pipeline.
O tipo de operadores de tarefa que você pode usar em um pipeline é:
- Operadores de tarefa de integração e do carregador de dados que permitem executar soluções de integração de dados em um pipeline. Você pode configurar entradas para os operadores. As entradas do operador de tarefa são semelhantes aos parâmetros definidos em um nível de tarefa ou fluxo de dados.
- Operadores de tarefa SQL que permitem executar procedimentos armazenados SQL em um pipeline. Você pode configurar valores para os parâmetros nos procedimentos armazenados.
- Operadores de tarefa do OCI Data Flow que permitem executar aplicativos do OCI Data Flow em um pipeline.
- Operadores de tarefa REST que permitem executar pontos finais de API REST em um pipeline. Você pode reconfigurar os valores de qualquer um dos parâmetros usados na tarefa REST.
- Operadores de tarefa de pipeline que permitem executar outro pipeline dentro de um pipeline.
Certifique-se de revisar Informações e Considerações de Suporte ao Usar Pipelines antes de criar ou editar um pipeline. Por exemplo, preste atenção ao nível de profundidade aninhado e ao limite de tarefas por nível.
Para todos os operadores de tarefa, você pode selecionar tarefas em tempo de design de projetos no espaço de trabalho atual e tarefas publicadas de qualquer Aplicativo no espaço de trabalho atual. Com tarefas REST publicadas e tarefas do OCI Data Flow, você também pode selecionar uma tarefa de qualquer Aplicativo em outro espaço de trabalho no mesmo compartimento ou em outro compartimento.
Para tarefas executadas em paralelo, você pode usar um operador de mesclagem e especificar uma condição para tratar as operações subsequentes de downstream. Para extrair a saída de qualquer operador e transmiti-la ao próximo operador, você pode usar um operador de expressão.
Você usa um designer semelhante ao designer de fluxo de dados para criar um pipeline. O designer é aberto com um operador de início e um operador de fim já colocado na tela para você. Só pode haver um operador de início e um de fim em um pipeline. Um pipeline deve incluir pelo menos um operador de tarefa para ser válido. Você pode adicionar qualquer número de tarefas e conectá-las em sequência entre o operador de início e o operador de fim. No painel Operadores, arraste os operadores para a tela para projetar o pipeline. Em seguida, use o painel Propriedades para configurar as propriedades de cada operador.
As tarefas conectadas diretamente ao operador de início sempre são executadas. As tarefas subsequentes na sequência podem ser configuradas para execução com base na condição do operador anterior. Por exemplo, considere um pipeline que tenha a sequência Iniciar > Tarefa A > Tarefa B > Finalizar. A tarefa A sempre é executada. Para a Tarefa B, você pode usar a propriedade Condição do Link de Entrada no painel Propriedades para configurar a tarefa para ser executada sempre ou apenas quando o status da Tarefa A atender a uma condição de execução específica.
Para conectar operadores, passe o mouse sobre um operador até ver o conector (círculo pequeno) no lado direito do operador. Em seguida, arraste o conector para o próximo operador ao qual você deseja se conectar. Uma conexão é válida quando uma linha conecta os operadores depois que você solta o conector.
Em geral, um operador tem apenas uma porta de entrada e uma ou mais portas de saída para que os processos fluam pelo pipeline. Por exemplo, você pode conectar a mesma porta de saída do operador de tarefa SQL às portas de entrada em dois operadores de expressão distintos. Somente o operador de fim e o operador de mesclagem podem ter várias portas de entrada.
Você pode duplicar rapidamente um operador de tarefa ou expressão que foi adicionado a um pipeline. Para duplicar o operador, clique com o botão direito do mouse no ícone do operador na tela e selecione Duplicar no menu exibido. Em seguida, renomeie o identificador do operador duplicado no painel Propriedades. Se o operador original estiver conectado a outros operadores, as conexões e quaisquer referências às saídas de um operador anterior não serão copiadas para o operador duplicado.
Operador de Início e Operador de Fim
Quando você começa a criar um pipeline, o designer é aberto com um operador de início e um operador de fim já colocado na tela para você. Só pode haver um operador de início e um de fim em um pipeline.
O operador de início não tem qualquer propriedade que você possa configurar.
Com o operador de fim, você pode configurar a propriedade Condição de link de entrada para especificar uma das seguintes regras para o status de uma execução de tarefa de pipeline:
- Tudo concluído: O status da tarefa do pipeline é exibido como Sucesso mesmo quando uma das tarefas no pipeline falha.
- Todos com sucesso: O status da tarefa do pipeline é exibido como Sucesso quando todas as tarefas no pipeline são concluídas com sucesso.
- Todos com falha: O status da tarefa do pipeline é exibido como Falha quando todas as tarefas no pipeline falham.
Operador de Mesclagem
Para tarefas executadas em paralelo, você pode usar o operador de mesclagem e especificar uma condição para decidir como tratar as operações subsequentes de downstream.
Um operador de mesclagem pode ter vários links de entrada (upstream) e vários links de saída (downstream).
Operador de Expressão
Um operador de expressão de pipeline permite criar novos campos derivados em um pipeline, semelhante a um operador de expressão em um fluxo de dados.
Diferentemente de um operador de expressão de fluxo de dados, um operador de expressão de pipeline não opera nos dados. Um operador de expressão de pipeline permite que você opere na saída do operador anterior, dos parâmetros de pipeline e da saída gerados pelo sistema.
Use o Expression Builder para selecionar visualmente elementos para criar uma expressão para um operador de expressão em um pipeline. Você também pode informar uma expressão manualmente no editor.
O Expression Builder é uma seção no painel Adicionar Expressão.
Você poderá excluir expressões quando não precisar mais delas.
- Na tela de um pipeline, selecione um operador de expressão.
- Com o operador da expressão em foco, na guia Detalhes do painel Propriedades, selecione a expressão que deseja excluir e, em seguida, selecione Excluir.
- Na caixa de diálogo Excluir Expressão, verifique se deseja excluir esta expressão e, em seguida, selecione Excluir.
Operador de Decisão
Use o operador de decisão para escrever uma condição Booliana que determina o fluxo de ramificação no pipeline. A ramificação é baseada em três resultados possíveis, a saber, VERDADEIRO, FALSO e ERRO.
Um operador de decisão tem um link de entrada (upstream) e três links de saída (downstream).
Operador de Tarefa do Carregador de Dados
Um operador de tarefa do carregador de dados permite executar uma tarefa do carregador de dados em um pipeline.
Um operador de tarefa do carregador de dados conectado diretamente ao operador inicial sempre é executado.
Para um operador de tarefa não conectado diretamente ao operador de início, você pode usar a propriedade Condição de link de entrada para configurar a tarefa para sempre ser executada ou apenas quando o status do operador anterior atender a uma condição de execução específica.
Operador de Tarefa de Integração
Um operador de tarefa de integração permite executar um fluxo de dados configurado para um contexto específico. O fluxo de dados deve ser finalizado em uma tarefa de integração.
Um operador de tarefa de integração conectado diretamente ao operador de início sempre é executado.
Para um operador de tarefa não conectado diretamente ao operador de início, você pode usar a propriedade Condição de link de entrada para configurar a tarefa para sempre ser executada ou apenas quando o status do operador anterior atender a uma condição de execução específica.
Operador de Tarefa de Pipeline
Um operador de tarefa de pipeline permite que você execute um pipeline dentro de outro pipeline.
Um operador de tarefa de pipeline conectado diretamente ao operador de início sempre é executado.
Para um operador de tarefa não conectado diretamente ao operador de início, você pode usar a propriedade Condição de link de entrada para configurar a tarefa para sempre ser executada ou apenas quando o status do operador anterior atender a uma condição de execução específica.
Operador de Tarefa SQL
Um operador de tarefa SQL permite executar um objeto SQL, como um procedimento armazenado.
Um operador de tarefa SQL conectado diretamente ao operador de início sempre é executado.
Para um operador de tarefa não conectado diretamente ao operador de início, você pode usar a propriedade Condição de link de entrada para configurar a tarefa para sempre ser executada ou apenas quando o status do operador anterior atender a uma condição de execução específica.
Operador de Tarefa do OCI Data Flow
Um operador de tarefa do OCI Data Flow permite que você execute um aplicativo do OCI Data Flow em um pipeline.
Um operador de tarefa conectado diretamente ao operador de início sempre é executado.
Para um operador de tarefa não conectado diretamente ao operador de início, você pode usar a propriedade Condição de link de entrada para configurar a tarefa para sempre ser executada ou apenas quando o status do operador anterior atender a uma condição de execução específica.
Operador de Tarefa REST
Um operador de tarefa REST permite que você execute um ponto final de API REST em um pipeline.
Um operador de tarefa conectado diretamente ao operador de início sempre é executado.
Para um operador de tarefa não conectado diretamente ao operador de início, você pode usar a propriedade Condição de Link de Entrada para configurar a tarefa para ser executada sempre ou apenas quando o status do operador anterior atender a uma condição de execução específica.