Documentação do Oracle Cloud Infrastructure

Criando uma Tarefa de Pipeline

Crie uma tarefa de pipeline em um projeto ou pasta no Data Integration. Uma tarefa de pipeline permite configurar valores de parâmetro que você deseja usar no runtime em um pipeline do Data Integration.

O Data Integration inclui um projeto padrão para você começar. Para criar outros projetos ou pastas, consulte Projetos e Pastas.

Uma tarefa de pipeline em um projeto ou pasta pode fazer referência a um pipeline de qualquer projeto ou pasta no mesmo espaço de trabalho.

No Data Integration, por padrão, você pode ter execuções de tarefas simultâneas ou paralelas de uma tarefa em um determinado momento. Para não permitir execuções de tarefas simultâneas iniciadas manualmente, marque a caixa de seleção Desativar execução simultânea da tarefa ao criar a tarefa. Quando execuções de tarefas simultâneas não são permitidas, uma solicitação de execução para a tarefa falha se já houver uma execução de tarefa em andamento que esteja em um estado não terminal.

Ao configurar parâmetros de tarefas configuradas para execução no serviço OCI Data Flow, use o seguinte formato se estiver editando os valores de parâmetro padrão para OCI_DF_LOG_BUCKET e OCI_DF_ARTIFACT_BUCKET: oci://<bucket-name>@<tenancy-name>

    1. Na página Tarefas do projeto ou pasta em que você deseja criar uma tarefa, selecione Criar tarefa e, em seguida, Pipeline. Se precisar de ajuda para localizar a página Tarefas em um projeto ou pasta, consulte Listando Tarefas.
    2. Na página Criar tarefa de pipeline, digite as seguintes informações básicas:
      1. Nos campos Nome e Identificador, informe os valores desejados ou permita que o Data Integration preencha os valores automaticamente, com base no nome do pipeline selecionado para essa tarefa (na próxima etapa).

        Se você quiser que o Data Integration preencha os campos automaticamente, não altere nem informe valores antes de selecionar um pipeline. Você pode alterar os valores depois que os campos forem preenchidos com valores baseados no nome do pipeline selecionado.

        Em ambos os casos, o identificador é um valor gerado pelo sistema com base no nome. Você pode alterar o valor, mas depois de criar e salvar a tarefa, não será possível atualizar o identificador.

      2. (Opcional) Digite uma descrição para a tarefa.
      3. Marque a caixa de seleção Desativar execução simultânea da tarefa se quiser não permitir execuções simultâneas desta tarefa.
      4. (Opcional) Para Projeto ou pasta, clique em Selecionar e selecione outro projeto ou pasta na qual salvar a tarefa.
    3. Na seção Pipeline, clique em Selecionar e selecione o pipeline que essa tarefa executa seguindo estas etapas:
      1. No painel Selecionar um pipeline, execute uma das seguintes ações:
        • Selecione um pipeline salvo no projeto ou na pasta em que você está trabalhando no momento.
        • Para selecionar um pipeline salvo em outro projeto ou pasta, clique em Selecionar ao lado do nome do projeto ou da pasta atual. No painel Selecionar projeto ou pasta exibido, selecione o projeto ou a pasta e, em seguida, selecione o pipeline na nova lista de pipelines disponíveis.
      2. Clique em Selecionar.

        O Data Integration começa a validar o pipeline selecionado e você retorna à página Criar tarefa de pipeline.

        Se houver erros ou advertências no pipeline, selecione o nome do pipeline para abri-lo em uma nova guia. Resolva os erros ou avisos e salve o pipeline. Quando você navega de volta para a página Criar tarefa de pipeline, o Data Integration valida automaticamente o pipeline novamente.

    4. Para salvar a tarefa pela primeira vez, selecione um dos seguintes botões:

      • Criar: Cria e salva a tarefa. Você pode continuar a criar e editar a tarefa.

      • Criar e fechar: Cria e salva a tarefa, fecha a página e retorna você à lista de tarefas na página de detalhes do projeto ou da pasta.

    5. Salve periodicamente enquanto trabalha selecionando um dos seguintes botões:

      • Salvar: Confirma alterações desde o último salvamento. Você pode continuar editando depois de salvar.

      • Salvar e fechar: Confirma alterações, fecha a página e retorna você à lista de tarefas na página de detalhes do projeto ou da pasta.

      • Salvar como: Confirma alterações (desde o último salvamento) e salva em uma cópia em vez de substituir a tarefa atual. Você pode fornecer um nome para a cópia e selecionar outro projeto ou pasta para a cópia ou salvar a cópia no mesmo projeto ou pasta da tarefa existente.

    6. (Opcional) Se os parâmetros forem designados no pipeline selecionado, exiba e altere os valores de parâmetro padrão seguindo estas etapas:
      1. Na seção Configurar parâmetros, selecione Configurar.
      2. Na página Configurar parâmetros, altere os valores padrão conforme necessário.

        Considere as seguintes restrições ao editar os valores padrão:

        • Para propriedades de execução parametrizadas em tarefas configuradas para execução no serviço OCI Data Flow, use o seguinte formato se estiver editando os valores de parâmetro padrão para OCI_DF_LOG_BUCKET e OCI_DF_ARTIFACT_BUCKET: oci://<bucket-name>@<tenancy-name>

        • Se a estratégia de extração incremental de uma origem BICC estiver configurada para usar uma data gerenciada pelo parâmetro do sistema Data Integration SYS.LAST_LOAD_DATE, você não terá permissão para alterar o valor da data durante o design time.

        • Se a estratégia de extração incremental de uma origem BICC estiver configurada para usar uma data de extração mais recente parametrizada adicionada, você poderá alterar o valor da data durante o design time e o runtime.

        • Se uma entidade de dados de destino parametrizada estiver configurada para usar a estratégia Mesclar, você poderá alterar a seleção de chave Mesclar.

        • Para um ativo de dados parametrizado que requer um local de preparação: Se você selecionar um ativo de dados que não tenha um local de preparação padrão especificado nesse ativo de dados, o Data Integration exibirá uma notificação de advertência. Quando você vir a notificação, escolha uma das seguintes opções:
          • Atualize esse ativo de dados adicionando um local de preparação padrão.
          • Escolha um ativo de dados diferente que tenha um local de preparação padrão.

        • Para uma tarefa parametrizada do OCI Data Flow:

          • Com uma forma de driver ou executor parametrizada, as OCPUs e os valores de memória serão ignorados se uma forma não flexível for configurada no parâmetro. Os valores de OCPUs e memória são usados somente quando você configura uma forma flexível como o valor do parâmetro.

          • Com OCPUs parametrizadas e valores de memória para uma forma flexível, certifique-se de especificar um valor que esteja na faixa aceitável de valores para essa propriedade. Os valores aceitáveis para OCPUs dependem da forma flexível. Os valores aceitáveis para memória dependem do valor de OCPUs.

      3. Selecione Configurar ou Cancelar.
        Você retornará à página Criar tarefa de pipeline.
    7. (Opcional) Na seção Validar tarefa, selecione Validar para verificar as configurações de parâmetro.

      Se houver erros ou avisos, selecione Exibir mensagens. Resolva os erros antes de publicar a tarefa.

    8. Quando terminar de configurar a tarefa, selecione Criar e fechar ou Salvar e fechar.
    Publique a tarefa em um aplicativo no Data Integration antes de executar a tarefa ou programe-a para execução. Para publicar informações, consulte Publicando em um Aplicativo Data Integration.

  • Use o comando oci data-integration task create-pipeline-task e os parâmetros necessários para criar uma tarefa de pipeline:

    oci data-integration task create-pipeline-task [OPTIONS]

    Para obter uma lista completa de flags e opções de variáveis para comandos da CLI, consulte a Referência de Linha de Comando.

  • Execute a operação CreateTask com o subtipo de recurso apropriado para criar uma tarefa de pipeline.