Documentação do Oracle Cloud Infrastructure

Criando uma Tarefa de Integração

Crie uma tarefa de integração em um projeto ou pasta no Data Integration. Uma tarefa de integração permite que você obtenha um fluxo de dados do Data Integration e configure os valores de parâmetro que deseja usar no runtime.

O Data Integration inclui um projeto padrão para você começar. Para criar seu próprio projeto ou pasta, consulte Projetos e Pastas. Uma tarefa de integração em um projeto ou pasta pode fazer referência a um fluxo de dados de qualquer projeto ou pasta no mesmo espaço de trabalho.

No Data Integration, por padrão, você pode ter execuções de tarefas simultâneas ou paralelas de uma tarefa em um determinado momento. Para não permitir execuções de tarefas simultâneas iniciadas manualmente, marque a caixa de seleção Desativar execução simultânea da tarefa ao criar a tarefa. Quando execuções de tarefas simultâneas não são permitidas, uma solicitação de execução para a tarefa falha se já houver uma execução de tarefa em andamento que esteja em um estado não terminal.

Para atualizar a configuração de execução de uma tarefa para usar o serviço OCI Data Flow, certifique-se de que você já tenha criado os recursos de pré-requisito, como buckets do Object Storage e pools do Data Flow, conforme descrito em Configuração e Políticas Obrigatórias para que o Serviço OCI Data Flow Execute Tarefas.

    1. Na página Tarefas do projeto ou da pasta em que você deseja criar uma tarefa, selecione Criar tarefa e, em seguida, Integração. Se precisar de ajuda para localizar a página Tarefas em um projeto ou pasta, consulte Listando Tarefas.
    2. Na página Criar tarefa de integração, digite as seguintes informações básicas:
      1. Nos campos Nome e Identificador, informe os valores desejados ou permita que o Data Integration preencha os valores automaticamente, com base no nome do fluxo de dados selecionado para essa tarefa (na próxima etapa).

        Se você quiser que o Data Integration preencha os campos automaticamente, não altere nem informe valores antes de selecionar um fluxo de dados. Você pode alterar os valores depois que os campos forem preenchidos com valores baseados no nome do fluxo de dados selecionado.

        Em ambos os casos, o identificador é um valor gerado pelo sistema com base no nome. Você pode alterar o valor, mas depois de criar e salvar a tarefa, não será possível atualizar o identificador.

      2. (Opcional) Digite uma descrição para a tarefa.
      3. Marque a caixa de seleção Desativar execução simultânea da tarefa se quiser não permitir execuções simultâneas desta tarefa.
      4. (Opcional) Para Projeto ou pasta, clique em Selecionar e selecione outro projeto ou pasta para salvar a tarefa.
    3. Na seção Fluxo de dados, clique em Selecionar e selecione o fluxo de dados que essa tarefa executa seguindo estas etapas:
      1. No painel Selecionar um fluxo de dados, execute uma das seguintes ações:
        • Selecione um fluxo de dados salvo no projeto ou na pasta em que você está trabalhando no momento.
        • Para selecionar um fluxo de dados salvo em outro projeto ou pasta, clique em Selecionar ao lado do nome do projeto ou da pasta atual. No painel Selecionar projeto ou pasta exibido, selecione o projeto ou a pasta e clique em Selecionar. Em seguida, selecione o fluxo de dados na lista de fluxos de dados disponíveis.
      2. Clique em Selecionar.

        O Data Integration começa a validar o fluxo de dados selecionado e você retorna à página Criar tarefa de integração.

        Se houver erros ou avisos no fluxo, selecione o nome do fluxo para abri-lo em uma nova guia. Resolva os erros ou avisos e salve o fluxo de dados. Quando você navega de volta para a página Criar tarefa de integração, o Data Integration valida automaticamente o fluxo de dados novamente.

    4. Para salvar a tarefa pela primeira vez, selecione um dos seguintes botões:

      • Criar: Cria e salva a tarefa. Você pode continuar a criar e editar a tarefa.

      • Criar e fechar: Cria e salva a tarefa, fecha a página e retorna você à lista de tarefas na página de detalhes do projeto ou da pasta.

    5. Salve periodicamente enquanto trabalha selecionando um dos seguintes botões:

      • Salvar: Confirma alterações desde o último salvamento. Você pode continuar editando depois de salvar.

      • Salvar e fechar: Confirma alterações, fecha a página e retorna você à lista de tarefas na página de detalhes do projeto ou da pasta.

      • Salvar como: Confirma alterações (desde o último salvamento) e salva em uma cópia em vez de substituir a tarefa atual. Você pode fornecer um nome para a cópia e selecionar outro projeto ou pasta para a cópia ou salvar a cópia no mesmo projeto ou pasta da tarefa existente.

    6. Na seção Executar configuração, execute um dos seguintes procedimentos:

      • Por padrão, todas as tarefas criadas no Data Integration são configuradas para execução no serviço OCI Data Integration, conforme indicado pelo label Serviço de execução de tarefas: serviço OCI Data Integration. Não é necessária configuração adicional. Continue até a etapa 10.

      • Para executar essa tarefa no serviço OCI Data Flow, selecione Editar.

        Observação

        Certifique-se de que você já tenha criado os recursos e as políticas necessários para usar o serviço OCI Data Flow. Consulte Configuração e Políticas Obrigatórias do Serviço OCI Data Flow para Executar Tarefas.

        Se você tiver atendido aos pré-requisitos, prossiga para a etapa 9 para atualizar a configuração de execução da tarefa e, opcionalmente, use parâmetros para as propriedades de execução.

    7. Na página Atualizar configuração de execução da tarefa, selecione serviço OCI Data Flow. Em seguida, conclua as seleções a seguir para atualizar ou parametrizar as propriedades de execução do OCI Data Flow.

      Essas etapas só deverão ser executadas depois que você tiver satisfeito as tarefas de pré-requisito, conforme descrito em Configuração e Políticas Obrigatórias para que o Serviço OCI Data Flow Execute Tarefas.

      1. Selecione o pool no OCI Data Flow para executar esta tarefa.
      2. (Opcional) Selecione o ponto final privado no OCI Data Flow.
      3. Para Caminho do bucket de log, selecione o bucket do Object Storage a ser usado para logs de execução do aplicativo OCI Data Flow.

        Se esta for a primeira vez que você estiver editando a configuração de execução do serviço OCI Data Flow da tarefa, e o bucket dis-df-system-bucket já existir no Object Storage, o Data Integration selecionará automaticamente esse bucket, conforme indicado por oci://dis-df-system-bucket@<tenancy-name> no campo de seleção.

      4. Para Caminho do bucket de artefatos, selecione o bucket do Object Storage a ser usado para artefatos de job de execução do Data Integration, como arquivos jar e zip.

        Se esta for a primeira vez que você estiver editando a configuração de execução do serviço OCI Data Flow da tarefa, e o bucket dis-df-system-bucket já existir no Object Storage, o Data Integration selecionará automaticamente esse bucket, conforme indicado por oci://dis-df-system-bucket@<tenancy-name> no campo de seleção.

      5. (Opcional) Para Compartimento do aplicativo, selecione o compartimento do aplicativo OCI Data Flow que é criado quando as tarefas do serviço Data Integration são executadas no serviço Data Flow.

        Se um compartimento de aplicativo não for especificado, o compartimento de aplicativo Data Integration será usado.

      6. Informe o número mínimo de colaboradores (ou executores) a serem usados para jobs do OCI Data Flow.

        O padrão é 1. Se o valor de Número máximo de colaboradores também for 1, a alocação dinâmica para jobs do OCI Data Flow não será usada.

      7. Informe o número máximo de colaboradores (ou executores) a serem usados para jobs do OCI Data Flow.

        O padrão é 1, o que indica que a alocação dinâmica não é usada. Se você quiser usar alocação dinâmica para jobs do OCI Data Flow, especifique um valor maior. Esse valor deve ser maior ou igual ao valor de Número mínimo de colaboradores.

      8. (Opcional) Para Propriedades de configuração do OCI Data Flow Spark, digite uma ou mais propriedades do Spark a serem usadas para a execução da tarefa.

        Uma propriedade Spark é um par de chave/valor. Selecione Outra propriedade para adicionar mais pares de chave/valor, conforme necessário.

        Para obter as propriedades de configuração do Spark que você pode adicionar, consulte Propriedades do Spark Suportadas.

      9. (Opcional) Depois de configurar qualquer propriedade de execução de tarefa (etapas 9a a 9h), selecione Parameterizar que esteja abaixo do valor de propriedade configurado para designar um parâmetro a essa propriedade.

        Ao parametrizar, o Data Integration adiciona um parâmetro do tipo String e define o valor de parâmetro padrão para o valor atualmente configurado para essa propriedade. O label Parametrizado seguido de um nome de parâmetro é exibido. Por exemplo: Parametrizado: OCI_DF_POOL

        Os nomes dos parâmetros são:

        Propriedade de execução da tarefa Nome do parâmetro
        Piscina OCI_DF_POOL
        Ponto final privado OCI_DF_PRIVATE_ENDPOINT
        Caminho do bucket de log OCI_DF_LOG_BUCKET
        Caminho do bucket de artefato OCI_DF_ARTIFACT_BUCKET
        Compartimento do aplicativo OCI_DF_APP_COMPARTMENT
        Número mínimo de colaboradores OCI_DF_MIN_WORKERS
        Número máximo de colaboradores OCI_DF_MAX_WORKERS
        Configuração personalizada do OCI Data Flow OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        As ações de um parâmetro são:

        • Selecione Editar para adicionar ou editar uma descrição de parâmetro. Não é possível editar o nome e o tipo do parâmetro. Uma descrição de parâmetro, se adicionada, é exibida como uma dica no painel para alterar os valores de parâmetro no design time ou runtime.
        • Selecione Remover se não quiser mais que uma propriedade seja parametrizada.
      10. Selecione Salvar.
    8. (Opcional) Se os parâmetros forem designados no fluxo de dados selecionado, exiba e altere os valores de parâmetro padrão seguindo estas etapas:
      1. Na seção Configurar parâmetros, selecione Configurar.
      2. Na página Configurar parâmetros, altere os valores padrão conforme necessário.

        Considere as seguintes restrições ao editar os valores padrão:

        • Se a estratégia de extração incremental de uma origem BICC estiver configurada para usar uma data gerenciada pelo parâmetro do sistema Data Integration SYS.LAST_LOAD_DATE, você não terá permissão para alterar o valor da data durante o design time.

        • Se a estratégia de extração incremental de uma origem BICC estiver configurada para usar uma data de extração mais recente parametrizada adicionada, você poderá alterar o valor da data durante o design time e o runtime.

        • Se uma entidade de dados de destino parametrizada estiver configurada para usar a estratégia Mesclar, você poderá alterar a seleção de chave Mesclar.

        • Para um ativo de dados parametrizado que requer um local de preparação: Se você selecionar um ativo de dados que não tenha um local de preparação padrão especificado nesse ativo de dados, o Data Integration exibirá uma notificação de advertência. Quando você vir a notificação, escolha uma das seguintes opções:
          • Atualize esse ativo de dados adicionando um local de preparação padrão.
          • Escolha um ativo de dados diferente que tenha um local de preparação padrão.

      3. Selecione Configurar ou Cancelar.
        Você retornará à página Criar tarefa de integração.
    9. (Opcional) Na seção Validar tarefa, selecione Validar para verificar as configurações de parâmetro.

      Se houver erros ou avisos, selecione Exibir mensagens. Resolva os erros antes de publicar a tarefa.

    10. Quando terminar de configurar a tarefa, selecione Criar e fechar ou Salvar e fechar.
    Publique a tarefa de integração em um aplicativo no Data Integration antes de executar a tarefa ou programá-la para execução. Você também pode publicar a tarefa de integração no OCI Data Flow, se aplicável. Para obter informações sobre publicação, consulte Publicação de Tarefas.

  • Use o comando oci data-integration task create-integration-task e os parâmetros necessários para criar uma tarefa de integração:

    oci data-integration task create-integration-task [OPTIONS]

    Para obter uma lista completa de flags e opções de variáveis para comandos da CLI, consulte a Referência de Linha de Comando.

  • Execute a operação CreateTask com o subtipo de recurso apropriado para criar uma tarefa de integração.