Documentação do Oracle Cloud Infrastructure

Criando uma Tarefa do OCI Data Flow

Uma tarefa do OCI Data Flow no Data Integration está associada a um aplicativo existente criado no OCI Data Flow.

Antes de criar uma tarefa do OCI Data Flow, certifique-se de ter as políticas, a configuração e as informações necessárias para trabalhar com as tarefas do OCI Data Flow no serviço Data Integration, conforme descrito em Políticas e Configuração Obrigatórias.

Criar uma tarefa do OCI Data Flow em um projeto ou pasta O Data Integration inclui um projeto padrão para você começar. Para criar outro projeto ou pasta, consulte Projetos e Pastas.

No Data Integration, por padrão, você pode ter execuções de tarefas simultâneas ou paralelas de uma tarefa em um determinado momento. Para não permitir execuções de tarefas simultâneas iniciadas manualmente, marque a caixa de seleção Desativar execução simultânea da tarefa ao criar a tarefa. Quando execuções de tarefas simultâneas não são permitidas, uma solicitação de execução para a tarefa falha se já houver uma execução de tarefa em andamento que esteja em um estado não terminal.

Observação

Considerações de uso de forma flexível:

  • Quando você usa uma forma flexível (como VM.Standard.E4.Flex) para o nó do driver, o nó do executor ou ambos, personalize o número de OCPUs e a quantidade de memória necessária.

  • Uma forma flexível fornece uma faixa específica de valores de OCPUs que você pode usar para essa forma.

  • O número de OCPUs que você usa para uma forma determina a faixa de valores de memória que você pode alocar.

  • Se você parametrizar a forma do driver ou do executor, OCPUs e memória deverão ser configuradas para a forma. Os valores de OCPUs e memória são usados somente quando o valor do parâmetro de forma é uma forma flexível. Os valores de OCPUs e memória serão ignorados se uma forma não flexível for configurada no parâmetro.

    1. Na página Tarefas do projeto ou da pasta em que você deseja criar uma tarefa, selecione Criar tarefa e, em seguida, selecione OCI Data Flow. Se precisar de ajuda para localizar a página Tarefas em um projeto ou pasta, consulte Listando Tarefas.
    2. Na página Criar tarefa do OCI Data Flow, digite um nome e uma descrição opcional.

      O identificador é um valor gerado pelo sistema com base no nome. Você pode alterar o valor, mas depois de criar e salvar a tarefa, não será possível atualizar o identificador.

    3. Marque a caixa de seleção Desativar execução simultânea da tarefa se quiser não permitir execuções simultâneas desta tarefa.
    4. (Opcional) Para Projeto ou pasta, clique em Selecionar e selecione outro projeto ou pasta na qual salvar a tarefa.
    5. Para salvar a tarefa pela primeira vez, selecione um dos seguintes botões:

      • Criar: Cria e salva a tarefa. Você pode continuar a criar e editar a tarefa.

      • Criar e fechar: Cria e salva a tarefa, fecha a página e retorna você à lista de tarefas na página de detalhes do projeto ou da pasta.

    6. Salve periodicamente enquanto trabalha selecionando um dos seguintes botões:

      • Salvar: Confirma alterações desde o último salvamento. Você pode continuar editando depois de salvar.

      • Salvar e fechar: Confirma alterações, fecha a página e retorna você à lista de tarefas na página de detalhes do projeto ou da pasta.

      • Salvar como: Confirma as alterações (desde o último salvamento) e salva em uma cópia em vez de substituir a tarefa atual. Você pode fornecer um nome para a cópia e selecionar outro projeto ou pasta para a cópia ou salvar a cópia no mesmo projeto ou pasta da tarefa existente.

    7. Na seção Aplicativo OCI Data Flow, clique em Selecionar e selecione o aplicativo OCI Data Flow que essa tarefa executa seguindo estas etapas:
      1. Na página Selecionar um aplicativo do OCI Data Flow, selecione o compartimento que contém o aplicativo que você deseja associar à tarefa.
      2. Na lista Applications, selecione o aplicativo.
      3. Clique em Selecionar.

        Você retornará à página Criar tarefa do OCI Data Flow.

    8. Na seção Configurar propriedades, selecione Configurar para configurar as propriedades do aplicativo selecionado.

      A página Configuração é exibida.

      1. (Opcional) Na seção Parâmetros escalares, crie os parâmetros escalares que você deseja usar para especificar argumentos no campo de propriedade Argumentos.

        • Selecione Adicionar parâmetros escalares para criar um parâmetro escalar. No painel exibido, insira um nome, uma descrição opcional e selecione um tipo de dados na lista de tipos suportados. Dependendo do tipo de dados selecionado, pode haver outros campos a serem preenchidos. Por exemplo, um tipo VARCHAR inclui o campo Comprimento.

          Defina um valor padrão para esse parâmetro escalar e selecione Adicionar. O painel é fechado e a página Configuração completa é exibida novamente.

          Depois que um parâmetro escalar é criado, somente o valor padrão pode ser alterado no design time ou runtime.

        • Selecione Exibir parâmetros escalares para ver uma lista dos parâmetros escalares que já foram criados e estão disponíveis para uso nesta tarefa. No painel que aparece, anote o nome do parâmetro escalar que você deseja usar.
      2. Especifique os valores das propriedades a seguir diretamente ou parametrize as propriedades (com valores padrão). Se você não configurar explicitamente as propriedades dos aplicativos nesta etapa, os valores padrão definidos no aplicativo OCI Data Flow serão usados.

        • Forma do driver: Selecione o tipo de nó do cluster a ser usado para o host do driver Spark.

          Se uma forma flexível for selecionada, selecione o número de OCPUs e a quantidade de memória que pode ser alocada para a forma selecionada. Os valores aceitáveis para OCPUs dependem da forma selecionada. Os valores aceitáveis para memória dependem do valor de OCPUs selecionado.

        • Forma do executor: Selecione o tipo de nó do cluster a ser usado para cada host do executor do Spark.

          Se uma forma flexível for selecionada, selecione o número de OCPUs e a quantidade de memória que pode ser alocada para a forma selecionada. Os valores aceitáveis para OCPUs dependem da forma selecionada. Os valores aceitáveis para memória dependem do valor de OCPUs selecionado.

        • Número de executores: Digite o número de nós de cluster do executor do Spark a serem iniciados quando o aplicativo OCI Data Flow for executado.

        • Argumentos: Digite uma lista separada por vírgulas dos argumentos a serem especificados para a classe principal do aplicativo Java, Python ou Scala.

          Para usar um parâmetro escalar no campo, digite a sintaxe ${PARAMETER_NAME} de um parâmetro ou uma lista separada por vírgulas se adicionar mais de um parâmetro. Por exemplo: ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          Você não poderá parametrizar a propriedade Argumentos se ela usar parâmetros escalares para valores de argumentos parametrizados. Para parametrizar a propriedade, remova os parâmetros escalares no campo.

      3. Para designar parâmetros aos valores de propriedade:

        1. Selecione Designar parâmetro ao lado de uma propriedade.

          Se você parametrizar a forma do driver ou do executor, OCPUs e memória deverão ser configuradas para a forma. Os valores de OCPUs e memória são usados somente quando o valor do parâmetro de forma é uma forma flexível. Os valores de OCPUs e memória serão ignorados se uma forma não flexível for configurada no parâmetro.

          Observação

          Você não poderá parametrizar a propriedade Argumentos se ela usar parâmetros escalares. Para parametrizar a propriedade, remova ${PARAMETER_NAME} no campo e, em seguida, selecione Designar parâmetro.

        2. Na página Designar parâmetros, execute uma das seguintes ações:

          • Selecione um parâmetro na lista. Somente parâmetros do mesmo tipo de propriedade aparecem na lista para seleção.
          • Selecione Adicionar parâmetro. No painel Adicionar parâmetro, informe um nome (identificador) e uma descrição opcional. Em seguida, dependendo do tipo de propriedade, selecione o valor padrão ou informe o valor padrão da propriedade e selecione Adicionar. O parâmetro adicionado é selecionado automaticamente na página Designar parâmetros.

        3. Selecione Atribuir.

          Se você parametrizar as OCPUs e os valores de memória para uma forma flexível, o Data Integration exibirá uma mensagem de erro quando você especificar um valor que não esteja na faixa aceitável de valores para essa propriedade. Edite o parâmetro e informe um dos valores aceitáveis.

      4. (Opcional) Para propriedades de configuração do Spark, adicione um par de chaves para uma propriedade. Selecione Outra propriedade se precisar adicionar mais pares de chaves.

        As propriedades de configuração do Spark que você pode adicionar podem depender da versão do Spark do aplicativo OCI Data Flow selecionado. Consulte Propriedades do Spark Suportadas.

      5. Quando terminar de configurar as propriedades do aplicativo OCI Data Flow e as propriedades do Spark, selecione Concluído.

        Você retornará à página Criar tarefa do OCI Data Flow.

        Na seção Configurar propriedades, o número de parâmetros designado a você é mostrado entre parênteses ao lado de Exibir parâmetros.

    9. (Opcional) Selecione Exibir parâmetros para revisar os parâmetros designados, editar um valor de parâmetro padrão ou excluir um parâmetro.

      Na página Exibir parâmetros, edite um valor padrão ou exclua um parâmetro usando o menu Ações (Menu Ações) do parâmetro. Quando você exclui um parâmetro, o valor designado a ele se torna o valor padrão dessa propriedade.

    10. (Opcional) Na seção Validar tarefa, selecione Validar para verificar as configurações de propriedade.
    11. Quando terminar de configurar a tarefa, selecione Criar e fechar ou Salvar e Fechar.
    Publique a tarefa do OCI Data Flow em um aplicativo no Data Integration antes de executar a tarefa ou programá-la para execução. Para publicar informações, consulte Publicando em um Aplicativo Data Integration.

  • Use o comando OCI data-integration task create-task-from-dataflow-task e os parâmetros necessários para criar uma tarefa do OCI Data Flow:

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Para obter uma lista completa de flags e opções de variáveis para comandos da CLI, consulte a Referência de Linha de Comando.

  • Execute a operação CreateTask com o subtipo de recurso apropriado para criar uma tarefa do OCI Data Flow.