Configurar um Fluxo de Dados para Processamento Incremental

Aplique o processamento incremental num fluxo de dados para carregar apenas registos novos ou atualizados a partir de uma base de dados.

A aplicação do processamento incremental num fluxo de dados permite-lhe carregar apenas novos dados em vez de efetuar um carregamento completo de cada vez, o que é ineficiente e dispendioso. Por outras palavras, cada vez que carrega dados utilizando um fluxo de dados, só processa os novos dados que foram acrescentados desde a última execução.
Antes de começar, crie uma ligação a uma das bases de dados suportadas, por exemplo, Oracle, Oracle Autonomous AI Lakehouse, Apache Hive, Hortonworks Hive ou Map R Hive. Em seguida, configure um indicador de novos dados para essa base de dados. Consulte Especificar um Indicador de Novos Dados para uma Origem de Dados.
  1. Crie ou abra o fluxo de dados no qual pretende aplicar o processamento incremental.
  2. No editor do Fluxo de Dados, selecione o passo Gravar Dados para apresentar o painel editor de Passos.
  3. No campo Conjunto de Dados, especifique o nome do conjunto de dados de entrada especificado no passo Acrescentar Dados.
  4. Na opção Gravar dados para, selecione Ligação da Base de Dados.
  5. Clique em Selecionar Ligação e selecione uma ligação para uma das bases de dados de destino suportadas.
  6. No campo Tabela, especifique o nome da tabela de destino em que está a escrever.
  7. Na opção Durante a execução, selecione Acrescentar novos dados aos dados existentes.
  8. Clique em Gravar.