Aplique o processamento incremental num fluxo de dados para carregar apenas registos novos ou atualizados a partir de uma base de dados.
A aplicação do processamento incremental num fluxo de dados permite-lhe carregar apenas novos dados em vez de efetuar um carregamento completo de cada vez, o que é ineficiente e dispendioso. Por outras palavras, cada vez que carrega dados utilizando um fluxo de dados, só processa os novos dados que foram acrescentados desde a última execução.
Antes de começar, crie uma ligação a uma das bases de dados suportadas, por exemplo, Oracle, Oracle Autonomous Data Warehouse, Apache Hive, Hortonworks Hive ou Map R Hive. Em seguida, configure um indicador de novos dados para essa base de dados. Consulte
Especificar um Indicador de Novos Dados para uma Origem de Dados.
- Crie ou abra o fluxo de dados no qual pretende aplicar o processamento incremental.
- No editor do Fluxo de Dados, selecione o passo Gravar Dados para apresentar o painel editor de Passos.
- No campo Conjunto de Dados, especifique o nome do conjunto de dados de entrada especificado no passo Acrescentar Dados.
- Na opção Gravar dados para, selecione Ligação da Base de Dados.
- Clique em Selecionar Ligação e selecione uma ligação para uma das bases de dados de destino suportadas.
- No campo Tabela, especifique o nome da tabela de destino em que está a escrever.
- Na opção Durante a execução, selecione Acrescentar novos dados aos dados existentes.
- Clique em Gravar.