Carregamento de Dados Usando um Adaptador de Arquivo Incremental

O recurso Adaptador de Arquivo Incremental permite comparar um arquivo de dados de origem com uma versão anterior do arquivo de dados de origem e identificar registros novos ou alterados e, em seguida, carregar apenas esse conjunto de dados. Você pode classificar o arquivo de dados de origem inicial antes de fazer a comparação ou fornecer um arquivo pré-classificado para obter melhor desempenho.

Para usar esse recurso, registre um arquivo de dados de origem inicial como um adaptador de arquivo incremental. O arquivo de dados de origem inicial é usado como o modelo. Os carregamentos de dados reais são executados do arquivo designado na regra de dados em que uma comparação de arquivos é executada entre o arquivo de dados de origem inicial e um arquivo subsequente. Você pode carregar uma vez, duas vezes ou mais vezes depois disso. O arquivo da última execução se torna a base em relação a qual a carga subsequente é avaliada. O adaptador carrega apenas as diferenças, o que agiliza o carregamento durante a importação do arquivo. Os processos de importação de dados restantes permanecem iguais a de um carregamento de dados padrão para um arquivo.

Considerações:

O arquivo de dados de origem deve ser um arquivo de dados delimitado.
Os arquivos de dados usados devem conter um cabeçalho de uma linha, que descreva as colunas delimitadas.
Tanto os dados numéricos quanto os não numéricos podem ser carregados.
Todos os registros excluídos entre os dois arquivos são ignorados. Nesse caso, você precisa manipular os registros excluídos manualmente.
Se o arquivo estiver ausente (ou você alterar o último ID para uma execução não existente), o carregamento será concluído com erro.
As opções de classificação determinam o nível de desempenho usando esse recurso. A classificação aumenta o tempo de processamento. Pré-classificar o arquivo acelera o processo.
Somente o carregamento de dados de um único período é suportado para um carregamento incremental. Os carregamentos de vários períodos não são suportados.
O drill-down não é suportado para carregamentos incrementais, pois os arquivos incrementais são carregados no modo de Substituição e apenas a última versão da comparação do arquivo está presente na tabela intermediária.

Como uma solução alternativa, é possível carregar o mesmo arquivo de dados em outro local usando o método de carregamento completo de dados. Nesse caso, você deve apenas importar dados, e não exportá-los para o aplicativo de destino.
Cópias do arquivo de dados de origem são arquivadas para comparação futura. Somente as últimas 5 versões são mantidas. Os arquivos são mantidos por 60 dias, no máximo. Se nenhum carregamento incremental for realizado por mais de 60 dias, defina ID do Último Processo para 0 e execute o carregamento.

Assista a este vídeo de tutorial para saber como carregar e calcular dados de força de trabalho incrementais:

Carregamento e Cálculo de Dados Incrementais do Workforce usando o Gerenciamento de Dados.

Assista a este vídeo de tutorial para saber como calcular dados de maneira incremental usando regras Groovy:

Cálculo de Dados Carregados de Maneira Incremental no Data Management usando Regras Groovy.