Exportação Especializada de Dados

Várias considerações de desempenho são chamadas ao exportar os dados de uma entidade de alto volume ou de uma entidade atualizada em frequência extremamente alta. O método generalizado não se encaixa nessas entidades e um processo batch específico é projetado para cada uma, com o objetivo de alcançar um método de exportação ideal para a entidade. A execução inicial do processo exporta os dados existentes da entidade enquanto execuções subsequentes do mesmo processo exporta os dados de forma incremental, ou seja, ele exporta registros que foram adicionados ou atualizados desde a execução anterior com base em um campo de timestamp. O processo geral é ilustrado no seguinte diagrama:

O aplicativo é representado no lado esquerdo do diagrama. O elemento principal dentro dele é o banco de dados, que contém a Entidade para Exportação, que é conectada por meio de duas setas ao Processo em Batch Específico da Entidade de Exportação de Dados. Uma das setas que vão do banco de dados para a caixa de batch lê Obter dados via SQL em massa, e a outra diz Filtragem incremental com base no carimbo de data/hora. No lado direito do diagrama, há a seção Armazenamento de Objetos do Cliente, que contém os arquivos CSV aos quais o processo em batch específico está conectado.

As seções a seguir descrevem ainda conceitos e diretrizes relacionados ao método de exportação de dados especializados.

Um Processo Específico para Cada Entidade

Um objeto de manutenção projetado para ser exportado usando o método especializado é explicitamente marcado como tal pela opção Classe de Exportação de Dados e seu processo batch específico é definido usando a opção Exportar Controle Batch.

Todos os processos em lote especializados foram projetados para exportar os dados em um formato CSV, pois produz arquivos menores em tamanho em comparação com formatos mais verbosos. Consulte cada processo em lote para obter mais informações sobre considerações e parâmetros de exportação específicos.

Ativando a Exportação de Dados

Para ativar a exportação de dados para um objeto de manutenção, um tipo especializado de registro do Controle de Exportação de Dados precisa ser criado. O registro serve como uma indicação de que essa entidade deve ser exportada e controla a data e a hora em que os dados foram exportados até o momento, permitindo que a execução de exportação subsequente só exporte alterações incrementais.

Exportação de Dados Incrementais

O método de exportação especializado rastreia alterações incrementalmente da execução de exportação anterior e não usa um mecanismo de captura de dados de alteração. Portanto, ele depende de um campo de registro de hora e data na tabela principal do objeto de manutenção para indicar quando os dados foram adicionados ou alterados. Somente entidades que foram adicionadas ou alteradas desde a execução de exportação anterior são exportadas com cada execução subsequente. A data e a hora em que os dados foram exportados são registrados para cada objeto de manutenção em seu registro de Controle de Exportação de Dados correspondente.

Ordem de Arquivos de Consumo

Arquivos de exportação de dados especializados devem ser consumidos em números de execução para garantir uma utilização consistente e cronológica dos dados.