Exportação de Dados de Medição Agregada

Extração Inicial vs Atual vs Histórica

Há três tipos de extrações usados com o objeto de manutenção Medição Agregada:

• Extrações Iniciais reúnem uma extração inicial de dados de medição agregada, controlada pelo fornecimento de uma data/hora inicial e final das medições que devem ser extraídas. Esse processo deve ser usado para executar a extração inicial dos dados de medição agregada antes de usar as extrações históricas diárias e atuais diárias.

• Extrações Diárias Atuais reúnem dados de medição agregada para medições nos últimos 30 dias que foram adicionados ou alterados. Essa extração é baseada nos campos Data/Hora da Medição e Data/Hora da Última Atualização na tabela de Medição Agregada, bem como no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados (veja a seguir) para incluir apenas alterações desde a última extração.

• Extrações Diárias Históricas reúnem dados de medição agregada para medições anteriores aos últimos 30 dias que foram adicionadas ou alteradas. Para evitar a necessidade de digitalizar toda a tabela Medição Agregada, esta extração é baseada na Captura de Dados de Alteração. Durante o processamento de dados de medição inicial, se uma medição agregada tiver medições com mais de 30 dias, um registro de Captura de Dados de Alteração será criado na tabela Processo Geral.

A ativação da captura de dados de alterações históricas para dados de medição agregada requer a configuração dos seguintes parâmetros de algoritmo:

• Capturar Alterações de Agregação Histórica: verdadeiro

• Controle de Batch Histórico de Agregação: D1-SAMDH (Histórico de Extração de Dados de Medição Agregada Especializada)

Esses parâmetros devem ser configurados conforme descrito nos seguintes algoritmos:

• Criar Registro de Processo Geral para Agregação Dinâmica Histórica (D1CGPHISAGG)

• Criar Registro de Processo Geral para Agregação Estática Histórica (D1CGPHISA)

Registros de Controle de Exportação de Dados

A exportação de dados do objeto de manutenção Medição Agregada requer um registro de Controle de Exportação de Dados. Este registro designa que o objeto de manutenção Medição Agregada deve ser exportado e rastreia a data e a hora até o momento em que os dados foram exportados, permitindo que os processos de exportação subsequentes exportem apenas alterações incrementais.

Consulte Definindo o Controle de Exportação de Dados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre a criação de registros de Controle de Exportação de Dados.

Controles Batch

A exportação de dados e a criação de arquivos de exportação são executadas pelos seguintes controles em lote:

• Medição Inicial Agregada Especializada (D1-SAMDI): usada para extração inicial de dados de medição agregada. Ao contrário da extração atual, este batch é controlado diretamente pelo fornecimento de uma data/hora inicial e final das medições que devem ser extraídas. Este processo deve ser usado para executar a extração inicial dos dados de medição agregada antes de usar a extração atual (D1-SAMDC) e a extração histórica (D1-SAMDH). Para obter um melhor desempenho, é recomendável dividir o período de extração inicial em vários períodos menores e usar vários threads para cada período. A extração recuperará todas as medições agregadas com uma data/hora de medição posterior à data/hora inicial de entrada anterior ou igual à data/hora final de entrada.

• Moeda de Extração de Medição Agregada Especializada (D1-SAMDC): usada para extrações diárias de dados de medição agregada atuais (novos). Este processo extrai dados alterados desde a execução do último processo de extração (com base no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados. Este processo atualiza o campo Data/Hora Final da Exportação no início do processamento em batch para eliminar a possibilidade de não definir uma medida inicial como histórica pela Captura de Dados de Alteração durante a janela de processamento.

• Histórico de Extração de Dados de Medição Agregada Especializada (D1-SAMDH): usado para extrações diárias de dados de medição agregada históricos. Esse processo é executado nos registros Alterar Dados de Captura na tabela Processo Geral

O processamento em lote é submetido a thread no ID do Componente de Medição e cria um ou mais arquivos com base no número de threads processados e nos parâmetros de controle batch.

Criação e Nomeação de Arquivo

O processo de extração usa dois controles para determinar o número de arquivos a serem criados:

1. Cada thread criará pelo menos 1 arquivo (mais threads resultam em arquivos menores).

2. É possível usar o parâmetro Limite de Tamanho do Arquivo para especificar o número de linhas de medição agregada a serem incluídas em qualquer arquivo fornecido. Isso pode resultar em um único thread produzindo vários arquivos.

Os dados em cada arquivo não estão ordenados, cada thread recuperará dados de medição agregada para um conjunto de IDs de Componente de Medição, fora isso não haverá controle sobre como os dados são carregados no arquivo.

Nomeação de Arquivo

Como cada thread pode produzir vários arquivos e o número de arquivos por thread não pode ser previsto, os nomes de arquivo também incluirão um indicador para o primeiro arquivo em uma thread e o último arquivo em uma thread.

• MSRMT_​EXPORT_​<parâmetro de lote do prefixo de arquivo>_ <número do lote>_ <número do thread de lote>_ <contagem total de threads>_ <indicador de arquivo de thread>_ <data e hora do processo>.csv.gz

onde:

• <parâmetro de batch de prefixo de arquivo> é um prefixo de arquivo opcional definido usando o parâmetro de controle de batch Prefixo de Nome de Arquivo

• <número do lote> é o número do lote do processo

• <número do thread do lote> é o número do thread que criou o arquivo

• <contagem total de threads> é o número total de threads

• <indicador de arquivo de thread>: é identificado para o primeiro e último arquivos criados por um thread, S para o primeiro arquivo E para o último arquivo

• <data/hora do processo>é a data e hora em que o arquivo foi criado, no formato YYYYMMDDhhmmss (AAAA = ano, MM = mês, DD = dia, hh = hora, mm = minuto, ss = segundo)

Exemplos: Para o número de lote 135, que compreende 10 threads:

• Primeiro arquivo de 3o de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_ 3_ 10_ S_​20191104173233.csv.gz

• Todos os arquivos antes do último arquivo de 3o de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_ 3_ 10_ 20191104173233.csv.gz

• Último arquivo do terceiro de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_​3_​10_​E_​20191104173233.csv.gz

Formato de Arquivo

O processo de extração produz arquivos CSV (valores separados por vírgulas) com os dados descritos na tabela a seguir. Os nomes de campo na coluna Campo serão incluídos no arquivo de saída como uma linha de cabeçalho se o parâmetro Incluir Cabeçalho nos controles de lote estiver definido como "S".

Arquivo de Amostra

Veja a seguir um arquivo de exportação de amostra para intervalo de dados que abrange uma janela de seis horas. Observe que isso não inclui rótulos ou cabeçalhos de coluna, mas os dados estão na mesma ordem das descrições de coluna acima na seção Formato de Arquivo acima.

000004769213,2019-01-01T08:00:00Z,,501000,,,,,1,1.3715,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T09:00:00Z,,501000,,,,,1,1.882,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T10:00:00Z,,501000,,,,,1,1.838,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T11:00:00Z,,501000,,,,,1,1.8585,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T12:00:00Z,,501000,,,,,1,1.836,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T13:00:00Z,,501000,,,,,1,1.83,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000671510494,2019-01-01T08:00:00Z,,501000,,,,,1,0.486,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T09:00:00Z,,501000,,,,,1,0.4965,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T10:00:00Z,,501000,,,,,1,0.45,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T11:00:00Z,,501000,,,,,1,0.4725,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T12:00:00Z,,501000,,,,,1,0.4575,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T13:00:00Z,,501000,,,,,1,0.447,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
020643301975,2019-01-01T08:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T09:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T10:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T11:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T12:00:00Z,,501000,,,,,1,0.0165,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T13:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z