Exportação de Dados de Medição
A exportação de dados do objeto de manutenção Medição é suportada por meio da exportação "Especializada". Consulte Exportação de Dados Especializados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre exportação de dados especializados.
O objeto de manutenção Medição é configurado para oferecer suporte à exportação de dados por meio das seguintes opções:
Tipo de Opção |
Valor da Opção |
---|---|
Classe de Exportação de Dados |
F1SE (Especializado) |
Controle de Batch de Exportação |
D1-SMDEC (Extração Atual de Dados de Medição Especializada) |
Extração Inicial vs Atual vs Histórica
Há três tipos de extrações usados com o objeto de manutenção Medição:
- Extrações Iniciais reúnem uma extração inicial de dados de medição, controlada pelo fornecimento de uma data/hora inicial e final das medições que devem ser extraídas. Esse processo deve ser usado para executar a extração inicial dos dados de medição antes de usar as extrações históricas diárias e atuais diárias.
- Extrações Diárias Atuais reúnem dados de medição para medições nos últimos 30 dias que foram adicionados ou alterados. Essa extração é baseada nos campos Data/Hora da Medição e Data/Hora da Última Atualização na tabela de Medição, bem como no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados (veja abaixo) para incluir apenas alterações desde a última extração.
-
Extrações Históricas Diárias reúnem dados de medição para medições com mais de 30 dias que foram adicionadas ou alteradas. Para evitar ter que digitalizar toda a tabela de Medição, esta extração é baseada na Captura de Dados de Alteração. Durante o processamento de dados de medição inicial, se uma medição inicial tiver medições com mais de 30 dias, um registro Alterar Captura de Dados será criado na tabela Processo Geral. A ativação da captura de dados de alterações históricas requer a configuração dos seguintes parâmetros de algoritmo:
- Capturar Alterações de Medição Históricas: verdadeiro
- Controle em lote de Extração de Dados de Medição Histórica: D1-SMDEH (Histórico de Extração de Dados de Medição Especializada)
Esses parâmetros devem ser configurados conforme descrito nos seguintes algoritmos:- Atualizar Data/Hora da Última Medição no MC com Sincronização de Consumo (D1-UPD-DTMC)
- Atualizar Data/Hora da Última Medição no MC Escalar com Sincronização de Consumo (D1-UDTSCMCRE)
- Atualizar Data/Hora Mais Recente no MC a partir de uma Medição Futura (D1-UPD-DTMCF)
- Atualizar Data/Horário Mais Recente no Componente de Medição Escalar (D1-UPDDTSCMC)
- Derivar novamente outros valores (D1-REDEROVAL)
Registros de Controle de Exportação de Dados
A exportação de dados do objeto de manutenção Medição requer um registro de Controle de Exportação de Dados. Este registro designa que o objeto de manutenção Medição deve ser exportado e rastreia a data e a hora até o momento em que os dados foram exportados, permitindo que os processos de exportação subsequentes exportem apenas alterações incrementais.
Consulte Definindo o Controle de Exportação de Dados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre a criação de registros de Controle de Exportação de Dados.
Controles de Batch
A exportação de dados e a criação de arquivos de exportação são executadas pelos seguintes controles em lote:
- Extração Inicial de Medida Especializada (D1-SMDIE): usada para extração inicial de dados de medição. Ao contrário da extração atual, este batch é controlado diretamente pelo fornecimento de uma data/hora inicial e final das medições que devem ser extraídas. Esse processo deve ser usado para executar a extração inicial dos dados de medição antes de usar a extração atual (D1-SMDEC) e a extração histórica (D1-SMDEH). Para obter um melhor desempenho, é recomendável dividir o período de extração inicial em vários períodos menores e usar vários threads para cada período. A extração recuperará todas as medições com uma data/hora de medição posterior à data/hora inicial de entrada anterior ou igual à data/hora final de entrada.
- Extração de Dados de Medição Especializada Atual (D1-SMDEC): Usada para extrações diárias de dados de medição atuais (novos). Esse processo extrai dados alterados desde a execução do último processo de extração (com base no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados. Esse processo atualiza o campo Data/Hora Final da Exportação no início do processamento em batch para eliminar a possibilidade de não definir uma medida inicial como histórica pela Captura de Dados de Alteração durante a janela de processamento.
- Histórico de Extração de Dados de Medição Especializada (D1-SMDEH): Usado para extrações diárias de dados históricos de medição. Esse processo é executado nos registros Alterar Dados de Captura na tabela Processo Geral.
O processamento em lote é submetido a thread no ID do Componente de Medição e cria um ou mais arquivos com base no número de threads processados e nos parâmetros de controle batch.
Criação e Nomeação de Arquivo
O processo de extração usa dois controles para determinar o número de arquivos a serem criados:
- Cada thread criará pelo menos 1 arquivo (mais threads resultam em arquivos menores).
- O parâmetro Limite de Tamanho do Arquivo pode ser usado para especificar o número de linhas de medida a serem incluídas em qualquer arquivo fornecido. Isso pode resultar em um único thread produzindo vários arquivos.
Os dados em cada arquivo não são ordenados, cada thread recuperará dados de medição para um conjunto de IDs de Componente de Medição, mas além disso, não haverá controle sobre como os dados são carregados no arquivo.
Nomeação de Arquivo
Como cada thread pode produzir vários arquivos e o número de arquivos por thread não pode ser previsto, os nomes de arquivo também incluirão um indicador para o primeiro arquivo em uma thread e o último arquivo em uma thread.
- MSRMT_EXPORT_<parâmetro de lote do prefixo de arquivo>_ <número do lote>_ <número do thread de lote>_ <contagem total de threads>_ <indicador de arquivo de thread>_ <data e hora do processo>.csv.gz
onde:
- <parâmetro de lote de prefixo de arquivo> é um prefixo de arquivo opcional definido usando o parâmetro de controle de lote Prefixo de Nome de Arquivo
- <número do lote> é o número do lote do processo
- <número do thread do lote> é o número do thread que criou o arquivo
- <contagem total de threads> é o número total de threads
- <indicador de arquivo de thread>: é identificado para o primeiro e último arquivos criados por um thread, S para o primeiro arquivo E para o último arquivo
- <data/hora do processo>é a data e hora em que o arquivo foi criado, no formato YYYYMMDDhhmmss (AAAA = ano, MM = mês, DD = dia, hh = hora, mm = minuto, ss = segundo)
Exemplos: Para o número de lote 135, que compreende 10 threads:
- Primeiro arquivo de 3o de 10 threads: MSRMT_EXPORT_PREFIX_135_ 3_ 10_ S_20191104173233.csv.gz
- Todos os arquivos antes do último arquivo de 3o de 10 threads: MSRMT_EXPORT_PREFIX_135_ 3_ 10_ 20191104173233.csv.gz
- Último arquivo de 3o de 10 threads: MSRMT_EXPORT_PREFIX_135_ 3_ 10_ E_20191104173233.csv.gz
Formato de Arquivo
Aplicabilidade |
||||||
---|---|---|---|---|---|---|
Campo |
Tipo de Dados |
Conteúdo de Amostra |
Descrição |
Intervalo |
Escalar |
Intervalo Subtrativo |
MEASR_COMP_ID |
CHAR(12) |
000004769213 |
Chave Primária do Canal do Medidor (também conhecido como Dispositivo) |
X |
X |
X |
MSRMT_DTTM |
DATE |
2019-01-01T00:00:00Z |
Fim do período que a medição cobre. Por exemplo, se este fosse um intervalo por hora, ele abrangeria 2018-12-31T23:00:00Z a 2019-01-01T00:00:00Z. |
X |
X |
X |
PREV_MSRMT_DTTM |
DATE |
2018-12-31T00:00:00Z |
Para medições escalares, isso identifica o início do período que está sendo medido. Observação: deve haver outra medida para o mesmo MC com esta data do MSRMT_DTTM. |
X |
||
MSRMT_COND_FLG |
CHAR(6) |
501000 |
Define a qualidade da medida (e.g. estimada, regular, super). Valores válidos definidos em F1_ EXTENDABLE_LOOKUP_VAL para BUS_OBJ_CD D1-MeasurementConditionLookup. |
X |
X |
X |
MSRMT_USE_FLG |
CHAR(4) |
D101 |
Indica se a medida é utilizável. Valores válidos definidos em CI_LOOKUP. |
X |
||
USER_EDITED_FLG |
CHAR(4) |
D1UE |
Indica se o usuário editou a medida. Valores válidos definidos em CI_LOOKUP. |
X |
X |
X |
READING_VAL |
NUMBER(16,6) |
750000000 |
Essa é a Leitura do Discador usada para calcular o valor consumido. |
X |
X |
|
READING_COND_FLG |
CHAR(6) |
501000 |
Define a qualidade da Leitura Diária (por exemplo, estimada, regular, super). Valores válidos definidos em F1_ EXTENDABLE_LOOKUP_VAL para BUS_OBJ_CD D1-MeasurementConditionLookup. |
X |
||
COMBINED_MULTIPLIER |
NUMBER(18,6) |
1 |
Contém o produto do Multiplicador do Componente de Medição e a Constante de Instalação. O MSRMT_VAL será multiplicado por esse número. |
X |
X |
X |
MSRMT_VAL |
NUMBER(16,6) |
1,23 |
Este é o consumo informado do medidor após passar pelo VEE (também conhecido como faturamento pronto). |
X |
X |
X |
MSRMT_VAL1 |
NUMBER(16,6) |
Este e os valores de medição subsequentes (MSRMT_VAL 1 a 10) são valores derivados calculados a partir do núcleo MSMRT_VAL. Exemplos disso são conversão de UM (CCF para THERM) ou ajuste de perda. |
X |
X |
X |
|
MSRMT_VAL2 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL3 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL4 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL5 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL6 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL7 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL8 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL9 |
NUMBER(16,6) |
X |
X |
X |
||
MSRMT_VAL10 |
NUMBER(16,6) |
X |
X |
X |
||
CRE_DTTM |
DATE |
2019-10-31T11:09:31Z |
Quando o registro foi criado. |
X |
X |
X |
LAST_UPDATE_DTTM |
DATE |
2019-11-09T16:35:02Z |
Quando o registro foi atualizado pela última vez. |
X |
X |
X |
Arquivo de Amostra
Veja a seguir um arquivo de exportação de amostra para intervalo de dados que abrange uma janela de seis horas. Observe que isso não inclui rótulos ou cabeçalhos de coluna, mas os dados estão na mesma ordem das descrições de coluna acima na seção Formato de Arquivo acima.
000004769213,2019-01-01T08:00:00Z,,501000,,,,,1,1.3715,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T09:00:00Z,,501000,,,,,1,1.882,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T10:00:00Z,,501000,,,,,1,1.838,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T11:00:00Z,,501000,,,,,1,1.8585,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T12:00:00Z,,501000,,,,,1,1.836,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T13:00:00Z,,501000,,,,,1,1.83,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000671510494,2019-01-01T08:00:00Z,,501000,,,,,1,0.486,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T09:00:00Z,,501000,,,,,1,0.4965,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T10:00:00Z,,501000,,,,,1,0.45,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T11:00:00Z,,501000,,,,,1,0.4725,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T12:00:00Z,,501000,,,,,1,0.4575,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T13:00:00Z,,501000,,,,,1,0.447,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
020643301975,2019-01-01T08:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T09:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T10:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T11:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T12:00:00Z,,501000,,,,,1,0.0165,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T13:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z