Exportação de Dados de Medição

A exportação de dados do objeto de manutenção Medição é suportada por meio da exportação "Especializada". Consulte Exportação de Dados Especializados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre exportação de dados especializados.

O objeto de manutenção Medição é configurado para oferecer suporte à exportação de dados por meio das seguintes opções:

Tipo de Opção

Valor da Opção

Classe de Exportação de Dados

F1SE (Especializado)

Controle de Batch de Exportação

D1-SMDEC (Extração Atual de Dados de Medição Especializada)

Extração Inicial vs Atual vs Histórica

Há três tipos de extrações usados com o objeto de manutenção Medição:

  • Extrações Iniciais reúnem uma extração inicial de dados de medição, controlada pelo fornecimento de uma data/hora inicial e final das medições que devem ser extraídas. Esse processo deve ser usado para executar a extração inicial dos dados de medição antes de usar as extrações históricas diárias e atuais diárias.
  • Extrações Diárias Atuais reúnem dados de medição para medições nos últimos 30 dias que foram adicionados ou alterados. Essa extração é baseada nos campos Data/Hora da Medição e Data/Hora da Última Atualização na tabela de Medição, bem como no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados (veja abaixo) para incluir apenas alterações desde a última extração.
  • Extrações Históricas Diárias reúnem dados de medição para medições com mais de 30 dias que foram adicionadas ou alteradas. Para evitar ter que digitalizar toda a tabela de Medição, esta extração é baseada na Captura de Dados de Alteração. Durante o processamento de dados de medição inicial, se uma medição inicial tiver medições com mais de 30 dias, um registro Alterar Captura de Dados será criado na tabela Processo Geral.
    A ativação da captura de dados de alterações históricas requer a configuração dos seguintes parâmetros de algoritmo:
    • Capturar Alterações de Medição Históricas: verdadeiro
    • Controle em lote de Extração de Dados de Medição Histórica: D1-SMDEH (Histórico de Extração de Dados de Medição Especializada)
    Esses parâmetros devem ser configurados conforme descrito nos seguintes algoritmos:
    • Atualizar Data/Hora da Última Medição no MC com Sincronização de Consumo (D1-UPD-DTMC)
    • Atualizar Data/Hora da Última Medição no MC Escalar com Sincronização de Consumo (D1-UDTSCMCRE)
    • Atualizar Data/Hora Mais Recente no MC a partir de uma Medição Futura (D1-UPD-DTMCF)
    • Atualizar Data/Horário Mais Recente no Componente de Medição Escalar (D1-UPDDTSCMC)
    • Derivar novamente outros valores (D1-REDEROVAL)
Observação: esse uso do Change Data Capture é uma exceção à regra geral descrita na seção Exportação de Dados Especializados do Guia do Usuário Administrativo do Application Framework.

Registros de Controle de Exportação de Dados

A exportação de dados do objeto de manutenção Medição requer um registro de Controle de Exportação de Dados. Este registro designa que o objeto de manutenção Medição deve ser exportado e rastreia a data e a hora até o momento em que os dados foram exportados, permitindo que os processos de exportação subsequentes exportem apenas alterações incrementais.

Consulte Definindo o Controle de Exportação de Dados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre a criação de registros de Controle de Exportação de Dados.

Controles de Batch

A exportação de dados e a criação de arquivos de exportação são executadas pelos seguintes controles em lote: 

  • Extração Inicial de Medida Especializada (D1-SMDIE): usada para extração inicial de dados de medição. Ao contrário da extração atual, este batch é controlado diretamente pelo fornecimento de uma data/hora inicial e final das medições que devem ser extraídas. Esse processo deve ser usado para executar a extração inicial dos dados de medição antes de usar a extração atual (D1-SMDEC) e a extração histórica (D1-SMDEH). Para obter um melhor desempenho, é recomendável dividir o período de extração inicial em vários períodos menores e usar vários threads para cada período. A extração recuperará todas as medições com uma data/hora de medição posterior à data/hora inicial de entrada anterior ou igual à data/hora final de entrada.
  • Extração de Dados de Medição Especializada Atual (D1-SMDEC): Usada para extrações diárias de dados de medição atuais (novos). Esse processo extrai dados alterados desde a execução do último processo de extração (com base no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados. Esse processo atualiza o campo Data/Hora Final da Exportação no início do processamento em batch para eliminar a possibilidade de não definir uma medida inicial como histórica pela Captura de Dados de Alteração durante a janela de processamento.
  • Histórico de Extração de Dados de Medição Especializada (D1-SMDEH): Usado para extrações diárias de dados históricos de medição. Esse processo é executado nos registros Alterar Dados de Captura na tabela Processo Geral.

O processamento em lote é submetido a thread no ID do Componente de Medição e cria um ou mais arquivos com base no número de threads processados e nos parâmetros de controle batch.

Criação e Nomeação de Arquivo

O processo de extração usa dois controles para determinar o número de arquivos a serem criados:

  1. Cada thread criará pelo menos 1 arquivo (mais threads resultam em arquivos menores).
  2. O parâmetro Limite de Tamanho do Arquivo pode ser usado para especificar o número de linhas de medida a serem incluídas em qualquer arquivo fornecido. Isso pode resultar em um único thread produzindo vários arquivos.

Os dados em cada arquivo não são ordenados, cada thread recuperará dados de medição para um conjunto de IDs de Componente de Medição, mas além disso, não haverá controle sobre como os dados são carregados no arquivo. 

Nomeação de Arquivo

Como cada thread pode produzir vários arquivos e o número de arquivos por thread não pode ser previsto, os nomes de arquivo também incluirão um indicador para o primeiro arquivo em uma thread e o último arquivo em uma thread.

  • MSRMT_​EXPORT_​<parâmetro de lote do prefixo de arquivo>_ <número do lote>_ <número do thread de lote>_ <contagem total de threads>_ <indicador de arquivo de thread>_ <data e hora do processo>.csv.gz

onde:

  • <parâmetro de lote de prefixo de arquivo> é um prefixo de arquivo opcional definido usando o parâmetro de controle de lote Prefixo de Nome de Arquivo
  • <número do lote> é o número do lote do processo
  • <número do thread do lote> é o número do thread que criou o arquivo
  • <contagem total de threads> é o número total de threads
  • <indicador de arquivo de thread>: é identificado para o primeiro e último arquivos criados por um thread, S para o primeiro arquivo E para o último arquivo
  • <data/hora do processo>é a data e hora em que o arquivo foi criado, no formato YYYYMMDDhhmmss (AAAA = ano, MM = mês, DD = dia, hh = hora, mm = minuto, ss = segundo)

Exemplos: Para o número de lote 135, que compreende 10 threads:

  • Primeiro arquivo de 3o de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_ 3_ 10_ S_​20191104173233.csv.gz
  • Todos os arquivos antes do último arquivo de 3o de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_ 3_ 10_ 20191104173233.csv.gz
  • Último arquivo de 3o de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_ 3_ 10_ E_​20191104173233.csv.gz

Formato de Arquivo

O processo de extração produz arquivos CSV (valores separados por vírgulas) com os dados descritos na tabela a seguir. Os nomes de campo na coluna Campo serão incluídos no arquivo de saída como uma linha de cabeçalho se o parâmetro Incluir Cabeçalho nos controles de lote estiver definido como "S".
Note: todas as datas/horas serão convertidas do formato OUAF para o formato ISO apropriado no UTC com o fuso horário fornecido (como "Z").

Aplicabilidade

Campo

Tipo de Dados

Conteúdo de Amostra

Descrição

Intervalo

Escalar

Intervalo Subtrativo

MEASR_​COMP_​ID

CHAR(12)

000004769213

Chave Primária do Canal do Medidor (também conhecido como Dispositivo)

X

X

X

MSRMT_​DTTM

DATE

2019-01-01T00:00:00Z

Fim do período que a medição cobre. Por exemplo, se este fosse um intervalo por hora, ele abrangeria 2018-12-31T23:00:00Z a 2019-01-01T00:00:00Z.

X

X

X

PREV_​MSRMT_​DTTM

DATE

2018-12-31T00:00:00Z

Para medições escalares, isso identifica o início do período que está sendo medido. Observação: deve haver outra medida para o mesmo MC com esta data do MSRMT_​DTTM.

X

MSRMT_​COND_​FLG

CHAR(6)

501000

Define a qualidade da medida (e.g. estimada, regular, super).

Valores válidos definidos em F1_ EXTENDABLE_​LOOKUP_​VAL para BUS_​OBJ_​CD D1-MeasurementConditionLookup.

X

X

X

MSRMT_​USE_​FLG

CHAR(4)

D101

Indica se a medida é utilizável.

Valores válidos definidos em CI_​LOOKUP.

X

USER_​EDITED_​FLG

CHAR(4)

D1UE

Indica se o usuário editou a medida.

Valores válidos definidos em CI_​LOOKUP.

X

X

X

READING_​VAL

NUMBER(16,6)

750000000

Essa é a Leitura do Discador usada para calcular o valor consumido.

X

X

READING_​COND_​FLG

CHAR(6)

501000

Define a qualidade da Leitura Diária (por exemplo, estimada, regular, super).

Valores válidos definidos em F1_ EXTENDABLE_​LOOKUP_​VAL para BUS_​OBJ_​CD D1-MeasurementConditionLookup.

X

COMBINED_​MULTIPLIER

NUMBER(18,6)

1

Contém o produto do Multiplicador do Componente de Medição e a Constante de Instalação. O MSRMT_​VAL será multiplicado por esse número.

X

X

X

MSRMT_​VAL

NUMBER(16,6)

1,23

Este é o consumo informado do medidor após passar pelo VEE (também conhecido como faturamento pronto).

X

X

X

MSRMT_​VAL1

NUMBER(16,6)

Este e os valores de medição subsequentes (MSRMT_​VAL 1 a 10) são valores derivados calculados a partir do núcleo MSMRT_​VAL.

Exemplos disso são conversão de UM (CCF para THERM) ou ajuste de perda.

X

X

X

MSRMT_​VAL2

NUMBER(16,6)

X

X

X

MSRMT_​VAL3

NUMBER(16,6)

X

X

X

MSRMT_​VAL4

NUMBER(16,6)

X

X

X

MSRMT_​VAL5

NUMBER(16,6)

X

X

X

MSRMT_​VAL6

NUMBER(16,6)

X

X

X

MSRMT_​VAL7

NUMBER(16,6)

X

X

X

MSRMT_​VAL8

NUMBER(16,6)

X

X

X

MSRMT_​VAL9

NUMBER(16,6)

X

X

X

MSRMT_​VAL10

NUMBER(16,6)

X

X

X

CRE_​DTTM

DATE

2019-10-31T11:09:31Z

Quando o registro foi criado.

X

X

X

LAST_​UPDATE_​DTTM

DATE

2019-11-09T16:35:02Z

Quando o registro foi atualizado pela última vez.

X

X

X

Arquivo de Amostra

Veja a seguir um arquivo de exportação de amostra para intervalo de dados que abrange uma janela de seis horas. Observe que isso não inclui rótulos ou cabeçalhos de coluna, mas os dados estão na mesma ordem das descrições de coluna acima na seção Formato de Arquivo acima.

000004769213,2019-01-01T08:00:00Z,,501000,,,,,1,1.3715,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T09:00:00Z,,501000,,,,,1,1.882,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T10:00:00Z,,501000,,,,,1,1.838,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T11:00:00Z,,501000,,,,,1,1.8585,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T12:00:00Z,,501000,,,,,1,1.836,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T13:00:00Z,,501000,,,,,1,1.83,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000671510494,2019-01-01T08:00:00Z,,501000,,,,,1,0.486,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T09:00:00Z,,501000,,,,,1,0.4965,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T10:00:00Z,,501000,,,,,1,0.45,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T11:00:00Z,,501000,,,,,1,0.4725,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T12:00:00Z,,501000,,,,,1,0.4575,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T13:00:00Z,,501000,,,,,1,0.447,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
020643301975,2019-01-01T08:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T09:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T10:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T11:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T12:00:00Z,,501000,,,,,1,0.0165,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T13:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z