Exportação do Cabeçalho de Dados da Medição Inicial

A exportação de dados do cabeçalho do objeto de manutenção Dados da Medição Inicial é suportada por meio da exportação "Especializada". Consulte Exportação de Dados Especializados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre exportação de dados especializados.

O objeto de manutenção Dados da Medição Inicial é configurado para oferecer suporte à exportação de dados por meio das seguintes opções:

Tipo de Opção

Valor da Opção

Classe de Exportação de Dados

F1SE (Especializado)

Controle de Batch de Exportação

D1-SIMDC (Extração Atual do Cabeçalho do IMD Especializado)

Extração Inicial vs Atual vs Histórica

Há três tipos de extrações usados com o objeto de manutenção Dados da Medição Inicial:

  • Extrações Iniciais reúnem uma extração inicial de cabeçalhos de dados de medição inicial, controlada fornecendo uma data/hora inicial e final dos cabeçalhos de dados de medição inicial que devem ser extraídos. Esse processo deve ser usado para executar a extração inicial dos dados antes de usar as extrações históricas diárias e atuais diárias.
  • Extrações Diárias Atuais reúnem dados de medição para medições nos últimos 30 dias que foram adicionados ou alterados. Essa extração é baseada no campo Data/Hora da Última Atualização na tabela Dados da Medição Inicial, bem como no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados (veja abaixo) para incluir apenas alterações desde a última extração.
  • Extrações Históricas Diárias reúnem dados para medições iniciais anteriores aos 30 últimos dias que foram adicionados ou alterados. Para evitar a necessidade de digitalizar toda a tabela Dados de Medição Inicial, essa extração é baseada na Captura de Dados de Alteração. Durante o processamento de dados de medição inicial, se uma medição inicial tiver medições com mais de 30 dias, um registro Alterar Captura de Dados será criado na tabela Processo Geral.
    A ativação da captura de dados de alterações históricas requer a configuração dos seguintes parâmetros de algoritmo:
    • Capturar Alterações de Medição Históricas: verdadeiro
    • Controle de Batch de Extração de IMD Histórico: D1-SMDEH (Extração de Cabeçalho de IMD Especializado - Histórico)
    Esses parâmetros devem ser configurados conforme descrito nos seguintes algoritmos:
    • Atualizar Data/Hora da Última Medição no MC com Sincronização de Consumo (D1-UPD-DTMC)
    • Atualizar Data/Hora da Última Medição no MC Escalar com Sincronização de Consumo (D1-UDTSCMCRE)
    • Atualizar Data/Hora Mais Recente no MC a partir de uma Medição Futura (D1-UPD-DTMCF)
    • Atualizar Data/Horário Mais Recente no Componente de Medição Escalar (D1-UPDDTSCMC)
Observação: esse uso do Change Data Capture é uma exceção à regra geral descrita na seção Exportação de Dados Especializados do Guia do Usuário Administrativo do Application Framework.

Registros de Controle de Exportação de Dados

A exportação de dados do objeto de manutenção Dados da Medição Inicial requer um registro de Controle de Exportação de Dados. Este registro designa que o objeto de manutenção Dados da Medição Inicial deve ser exportado e rastreia a data e a hora até o momento em que os dados foram exportados, permitindo que os processos de exportação subsequentes exportem apenas alterações incrementais.

Consulte Definindo o Controle de Exportação de Dados no Guia do Usuário Administrativo do Application Framework para obter mais informações sobre a criação de registros de Controle de Exportação de Dados.

Controles de Batch

A exportação de dados e a criação de arquivos de exportação são executadas pelos seguintes controles em lote: 

  • Extração Inicial do Cabeçalho do IMD Especializado (D1-SIMDI): usado para extração inicial de dados de medição inicial. Diferentemente da extração atual, este batch é controlado diretamente pelo fornecimento de uma data/hora inicial e final dos cabeçalhos do IMD que devem ser extraídos. Esse processo deve ser usado para executar a extração inicial dos dados do cabeçalho do IMD antes de usar a extração atual (D1-SIMDC) e a extração histórica (D1-SIMDH). Para obter um melhor desempenho, é recomendável dividir o período de extração inicial em vários períodos menores e usar vários threads para cada período. A extração recuperará todos os cabeçalhos do IMD com uma data/hora final do IMD posterior à data/hora inicial de entrada anterior ou igual à data/hora final de entrada.
  • Extração de Dados do Cabeçalho do IMD Especializado - Atual (D1-SIMDC): Usada para extrações diárias de dados de medição inicial (novos) atuais. Esse processo extrai dados alterados desde a execução do último processo de extração (com base no campo Data/Hora Final da Exportação no registro de Controle de Exportação de Dados). Esse processo atualiza o campo Data/Hora Final da Exportação no início do processamento em lote para eliminar a possibilidade de não definir uma medida inicial como histórica pela Captura de Dados de Alteração durante a janela de processamento.
  • Extração de Cabeçalho do IMD Especializado - Histórico (D1-SMDEH): Usado para extrações diárias de dados de medição iniciais históricos. Esse processo é executado nos registros Alterar Dados de Captura na tabela Processo Geral.

O processamento em lote é submetido a thread no ID de Dados de Medição Inicial e cria um ou mais arquivos com base no número de threads processados e nos parâmetros de controle de lote.

Criação e Nomeação de Arquivo

O processo de extração usa dois controles para determinar o número de arquivos a serem criados:

  1. Cada thread criará pelo menos 1 arquivo (mais threads resultam em arquivos menores)
  2. O parâmetro Limite de Tamanho do Arquivo pode ser usado para especificar o número de linhas de dados de medição inicial a serem incluídas em qualquer arquivo fornecido. Isso pode resultar em um único thread produzindo vários arquivos.

Os dados em cada arquivo não são ordenados, cada thread recuperará os dados de medição inicial para um conjunto de IDs de Dados de Medição Inicial, mas além disso, não haverá controle sobre como os dados são carregados no arquivo.

Nomeação de Arquivo

Como cada thread pode produzir vários arquivos e o número de arquivos por thread não pode ser previsto, os nomes de arquivo também incluirão um indicador para o primeiro arquivo em uma thread e o último arquivo em uma thread.

  • IMD_​EXPORT_​<parâmetro de lote do prefixo de arquivo>_ <número do lote>_ <número do thread de lote>_ <contagem total de threads>_ <número do arquivo>_ <indicador do último arquivo>_ <data do processo>.csv.gz

onde:

  • <parâmetro de lote de prefixo de arquivo> é um prefixo de arquivo opcional definido usando o parâmetro de controle de lote Prefixo de Nome de Arquivo
  • <número do lote> é o número do lote do processo
  • <número do thread do lote> é o número do thread que criou o arquivo
  • <contagem total de threads> é o número total de threads
  • <número do arquivo> é o número do arquivo
  • <indicador do último arquivo>: identifica os últimos arquivos criados por um thread (E)
  • <data/hora do processo>é a data e hora em que o arquivo foi criado, no formato YYYYMMDDhhmmss (AAAA = ano, MM = mês, DD = dia, hh = hora, mm = minuto, ss = segundo)

Exemplos: Para o número de lote 135, que compreende 10 threads:

  • Primeiro arquivo de 3o de 10 threads: IMD_​EXPORT_​SOME_​PREFIX_​135_ 3_ 10_ 1_ 20191104173233.csv.gz
  • Todos os arquivos antes do último arquivo de 3o de 10 threads: IMD_​EXPORT_​SOME_​PREFIX_​135_ 3_ 10_ 2_ 20191104173233.csv.gz
  • Último arquivo de 3o de 10 threads: IMD_​EXPORT_​SOME_​PREFIX_​135_ 3_ 10_ E_​20191104173233.csv.gz

Formato de Arquivo

O processo de extração produz arquivos CSV (valores separados por vírgulas) com os dados descritos na tabela a seguir. Os nomes de campo na coluna Campo serão incluídos no arquivo de saída como uma linha de cabeçalho se o parâmetro Incluir Cabeçalho nos controles de lote estiver definido como "S".
Note: todas as datas/horas serão convertidas do formato OUAF para o formato ISO apropriado no UTC com o fuso horário fornecido (como "Z").

Aplicabilidade

Campo

Tipo de Dados

Conteúdo de Amostra

Descrição

Intervalo

Escalar

Intervalo Subtrativo

INIT_​MSRMT_​DATA_​ID

CHAR(12)

52482245116604

Chave Primária da medição inicial

X

X

X

MEASR_​COMP_​ID

CHAR(12)

000004769213

Chave Primária do componente de medição para a medição inicial

X

X

X

IMD_​EXT_​ID

CHAR(12)

external_​file

ID externo da medição inicial. Geralmente, o nome do arquivo no qual os dados de medição iniciais foram recebidos.

X

X

X

BUS_​OBJ_​CD

CHAR(12)

D1-ManualIMDInterval

O objeto de negócios que controla a medição inicial

X

X

X

BO_​STATUS_​CD

VARCHAR(30)

COMPLETED

O status da medição inicial

X

X

X

BO_​STATUS_​REASON_​CD

VARCHAR(30)

FORCE COMPLETE

Um código de motivo para o status. Geralmente preenchido quando houve uma exceção de VEE que foi substituída e a medição inicial foi concluída sem corrigir o erro.

X

X

X

D1_ FROM_​DTTM

DATE/TIME

2019-01-01T00:00:00Z

Início do período coberto pela medição inicial.

Para dados escalares subtrativos, isso representa a medida anterior que será usada como a leitura inicial ao calcular o consumo.

Para dados de intervalo, isso representa o início do primeiro intervalo para a medição inicial. Observação: nenhuma medida será criada para essa data/hora, pois o MDM representa intervalos como o fim do intervalo. Portanto, o primeiro intervalo da medição inicial será esta data/hora mais o tamanho do intervalo (e.g. Se o tamanho do intervalo for 15 minutos, o primeiro intervalo será 15 minutos após essa data/hora).

X

X

X

D1_​TO_​DTTM

DATE/TIME

2019-01-02T00:00:00Z

Fim do período coberto pela medição inicial.

Para dados escalares, essa data/hora corresponderá à medição.

Para dados de intervalo, isso corresponderá à data/hora da última medição de intervalo.

X

X

X

CRE_​DTTM

DATE/TIME

2019-01-03T00:00:00Z

Data e hora em que a medição inicial foi criada inicialmente

X

X

X

STATUS_​UPD_​DTTM

DATE/TIME

2019-01-03T00:00:00Z

Data e hora em que o status da medição inicial foi atualizado pela última vez

X

X

X

LAST_​UPDATE_​DTTM

DATE/TIME

2019-01-03T00:00:00Z

Data e hora em que a medição inicial foi atualizada pela última vez.

Observação: as atualizações podem ocorrer fora de uma alteração de status para que isso possa ser mais recente que o STATUS_​UPD_​DTTM.

X

X

X

Arquivo de Amostra

Veja a seguir um arquivo de exportação de amostra que contém os registros do cabeçalho de medição inicial. Observe que isso não inclui rótulos ou cabeçalhos de coluna, mas os dados estão na mesma ordem das descrições de coluna acima na seção Formato de Arquivo acima.

55394295586154,553275345711,external file1,D1-ManualIMDScalar,ERROR,,2020-01-02T08:00:00Z,2022-01-01T08:00:00Z,2020-08-17T18:47:41Z,2020-08-17T18:47:41Z,2020-08-17T18:48:54Z
55392270285377,553886220134,external file2,D1-ManualIMDInterval,ERROR,,2022-01-01T08:00:00Z,2022-01-02T08:00:00Z,2020-08-15T04:18:43Z,2020-08-15T04:25:57Z,2020-08-15T04:25:57Z
55383485376359,553886220134,external file3,D1-ManualIMDInterval,ERROR,,2022-01-01T08:00:00Z,2022-01-02T08:00:00Z,2020-08-15T04:47:36Z,2020-08-15T04:55:03Z,2020-08-15T04:55:03Z