Exportación de datos de medida

La exportación de datos del objeto de mantenimiento Medida se soporta mediante la exportación "especializada". Consulte la sección de exportación de datos especializada de la guía del usuario administrativo de Application Framework para obtener más información sobre la exportación de datos especializada.

El objeto de mantenimiento Medida se configura para soportar la exportación de datos mediante las opciones siguientes:

Tipo de opción

Valor de opción

Clase de exportación de datos

F1SE (Especializada)

Control de lotes de exportación

D1-SMDEC (Extracto especializado de medidas actuales)

Extracción inicial/actual/histórica

Existen tres tipos de extracciones que se utilizan con el objeto de mantenimiento Medida:

  • La opción Extracciones iniciales recopila una primera extracción de los datos de medida, que se controla indicando una fecha y hora de inicio y de finalización de las medidas que se deben extraer. Este proceso debe utilizarse para realizar la extracción inicial de los datos de medida antes de utilizar las extracciones actual e histórica diarias.
  • Extracciones actuales diarias recopila datos de medida para las medidas en los últimos 30 días que se han añadido o cambiado. Esta extracción se basa en los campos Fecha/hora de medida y Registro horario de última actualización de la tabla de medidas, así como en el campo Fecha/hora de exportación del registro de control de exportación de datos (consulte más abajo) para incluir solo los cambios desde la última extracción.
  • Extracciones históricas diarias recopila datos de medida para las medidas que se han añadido o cambiado en los últimos 30 días. Para evitar tener que escanear la tabla de medidas completa, esta extracción se basa en la captura de datos de cambio.  Durante el procesamiento de datos iniciales de medida, si una medida inicial tiene medidas con antigüedad superior a 30 días, se crea un registro de captura de datos de cambio en la tabla Proceso general.
    Para activar la captura de datos de cambio históricos, deben configurarse los parámetros de algoritmo siguientes:
    • Capturar cambios de medida históricos: verdadero
    • Control de lotes de extracción de datos de medida históricos: D1-SMDEH (extracción especializada de datos de medida históricos)
    Estos parámetros deben configurarse según se describe en los algoritmos siguientes:
    • Actualizar última fecha/hora de medida en componente de medición con sincronización de consumo (D1-UPD-DTMC)
    • Actualizar última fecha/hora en componente de medición escalar con sincronización consumo (D1-UDTSCMCRE)
    • Actualizar última fecha/hora en componente de medición de una medida futura (D1-UPD-DTMCF)
    • Actualizar última fecha/hora en componente de medición escalar (D1-UPDDTSCMC)
    • Volver a derivar otros valores (D1-REDEROVAL)
Nota: este uso de la captura de datos de cambio supone una excepción a la regla general que se describe en la sección  Exportación de datos especializada de la guía del usuario administrativo de Application Framework.

Registros de control de exportación de datos

La exportación de datos desde el objeto de mantenimiento Medida requiere un registro de control de exportación de datos. Este registro establece que es necesario exportar el objeto de mantenimiento Medida y realiza un seguimiento de la fecha y hora a la que se han exportado los datos hasta este momento. De esta manera, los procesos de exportación posteriores solo exportan los cambios incrementales.

Consulte la sección  Definición de control de exportación de datos de la guía del usuario administrativo de Application Framework para obtener más información sobre la creación de registros de control de exportación de datos.

Controles de lotes

La exportación de los datos y la creación de los ficheros de exportación se realiza mediante los siguientes controles de lotes:

  • Extracción inicial de medida especializada (D1-SMDIE): se utiliza en la extracción inicial de los datos de medida. Al contrario de lo que ocurre con la extracción actual, este lote se controla de forma directa indicando una fecha y hora de inicio y de finalización de las medidas que se deben extraer. Este proceso debe utilizarse para realizar la extracción inicial de los datos de medida antes de utilizar la extracción actual (D1-SMDEC) y la histórica (D1-SMDEH). Para obtener el máximo rendimiento, es recomendable descomponer el período de extracción inicial en varios períodos más reducidos, además de utilizar varios threads para cada período. La extracción recuperará todas las medidas con una fecha/hora posterior a la fecha/hora de inicio de la entrada y anterior o igual a la fecha/hora de finalización de la entrada.
  • Extracción especializada de datos de medida actuales (D1-SMDEC): se utiliza con las extracciones diarias de los datos de medida actuales (nuevos). Este proceso extrae los datos que han cambiado desde la última vez que se ejecutó el proceso de extracción (en función del campo Fecha/hora de exportación del registro de control de exportación de datos. Este proceso actualiza el campo Fecha/hora de exportación al comienzo del procesamiento por lotes para eliminar la posibilidad de que una medida inicial no se defina como histórica en la captura de cambios de datos durante el período de procesamiento.
  • Extracción especializada de datos de medida históricos (D1-SMDEH): se utiliza con las extracciones diarias de los datos de medida históricos. Este proceso se ejecuta con los registros de captura de datos de cambio en la tabla de proceso general.

Este procesamiento por lotes se divide en threads por ID de componente de medición y crea uno o varios ficheros en función del número de threads procesados y de los parámetros de control de lotes.

Creación de ficheros y nomenclatura

El proceso de extracción utiliza dos controles para determinar el número de ficheros que se van a crear:

  1. Cada thread creará al menos 1 fichero (un número mayor de threads da como resultado ficheros más pequeños).
  2. El parámetro Límite de tamaño de fichero sirve para especificar el número de filas de medida que se incluirán en un determinado fichero. Esto puede dar como resultado que un solo thread produzca muchos ficheros.

Los datos de cada fichero no están ordenados. Cada thread recuperará los datos de medida de un juego de ID de componentes de medición, pero aparte de esto, no existirá ningún control de cómo se cargan los datos en el fichero.

Nomenclatura de ficheros

Dado que cada thread puede producir varios ficheros y al no poder predecir el número de ficheros por thread, los nombres de fichero incluirán también un indicador para el primer fichero y el último del thread.

  • MSRMT_​EXPORT_​<parámetro de lote de prefijo de fichero>_​<número de lote>_​<número de thread de lote>_​<recuento total de threads>_​<indicador de nombre de fichero>_​<fecha/hora de procesamiento>.csv.gz

donde:

  • <parámetro de lote de prefijo de fichero> es un prefijo de fichero opcional definido mediante el parámetro del control de lotes Prefijo de nombre de fichero
  • <número de lote> es el número de lote del proceso
  • <número de thread de lote> es el número de thread que ha creado el fichero
  • <recuento total de threads> es el número total de threads
  • <indicador de nombre de fichero>: es un indicador del primer y el último ficheros creados por un thread; S para el primer fichero y E para el último
  • <fecha/hora de procesamiento>es la fecha y la hora en la que se creó el fichero indicada con el formato YYYYMMDDhhmmss (YYYY = año, MM = mes, DD = día, hh = hora, mm = minuto, ss = segundo)

Ejemplo: para el número de lote 135, que comprende 10 threads:

  • Primer fichero del tercero de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_​3_​10_​S_​20191104173233.csv.gz
  • Todos los ficheros anteriores al último fichero del tercero de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_​3_​10_​20191104173233.csv.gz
  • Último fichero del tercero de 10 threads: MSRMT_​EXPORT_​PREFIX_​135_​3_​10_​E_​20191104173233.csv.gz

Formato de fichero

El proceso de extracción genera ficheros de valores separados por comas (CSV) con los datos descritos en esta tabla. Los nombres de campo de la columna Campo se incluyen en el fichero de salida como fila de cabecera si se establece como “Y” el parámetro Incluir cabecerade los controles de lote.
Nota: todos los valores de fecha/hora se convertirán del formato OUAF al formato ISO correspondiente en UTC con la zona horaria proporcionada (como "Z").

Aplicabilidad

Campo

Tipo de datos

Contenido de muestra

Descripción

Intervalo

Escalar

Intervalo de sustracción

MEASR_​COMP_​ID

CHAR(12)

000004769213

Clave primaria de canal procedente de contador (es decir, Dispositivo)

X

X

X

MSRMT_​DTTM

DATE

2019-01-01T00:00:00Z

Fin del período de tiempo que abarca la medida. Por ejemplo, si fuera un intervalo por horas, abarcaría del 2018-12-31T23:00:00Z al 2019-01-01T00:00:00Z.

X

X

X

PREV_​MSRMT_​DTTM

DATE

2018-12-31T00:00:00Z

En el caso de las medidas escalares, identifica el inicio del período que se va a medir. Nota: debería haber otra medida para el mismo componente de medición con esta fecha como MSRMT_​DTTM.

X

MSRMT_​COND_​FLG

CHAR(6)

501000

Define la calidad de la medida (por ejemplo, estimada, normal, superior).

Valores válidos definidos en F1_​EXTENDABLE_​LOOKUP_​VAL para BUS_​OBJ_​CD D1-MeasurementConditionLookup.

X

X

X

MSRMT_​USE_​FLG

CHAR(4)

D101

Indica si la medida se puede utilizar.

Valores válidos definidos en CI_​LOOKUP.

X

USER_​EDITED_​FLG

CHAR(4)

D1UE

Indica si el usuario ha editado la medida.

Valores válidos definidos en CI_​LOOKUP.

X

X

X

READING_​VAL

NUMBER(16,6)

750000000

Se trata de la lectura de dial que se utiliza para calcular la cantidad consumida.

X

X

READING_​COND_​FLG

CHAR(6)

501000

Define la calidad de la lectura diaria (por ejemplo, estimada, normal, superior).

Valores válidos definidos en F1_​EXTENDABLE_​LOOKUP_​VAL para BUS_​OBJ_​CD D1-MeasurementConditionLookup.

X

COMBINED_​MULTIPLIER

NUMBER(18,6)

1

Contiene el producto del multiplicador del componente de medición y la constante de instalación. El valor MSRMT_​VAL se habrá multiplicado por este número.

X

X

X

MSRMT_​VAL

NUMBER(16,6)

1.23

Es el consumo notificado por el contador después de someterlo al proceso de validación, edición y estimación (es decir, listo para facturar).

X

X

X

MSRMT_​VAL1

NUMBER(16,6)

Este y los valores de medida posteriores (MSRMT_​VAL 1 al 10) son valores derivados que se calculan a partir del valor MSMRT_​VAL básico.

Algunos ejemplos son la conversión de unidades de medida (CCF a THERM) o el ajuste de pérdidas.

X

X

X

MSRMT_​VAL2

NUMBER(16,6)

X

X

X

MSRMT_​VAL3

NUMBER(16,6)

X

X

X

MSRMT_​VAL4

NUMBER(16,6)

X

X

X

MSRMT_​VAL5

NUMBER(16,6)

X

X

X

MSRMT_​VAL6

NUMBER(16,6)

X

X

X

MSRMT_​VAL7

NUMBER(16,6)

X

X

X

MSRMT_​VAL8

NUMBER(16,6)

X

X

X

MSRMT_​VAL9

NUMBER(16,6)

X

X

X

MSRMT_​VAL10

NUMBER(16,6)

X

X

X

CRE_​DTTM

DATE

2019-10-31T11:09:31Z

Cuándo se ha creado el registro.

X

X

X

LAST_​UPDATE_​DTTM

DATE

2019-11-09T16:35:02Z

Cuándo se actualizó el registro por última vez.

X

X

X

Fichero de muestra

A continuación, se representa un fichero de muestra de exportación de datos de intervalos que abarcan un período de seis horas. Tenga en cuenta que no incluye etiquetas ni cabeceras de columna, pero los datos están en el mismo orden que las descripciones mencionadas en la sección Formato de fichero más arriba.

000004769213,2019-01-01T08:00:00Z,,501000,,,,,1,1.3715,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T09:00:00Z,,501000,,,,,1,1.882,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T10:00:00Z,,501000,,,,,1,1.838,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T11:00:00Z,,501000,,,,,1,1.8585,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T12:00:00Z,,501000,,,,,1,1.836,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000004769213,2019-01-01T13:00:00Z,,501000,,,,,1,1.83,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:39:09Z,2019-08-09T20:39:09Z
000671510494,2019-01-01T08:00:00Z,,501000,,,,,1,0.486,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T09:00:00Z,,501000,,,,,1,0.4965,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T10:00:00Z,,501000,,,,,1,0.45,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T11:00:00Z,,501000,,,,,1,0.4725,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T12:00:00Z,,501000,,,,,1,0.4575,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
000671510494,2019-01-01T13:00:00Z,,501000,,,,,1,0.447,0,0,0,0,0,0,0,0,0,0,2019-08-09T20:56:47Z,2019-08-09T20:56:47Z
020643301975,2019-01-01T08:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T09:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T10:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T11:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T12:00:00Z,,501000,,,,,1,0.0165,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z
020643301975,2019-01-01T13:00:00Z,,501000,,,,,1,0.015,0,0,0,0,0,0,0,0,0,0,2019-08-09T21:04:28Z,2019-08-09T21:04:28Z