Exportación de encabezado de datos iniciales de medida
La exportación de datos de cabecera a partir del objeto de mantenimiento Datos iniciales de medida se soporta mediante la exportación "especializada". Consulte Exportación especializada de datos en la guía del usuario administrativo de Application Framework para obtener más información sobre la exportación de datos especializada.
El objeto de mantenimiento Datos de medida se configura para soportar la exportación de datos mediante las opciones siguientes:
|
Tipo de opción |
Valor de opción |
|---|---|
|
Clase de exportación de datos |
F1SE (Especializada) |
|
Control de lotes de exportación |
D1-SIMDC (Extracto específico cabecera datos iniciales medida actual) |
Extracción inicial/actual/histórica
Existen tres tipos de extracciones que se utilizan con el objeto de mantenimiento Datos de medida:
- La opción Extracciones iniciales recopila una primera extracción de las cabeceras de datos iniciales de medida, que se controla indicando una fecha y hora de inicio y de finalización de las cabeceras de datos iniciales de medida que se deben extraer. Este proceso debe utilizarse para realizar la extracción inicial de los datos antes de utilizar las extracciones actual e histórica diarias.
- Extracciones actuales diarias recopila datos de medida para las medidas en los últimos 30 días que se han añadido o cambiado. Esta extracción se basa en el campo Registro horario de última actualización de la tabla de datos iniciales de medida, así como en el campo Fecha/hora de exportación del registro de control de exportación de datos (consulte más abajo) para incluir solo los cambios desde la última extracción.
-
Extracciones históricas diarias recopila datos iniciales de medida para las medidas que se han añadido o cambiado en los últimos 30 días. Para evitar tener que escanear la tabla de medidas completa, esta extracción se basa en la captura de datos de cambio. Durante el procesamiento de datos iniciales de medida, si una medida inicial tiene medidas con antigüedad superior a 30 días, se crea un registro de captura de datos de cambio en la tabla Proceso general. Para activar la captura de datos de cambio históricos, deben configurarse los parámetros de algoritmo siguientes:
- Capturar cambios de medida históricos: verdadero
- Control de lotes de extracción de datos iniciales de medida históricos: D1-SMDEH (Extracción especializada de cabecera de datos iniciales de medida históricos)
Estos parámetros deben configurarse según se describe en los algoritmos siguientes:- Actualizar última fecha/hora de medida en componente de medición con sincronización de consumo (D1-UPD-DTMC)
- Actualizar última fecha/hora en componente de medición escalar con sincronización consumo (D1-UDTSCMCRE)
- Actualizar última fecha/hora en componente de medición de una medida futura (D1-UPD-DTMCF)
- Actualizar última fecha/hora en componente de medición escalar (D1-UPDDTSCMC)
Registros de control de exportación de datos
La exportación de datos desde el objeto de mantenimiento Datos de medida requiere un registro de control de exportación de datos. Este registro establece que es necesario exportar el objeto de mantenimiento Datos iniciales de medida y realiza un seguimiento de la fecha y hora a la que se han exportado los datos hasta este momento. De esta manera, los procesos de exportación posteriores solo exportan los cambios incrementales.
Consulte la sección Definición de control de exportación de datos de la guía del usuario administrativo de Application Framework para obtener más información sobre la creación de registros de control de exportación de datos.
Controles de lotes
La exportación de los datos y la creación de los ficheros de exportación se realiza mediante los siguientes controles de lotes:
- Extracción inicial de cabecera de datos iniciales de medida especializada (D1-SIMDI): se utiliza en la extracción inicial de los datos iniciales de medida. Al contrario de lo que ocurre con la extracción actual, este lote se controla de forma directa indicando una fecha y hora de inicio y de finalización de las cabeceras de datos iniciales de medida que se deben extraer. Este proceso debe utilizarse para realizar la extracción inicial de los datos de cabecera de datos iniciales de medida antes de utilizar la extracción actual (D1-SIMDC) y la histórica (D1-SIMDH). Para obtener el máximo rendimiento, es recomendable descomponer el período de extracción inicial en varios períodos más reducidos, además de utilizar varios threads para cada período. La extracción recuperará todas las cabeceras de datos iniciales de medida con una fecha/hora posterior a la fecha/hora de inicio de la entrada y anterior o igual a la fecha/hora de finalización de la entrada.
- Extracción especializada de cabecera de datos iniciales de medida históricos (D1-SMDEC): se utiliza con las extracciones diarias de los datos iniciales de medida actuales (nuevos). Este proceso extrae los datos que han cambiado desde la última vez que se ejecutó el proceso de extracción, en función del campo Fecha/hora de exportación del registro de control de exportación de datos. Este proceso actualiza el campo Fecha/hora de exportación al comienzo del procesamiento por lotes para eliminar la posibilidad de que una medida inicial no se defina como histórica en la captura de cambios de datos durante el período de procesamiento.
- Extracción especializada de datos iniciales de medida históricos (D1-SMDEH): se utiliza con las extracciones diarias de los datos iniciales de medida históricos. Este proceso se ejecuta con los registros de captura de datos de cambio en la tabla de proceso general.
Este procesamiento por lotes se divide en threads por ID de datos iniciales de medida y crea uno o varios ficheros en función del número de threads procesados y de los parámetros de control de lotes.
Creación de ficheros y nomenclatura
El proceso de extracción utiliza dos controles para determinar el número de ficheros que se van a crear:
- Cada thread creará al menos 1 fichero (un número mayor de threads da como resultado ficheros más pequeños)
- El parámetro Límite de tamaño de fichero sirve para especificar el número de filas de datos iniciales de medida que se incluirán en un determinado fichero. Esto puede dar como resultado que un solo thread produzca muchos ficheros.
Los datos de cada fichero no están ordenados. Cada thread recuperará los datos iniciales de medida de un juego de ID de componentes de medición, pero aparte de esto, no habrá ningún control de cómo se cargan los datos en el fichero.
Nomenclatura de ficheros
Dado que cada thread puede producir varios ficheros y al no poder predecir el número de ficheros por thread, los nombres de fichero incluirán también un indicador para el primer fichero y el último del thread.
- IMD_EXPORT_<parámetro de lote de prefijo de fichero>_<número de lote>_<número de thread de lote>_<recuento total de threads>_<número de fichero>_<indicador de último fichero>_<fecha de proceso>.csv.gz
donde:
- <parámetro de lote de prefijo de fichero> es un prefijo de fichero opcional definido mediante el parámetro del control de lotes Prefijo de nombre de fichero
- <número de lote> es el número de lote del proceso
- <número de thread de lote> es el número de thread que ha creado el fichero
- <recuento total de threads> es el número total de threads
- <número de fichero> es el número del fichero
- <indicador de último fichero>: identifica los últimos ficheros creados por un thread (E)
- <fecha/hora de procesamiento>es la fecha y la hora en la que se creó el fichero indicada con el formato YYYYMMDDhhmmss (YYYY = año, MM = mes, DD = día, hh = hora, mm = minuto, ss = segundo)
Ejemplo: para el número de lote 135, que comprende 10 threads:
- Primer fichero del tercero de 10 threads: IMD_EXPORT_SOME_PREFIX_135_3_10_1_20191104173233.csv.gz
- Todos los ficheros anteriores al último fichero del tercero de 10 threads: IMD_EXPORT_SOME_PREFIX_135_3_10_2_20191104173233.csv.gz
- Último fichero del tercero de 10 threads: IMD_EXPORT_SOME_PREFIX_135_3_10_E_20191104173233.csv.gz
Formato de fichero
|
Aplicabilidad |
||||||
|---|---|---|---|---|---|---|
|
Campo |
Tipo de datos |
Contenido de muestra |
Descripción |
Intervalo |
Escalar |
Intervalo de sustracción |
|
INIT_MSRMT_DATA_ID |
CHAR(12) |
52482245116604 |
Clave primaria de la medida inicial |
X |
X |
X |
|
MEASR_COMP_ID |
CHAR(12) |
000004769213 |
Clave primaria del componente de medición de la medida inicial |
X |
X |
X |
|
IMD_EXT_ID |
CHAR(12) |
external_file |
ID externo de la medida inicial Por lo general, el nombre del fichero en el que se recibieron los datos iniciales de medida. |
X |
X |
X |
|
BUS_OBJ_CD |
CHAR(12) |
D1-ManualIMDInterval |
El objeto de negocio que rige la medida inicial |
X |
X |
X |
|
BO_STATUS_CD |
VARCHAR(30) |
COMPLETED |
Estado de la medida inicial |
X |
X |
X |
|
BO_STATUS_REASON_CD |
VARCHAR(30) |
FORCE COMPLETE |
Código de motivo del estado. Por lo general, se rellena cuando ha habido una excepción de validación, edición y estimación que se ha sustituido y la medida inicial se ha completado sin solucionar el error. |
X |
X |
X |
|
D1_FROM_DTTM |
DATE/TIME |
2019-01-01T00:00:00Z |
Inicio del período de tiempo que abarca la medida inicial. En el caso de los datos escalares de sustracción, representa la medida anterior que se utilizará como lectura inicial cuando se calcule el consumo. En el caso de los datos de intervalos, representa el inicio del primer intervalo de la medida inicial. Nota: no se creará ninguna medida para esta fecha y hora porque MDM representa los intervalos como el fin del intervalo. Por tanto, el primer intervalo de la medida inicial será esta fecha y hora más el tamaño de intervalo (por ejemplo, si el tamaño de intervalo es de 15 minutos, el primer intervalo será 15 minutos después de esta fecha y hora). |
X |
X |
X |
|
D1_TO_DTTM |
DATE/TIME |
2019-01-02T00:00:00Z |
Fin del período de tiempo que abarca la medida inicial. En el caso de los datos escalares, esta fecha/hora coincidirá con la medida. En el caso de los datos de intervalos, coincidirá con la fecha/hora de la última medida de intervalo. |
X |
X |
X |
|
CRE_DTTM |
DATE/TIME |
2019-01-03T00:00:00Z |
Fecha y hora a la que se creó la medida inicial |
X |
X |
X |
|
STATUS_UPD_DTTM |
DATE/TIME |
2019-01-03T00:00:00Z |
Fecha y hora a la que se actualizó por última vez el estado de la medida inicial |
X |
X |
X |
|
LAST_UPDATE_DTTM |
DATE/TIME |
2019-01-03T00:00:00Z |
Fecha y hora a la que se actualizó por última vez la medida inicial. Nota: las actualizaciones pueden tener lugar fuera de un cambio de estado por lo que puede ser más reciente que la fecha de STATUS_UPD_DTTM. |
X |
X |
X |
Fichero de muestra
A continuación, se representa un fichero de exportación de muestra que contiene los registros de cabecera de medida inicial. Tenga en cuenta que no incluye etiquetas ni cabeceras de columna, pero los datos están en el mismo orden que las descripciones mencionadas en la sección Formato de fichero más arriba.
55394295586154,553275345711,external file1,D1-ManualIMDScalar,ERROR,,2020-01-02T08:00:00Z,2022-01-01T08:00:00Z,2020-08-17T18:47:41Z,2020-08-17T18:47:41Z,2020-08-17T18:48:54Z
55392270285377,553886220134,external file2,D1-ManualIMDInterval,ERROR,,2022-01-01T08:00:00Z,2022-01-02T08:00:00Z,2020-08-15T04:18:43Z,2020-08-15T04:25:57Z,2020-08-15T04:25:57Z
55383485376359,553886220134,external file3,D1-ManualIMDInterval,ERROR,,2022-01-01T08:00:00Z,2022-01-02T08:00:00Z,2020-08-15T04:47:36Z,2020-08-15T04:55:03Z,2020-08-15T04:55:03Z