Carga de datos mediante un adaptador de archivo incremental

La función Adaptador de archivo incremental le permite comparar un archivo de datos de origen con una versión anterior del archivo de datos de origen, identificar registros nuevos o modificados y, a continuación, cargar solo ese juego de datos. Puede ordenar el archivo de datos de origen inicial antes de realizar la comparación o proporcionar un archivo ordenado previamente y mejorar el rendimiento.

Para utilizar esta función, se registra un archivo de datos de origen inicial como adaptador de archivo incremental. El archivo de datos de origen inicial se utiliza como plantilla. Las cargas de datos reales se ejecutan desde el archivo designado en la regla de datos donde se ejecuta una comparación de archivos entre el archivo de datos de origen inicial y un archivo posterior. Posteriormente, se pueden realizar cargas una vez, dos veces o las veces que se desee. El último archivo que se ejecuta se convierte en la base sobre la que se evalúa la carga posterior. El adaptador carga solo las diferencias, lo que genera una carga más rápida durante la importación de archivos. El resto de procesos de importación de datos siguen siendo los mismos que en una carga de datos estándar para un archivo.

Consideraciones:

El archivo de datos de origen debe ser un archivo de datos delimitado.
Los archivos de datos utilizados deben contener una cabecera de una línea que describa las columnas delimitadas.
Se pueden cargar datos numéricos y no numéricos.
Se omite cualquier registro suprimido entre los dos archivos. En este caso, tiene que gestionar los registros suprimidos manualmente.
Si falta el archivo (o si se cambia el último ID por una ejecución inexistente), la carga se completa con un error.
Las opciones de ordenación determinan el nivel de rendimiento utilizando esta función. La ordenación aumenta el tiempo de tratamiento. La ordenación previa del archivo agiliza el proceso.
Solo se admiten cargas de datos de un solo periodo para una carga incremental. No se admiten las cargas de varios periodos.
El aumento de detalle no está admitido para cargas incrementales, ya que los archivos incrementales se cargan en modo de reemplazo y solo la última versión de la comparación de archivos está presente en la tabla temporal.

Como solución alternativa, puede cargar el mismo archivo de datos en otra ubicación utilizando el método de carga de datos completa. En este caso, solo debería importar los datos, y no exportarlos a la aplicación de destino.
Las copias del archivo de datos de origen se archivan para realizar comparaciones en el futuro. Solo se conservan las últimas cinco versiones. Los archivos se conservan durante un máximo de 60 días. Si no se realiza ninguna carga incremental durante más de 60 días, establezca el ID del último proceso en 0 y realice la carga.

Vea este tutorial en vídeo para obtener más información sobre la carga y el cálculo de datos incrementales de mano de obra:

Carga y cálculo de datos incrementales de Mano de obra mediante Data Management.

Vea este tutorial en vídeo para obtener más información sobre el cálculo de datos cargados de forma incremental mediante reglas de Groovy:

Cálculo de datos cargados de forma incremental en Data Management mediante reglas de Groovy.