Selección del origen de una tarea del cargador de datos
Seleccione el activo de datos, la conexión y el esquema que tiene los datos de origen para cargar. A continuación, seleccione una entidad de datos o varias entidades de datos en el esquema, según el tipo de carga que haya especificado para la tarea del cargador de datos.
Al seleccionar varias entidades de datos de un tipo de origen de almacenamiento de archivos (como Object Storage), puede utilizar un patrón de archivo para agregar entidades que coincidan con el patrón y utilizar el calificador de entidad lógica para agrupar entidades coincidentes en uno o más grupos de patrones. Cada grupo de patrones se trata como una entidad lógica durante el tiempo de ejecución.
Para configurar los datos de origen para una tarea del cargador de datos, primero debe seleccionar un activo de datos, una conexión y un esquema.
Puede parametrizar los recursos después de realizar las selecciones.
En la tabla de entidades de datos, seleccione la entidad de datos que desea utilizar como origen. Los datos de la entidad de datos seleccionada se cargan en el destino cuando se ejecuta la tarea.
Puede parametrizar la entidad de datos de origen después de seleccionar una entidad de datos de la lista de entidades disponibles.
- Vaya al paso Origen, separador Entidades de datos.
-
Realice una de las siguientes opciones para seleccionar una entidad de datos:
-
En la tabla Entidades de datos disponibles, seleccione una entidad de datos seleccionando la casilla de control que está junto al nombre de la entidad. A continuación, seleccione Definir como origen. El nombre de la Entidad de Datos seleccionada se muestra junto a Entidad de Datos Seleccionada.
Para filtrar la lista de entidades disponibles, introduzca un nombre o un patrón en el campo y pulse Intro. Puede introducir un nombre parcial o un patrón con caracteres especiales como *. Por ejemplo, introduzca
ADDRESS_*
para buscar ADDRESS_EU1, ADDRESS_EU2 y ADDRESS_EU3. -
Si procede, seleccione Introducir SQL personalizado y seleccione Agregar SQL.
En el panel del editor que aparece, introduzca una única sentencia SQL que defina los datos que se van a utilizar como origen y seleccione Validar.
Nota: En las sentencias SQL, utilice comillas simples para los parámetros. Por ejemplo:
select * from ORDERS where Created_On >= '${SYS.LAST_LOAD_DATE}'
Si la validación es correcta, seleccione Agregar.
Aparece la etiqueta
SQL_ENTITY<nnnnnnnnn>
, por ejemplo,SQL_ENTITY123456789
. Para ver o editar la sentencia, seleccione Editar.
-
- (Opcional) Puede asignar un parámetro a la entidad de datos de origen después de realizar una selección.
- Seleccione Parámetroizar junto al recurso para asignar un parámetro a ese recurso. Tras la parametrización, Data Integration agrega un parámetro del tipo adecuado y define el valor de parámetro por defecto en el valor que está configurado actualmente para ese recurso.
- Si está disponible, seleccione Reutilizar parámetro de entidad de datos de destino para utilizar el parámetro de entidad de destino como parámetro para esta entidad de datos de origen. Para obtener más información, consulte Reutilización de parámetros para recursos de origen o destino.
-
Para configurar aún más la tarea del cargador y el origen de datos, seleccione el separador Configuración, si corresponde. Según el tipo de origen, los valores que puede configurar son:
- Permitir ejecución o desactivar ejecución: por defecto, algunos procesamiento de datos se descarga en el sistema de origen. Para aplicar el procesamiento o las transformaciones fuera del sistema de origen, desactive la casilla de control.
- Allow schema drift o bloquear las definiciones de esquema: por defecto, los cambios de definición de esquema en la entidad de datos especificada se detectan y seleccionan automáticamente (tiempo de diseño y tiempo de ejecución). Para utilizar una unidad fija de la entidad de datos especificada incluso cuando la unidad subyacente haya cambiado, desactive la casilla de control.
Para un archivo JSON, el cambio de esquema está desactivado por defecto y no se puede activar si se utiliza un esquema personalizado para inferir la unidad de entidad. Si desea que el cambio de esquema esté disponible y activado, edite el origen de JSON en el flujo de datos o la tarea del cargador de datos y desmarque la casilla de control Usar esquema personalizado.
- Recuperar metadatos del archivo como atributos: por defecto, el nombre de archivo, el tamaño del archivo y otros metadatos del archivo se incluyen como atributos en los datos de origen.
No se admiten caracteres especiales (incluido el espacio) en los nombres de archivo.
Desactive la casilla de control si no desea utilizar metadatos de archivo como atributos.
-
Carga incremental: seleccione la casilla de control para identificar y cargar solo los datos que se han creado o modificado desde la última vez que se ejecutó el proceso de carga.
(Solo origen de base de datos relacional) En Columna de marca de agua, seleccione la columna que se utiliza para marcar las filas que se han cargado incrementalmente. Solo se pueden utilizar las columnas
DATE
,TIMESTAMP
yDATETIME
como columna de marca de agua.
En la lista de entidades de datos disponibles, seleccione las entidades de datos que desea utilizar como origen. Puede seleccionar las entidades de datos individualmente, seleccionar todas las entidades disponibles o utilizar un patrón de archivo para seleccionar entidades como grupo. Los datos de las entidades de datos de origen seleccionadas se cargan en los destinos asignados cuando se ejecuta la tarea.
Data Integration crea reglas para las entidades de datos que incluye como origen. Las reglas se agregan cuando se realizan selecciones de entidades de datos individuales o cuando se utiliza un patrón de archivo (con o sin un nombre de grupo). Las entidades de datos agrupadas se tratan como una entidad lógica durante el tiempo de ejecución.
Al eliminar entidades de datos de la lista Entidades de datos de origen seleccionadas, esas entidades de datos ya no se incluyen en el origen para la tarea del cargador de datos.
Al seleccionar varias entidades de datos de un tipo de origen de almacenamiento de archivos (por ejemplo, Object Storage) para utilizarlas como origen de una tarea del cargador de datos, puede utilizar un patrón de archivo para agrupar y agregar archivos existentes que coincidan con el patrón. Los futuros archivos entrantes que coincidan con el patrón también se incluyen en el grupo.
En el patrón de archivo, también puede utilizar el calificador logicalentity
para agrupar entidades coincidentes en uno o más grupos de patrones. Cada grupo de patrones se trata como una entidad lógica durante el tiempo de ejecución.
Las entidades de datos que coinciden con varios grupos de patrones se incluyen en todos esos grupos.
Tenga en cuenta los siguientes nombres de archivo de entidades de datos que están disponibles para su selección:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
MYSRC_BANK_A_01.csv
MYSRC_BANK_B_01.csv
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csv
Al utilizar el patrón de archivo SRC*.csv
, Data Integration crea una regla de patrón y agrega los siguientes archivos al origen:
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
Al utilizar el patrón de archivo MYSRC_BANK_C*.csv
y proporcionar el nombre de grupo MYSRC
, Data Integration crea una regla de grupo. En tiempo de ejecución, el nombre de grupo consolida todos los archivos que coinciden con el patrón en una entidad de origen denominada MYSRC
. Por ejemplo, se consolidan los siguientes archivos:
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
Cualquier archivo entrante futuro que coincida con el patrón se agrega al grupo. Por ejemplo:
MYSRC_BANK_C_03.csv
MYSRC_BANK_C_04.csv
Cuando utiliza el patrón de archivo con el calificador logicalentity
, MYSRC_BANK_{logicalentity:B|D}*.csv
, y proporciona el prefijo de nombre de grupo MYNEWSRC_
, Data Integration crea una regla de grupo y agrega dos grupos de patrones que consolidan los siguientes archivos coincidentes:
For pattern group MYNEWSRC_B:
MYSRC_BANK_B_01.csv
For pattern group MYNEWSRC_D:
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csv
Data Integration crea grupos en la lista Seleccionar entidades de datos de origen cuando utiliza un patrón de archivo para seleccionar varios archivos (por ejemplo, de Object Storage) como grupo para incluirlos en el origen de una tarea del cargador de datos.
- Vaya al paso Origen, separador Entidades de datos.
- En la lista Entidades de datos de origen seleccionadas, seleccione un nombre de grupo.
- En el panel Ver Detalles de Grupo de Patrones, puede ver el patrón utilizado para crear el grupo y la lista de entidades de datos que coinciden con el patrón.
Data Integration agrega reglas al seleccionar varias entidades de datos para incluirlas en el origen de una tarea del cargador de datos.
Se agrega una regla cuando se realizan selecciones de entidades de datos individuales o, cuando corresponde, se incluyen las entidades por un patrón o grupo. El número de reglas se muestra encima de la tabla Entidades de datos de origen seleccionadas, entre paréntesis junto a Ver reglas. Por ejemplo, Ver reglas (3).
Antes de eliminar una regla de grupo, asegúrese de revisar la lista de entidades de datos afectadas por la eliminación de la regla. Consulte Viewing the List of Files Included in a Group.