flujos de datos

Un esquema define la unidad de datos en un sistema de origen o de destino. Al trabajar en un flujo de datos en Data Integration, el cambio de esquema se produce cuando cambian las definiciones de datos.

Por ejemplo, se podría agregar o eliminar un atributo en el origen, o cambiar el nombre de un atributo en el destino. Si no maneja el cambio de esquema, es posible que los procesos de ETL fallen o que pierda la calidad de los datos.

Por defecto, Data Integration gestiona el cambio de esquema. Cuando configure un operador de origen en el diseñador en el flujo de datos, después de seleccionar una entidad, seleccione el separador Opciones avanzadas del panel Propiedades. La Casilla de Control Permitir Cambio de Esquema seleccionada indica que está activado el cambio del esquema.

Cuando el cambio de esquema está activado, Data Integration puede detectar cambios de definición de esquema en las entidades de datos especificadas durante el diseño y el tiempo de ejecución del flujo de datos. Los cambios se seleccionan automáticamente y el esquema se adapta para acomodar nuevos atributos, atributos eliminados, nombres de atributos diferentes, tipos de datos cambiados, etc.

Si desactiva la casilla de control Allow Schema Drift, desactive el cambio de esquema para bloquear las definiciones de esquema cuando se defina el flujo de datos. Cuando el cambio de esquema está desactivado, Data Integration utiliza una unidad fija de la entidad de datos especificada incluso si la unidad subyacente ha cambiado.

Sin gestionar el cambio de esquema, los flujos de datos pueden volverse vulnerables a los cambios del origen de datos ascendente. Con la ayuda del cambio de esquema, los flujos de datos se vuelven más resilientes y se adaptan automáticamente a cualquier cambio. No es necesario rediseñar los flujos en los que se produzcan cambios en las definiciones del esquema.

Para un archivo JSON, el cambio de esquema está desactivado por defecto y no se puede activar si se utiliza un esquema personalizado para inferir la unidad de entidad. Si desea que el cambio de esquema esté disponible y activado, edite el origen de JSON en el flujo de datos o la tarea del cargador de datos y desmarque la casilla de control Usar esquema personalizado.

En Data Integration, una operación de datos en un flujo de datos se puede transferir a un sistema de datos de origen o destino para su procesamiento.

Por ejemplo, se puede realizar una operación de ordenación o filtro en el sistema de origen mientras se leen los datos. En el caso de que uno de los orígenes de una operación de unión esté en el mismo sistema que el destino, la operación de datos se puede transferir al sistema de destino.

Data Integration puede utilizar la ejecución en un flujo de datos cuando utiliza sistemas de datos relacionales que soporten la ejecución. La lista actual incluye bases de datos Oracle, Oracle Autonomous Data Warehouse, Oracle Autonomous Transaction Processing y MySQL.

Por defecto, Data Integration utiliza la ejecución cuando corresponda. Cuando configure un operador de origen en el diseñador en el flujo de datos, después de seleccionar una entidad, seleccione el separador Opciones avanzadas del panel Propiedades. La Casilla de Control Permitir Ejecución seleccionada indica que la ejecución está activada.

Cuando está activada la ejecución, Data Integration convierte la lógica de operación de datos aplicable en sentencias SQL que se ejecutan directamente en la base de datos relacional. Al ejecutar el procesamiento de datos en la base de datos, se extraen y cargan menos datos.

Si desactiva la casilla de control Permitir pushdown, desactiva pushdown. Cuando la ejecución está desactivada, Data Integration recupera todos los datos del sistema de origen y procesa los datos de los clusters de Apache Spark asignados al espacio de trabajo.

Al permitir que Data Integration utilice pushdown, el rendimiento se mejora porque:

• Se utiliza la potencia de procesamiento de la base de datos
• Se ingieren menos datos para su procesamiento.

Según la optimización, Data Integration puede utilizar la ejecución parcial o total en un flujo de datos. La ejecución parcial se realiza cuando se utiliza un sistema de datos relacional soportado en el origen o destino. La ejecución completa se realiza cuando están presentes las siguientes condiciones:

• Solo existe un destino en el flujo de datos.
• En un flujo de datos con un único origen, tanto el origen como el destino utilizan la misma conexión a un sistema de datos relacional soportado.
• En un flujo de datos con varios orígenes, todos los orígenes también deben utilizar la misma base de datos y conexión.
• Todos los operadores de transformación y las funciones del flujo de datos pueden generar un código SQL de ejecución válido.

La preparación de datos garantiza que los procesos de integración de datos ingieran datos precisos y significativos con menos errores para producir datos de calidad con el fin de obtener estadísticas más fiables.

La preparación de los datos incluye la limpieza y validación de los datos para reducir los errores, así como la transformación y el enriquecimiento de los datos antes de cargarlos en los sistemas de destino. Por ejemplo, los datos pueden provenir de diferentes orígenes con varios formatos e incluso de información duplicada. La preparación de datos puede implicar la eliminación de atributos y filas duplicados, la estandarización en un formato para todos los atributos de fecha y el enmascaramiento de datos de atributos confidenciales, como tarjetas de crédito y contraseñas.

Data Integration proporciona operadores y funciones de conformación listas para usar y transformaciones que puede utilizar en herramientas interactivas para preparar los datos a medida que diseñe la lógica para los procesos ETL. Por ejemplo, el separador Atributos permite buscar atributos de entrada por un patrón y aplicar una regla de exclusión.

En el separador Datos, puede aplicar transformaciones en un solo atributo, o filtrar los atributos por un patrón de nombre o un tipo de datos y, a continuación, aplicar transformaciones en un grupo de atributos. También puede obtener una vista previa de los resultados de las transformaciones de datos en el separador Datos, sin tener que ejecutar todo el flujo de datos.

En Data Integration, utilice el separador Asignación para describir el flujo de datos de los atributos de origen a los atributos de destino.

Un destino puede ser una entidad de datos existente o una nueva. En un flujo de datos, el separador Asignación solo se aplica a un operador de destino para una entidad de datos existente. Para las entidades de datos de destino existentes, los atributos de origen y los atributos personalizados procedentes de operaciones ascendentes se asignan a los atributos del destino.

Puede optar por utilizar la asignación automática o la asignación manual. Para la asignación automática, Data Integration puede asignar atributos de entrada a atributos de destino con el mismo nombre o según su posición en las listas de atributos. En la asignación manual, arrastre un atributo de entrada de la lista de origen a un atributo de la lista de destino para crear una asignación. También puede utilizar el cuadro de diálogo Asignar atributo para crear una asignación seleccionando un atributo de origen y un atributo de destino. También puede utilizar un patrón de atributo de origen y un patrón de atributo de destino para crear la asignación.

Al seleccionar la casilla de control Crear nueva entidad de datos en un operador de destino, el separador Asignación no está disponible. Data Integration utiliza los atributos de origen de entrada para crear la tabla o estructura de archivos con una asignación de uno a uno.

Las herramientas que le ayudarán a desplazarse por un flujo de datos o un pipeline en el lienzo son las siguientes:

• Ver: seleccione este menú para abrir o cerrar los paneles Propiedades, Operadores, Validación y Parámetros.
• Acercar: permite acercar el diseño.
• Salir: permite alejar para ver más del diseño.
• Reset Zoom: vuelve a la vista por defecto del diseño.
• Guía de cuadrícula: activa y desactiva las guías de cuadrícula.
• Diseño automático: organiza los operadores en el lienzo.
• Suprimir: elimina el operador seleccionado del lienzo.
• Deshacer: elimina la última acción realizada.
• Rehacer: realiza la última acción si ha seleccionado previamente Deshacer.

El lienzo es el área de trabajo principal, donde se diseña el flujo de datos o el pipeline.

Arrastre objetos del panel Operadores al lienzo para empezar.

Se comienza con un lienzo en blanco para un flujo de datos. Para que un flujo de datos sea válido, debe tener al menos un origen y un destino definidos.

Para un pipeline, se comienza con un lienzo que tiene un operador de inicio y un operador de finalización. El diseño del pipeline debe incluir al menos un operador de tarea para que sea válido.

Para conectar dos operadores, pase el cursor sobre un operador hasta que vea el conector (un círculo pequeño) en el lado derecho del operador. A continuación, arrastre el conector al operador al que desea conectarse. La conexión es válida cuando una línea conecta los operadores después de soltar el conector.

Para insertar un operador entre dos operadores conectados, haga clic con el botón derecho en la línea de conexión y utilice el menú Insertar.

Para suprimir una conexión, puede hacer clic con el botón derecho en una línea y seleccionar Suprimir.

Para duplicar un operador de origen, destino o expresión, haga clic con el botón derecho en el icono de operador y seleccione Duplicar.

El panel Operadores muestra los operadores que puede agregar a un flujo de datos o pipeline.

Arrastre los operadores del panel Operadores al lienzo para diseñar el flujo de datos o el pipeline. Cada operador tiene un juego de propiedades diferente que puede configurar mediante el panel Propiedades.

Para un flujo de datos, puede agregar operadores de entrada, salida y conformación.

Para un pipeline, agregue operadores de entrada, salida y tarea para construir una secuencia.

El panel Propiedades permite configurar el pipeline o el flujo de datos y sus operadores.

Utilice el separador Validación para validar todo el flujo de datos o el pipeline.

En el separador Parámetros, puede ver todos los parámetros definidos en el nivel de pipeline o flujo de datos, incluidos los parámetros generados por el sistema. Para los parámetros definidos por el usuario, puede suprimir parámetros y, si procede, editar los valores por defecto de los parámetros.

Para un flujo de datos, después de agregar un operador en el lienzo, seleccione el operador y utilice el panel Propiedades para configurar el operador. Puede:

• Especifique los detalles del operador, como el identificador, y configure los valores específicos del operador en el separador Detalles.
• Ver los atributos de entrada y salida del operador en el separador Atributos.
• Asignar atributos de entrada a atributos de la entidad de datos de destino para un operador de destino en el separador Asignación.
• Obtener una vista previa de un ejemplo de datos en el separador Datos.
• Validar la configuración del operador en el separador Validación.

Del mismo modo, para un pipeline, después de agregar un operador en el lienzo, seleccione el operador y utilice el panel Propiedades para configurar el operador. Puede:

• Especifique un nombre para el operador en el separador Detalles. Para un operador de fusión, especifique una condición de fusión. Para un operador de expresión, agregue una o más expresiones. Para los operadores de tareas, seleccione una tarea para enlazar al operador y especifique cuándo se ejecuta la tarea en función del estado de ejecución del operador ascendente.

  Para todos los operadores de tareas, puede seleccionar tareas de tiempo de diseño de proyectos en el espacio de trabajo actual y tareas publicadas de cualquier aplicación en el espacio de trabajo actual. Con las tareas REST publicadas y las tareas de OCI Data Flow, también puede seleccionar una tarea de cualquier aplicación en otro espacio de trabajo del mismo compartimento u otro compartimento.

• Si corresponde, especifique las opciones de ejecución de tareas en el separador Configuración.
• Si corresponde, configure los parámetros entrantes en el separador Configuración.
• Ver las salidas del separador Salida, las cuales se pueden utilizar como entradas para el siguiente operador en el pipeline.
• Si corresponde, valide la configuración del operador en el separador Validación.

El panel Parámetros muestra los parámetros utilizados en un flujo de datos o en un pipeline.

También puede suprimir un parámetro del panel Parámetros.

Puede ver todos los mensajes de error y de advertencia para un flujo de datos o un pipeline en el panel Validación global.

En la barra de herramientas del lienzo, seleccione Validar para comprobar y depurar el flujo de datos antes de utilizar el flujo de datos en una tarea de integración. Del mismo modo, compruebe y depure los pipelines antes de utilizarlos en una tarea de pipeline. El panel Validación global se abre y muestra mensajes de error y advertencia para que los solucione. La selección de un mensaje pone el enfoque en el operador que generó el mensaje de error o advertencia.