Uso de parámetros de flujo de datos
En Data Integration, los tipos de parámetros que puede utilizar en los flujos de datos son definidos por el usuario o generados por el sistema.
Data Integration genera los parámetros del sistema en tiempo de ejecución, como SYS.TASK_START_TIME. Los valores de los parámetros del sistema se pueden utilizar en expresiones para registrar la información del sistema. Actualmente, solo puede utilizar parámetros generados por el sistema con el operador de expresión.
Los parámetros definidos por el usuario le ofrecen la flexibilidad de utilizar tareas con distintas configuraciones de orígenes, destinos y transformaciones en tiempo de diseño y de ejecución. Para utilizar parámetros, primero debe crear parámetros para operadores en un flujo de datos. Por ejemplo, al diseñar un flujo de datos, utilice el separador Detalles del panel Propiedades del operador para agregar y asignar parámetros para los siguientes tipos de recursos:
- activo de datos (origen y destino)
- Conexión (origen y destino)
- Esquema o cubo (origen y destino)
- Entidad de datos (origen y destino)
- Condición (filtro, unión, consulta, división)
Con una entidad de datos, en lugar de parametrizar todo el nombre de la entidad, puede incluir uno o más parámetros en el nombre de la entidad de datos. Consulte About Parameters in Data Entity Names.
Para los operadores de flujo de datos que utilizan expresiones en la configuración, como los operadores de expresión y agregación, y los operadores de filtro, unión, consulta y división, puede utilizar parámetros en las expresiones (también conocidos como parámetros escalares). Consulte Acerca de los parámetros de expresión.
Al utilizar parámetros definidos por el usuario y parámetros de expresión en un flujo de datos, debe especificar valores por defecto para los parámetros. A continuación, al crear una tarea de integración para el flujo de datos parametrizado, puede cambiar uno o más de esos valores por defecto en la página Configurar parámetros o cambiar los valores en tiempo de ejecución. Si no cambia un parámetro durante el tiempo de diseño o en tiempo de ejecución, se utiliza el juego de valores por defecto en el flujo de datos al ejecutar la tarea.
Los parámetros también se pueden asignar a recursos en tareas como SQL, OCI Data Flow y REST. Para utilizar parámetros para los recursos de origen y destino en una tarea del cargador de datos, consulte Uso de parámetros para origen y destino.
Al agregar una tarea con parámetros a un pipeline, puede reconfigurar cualquiera de los valores de los parámetros entrantes definidos en el nivel de tarea o en el nivel de flujo de datos asociado. También puede volver a configurar los valores de parámetros de expresión. Consulte Uso de parámetros en pipelines.
Consideraciones sobre el uso de parámetros
El uso de parámetros evita que los valores y los recursos de integración de datos estén enlazados permanentemente a una tarea de integración. Si no asigna parámetros, los recursos y los valores seleccionados se utilizarán cada vez que ejecute la tarea. Los parámetros le ofrecen la flexibilidad de reutilizar un diseño de flujo de datos con diferentes valores y recursos de integración de datos. Para cambiar valores en el tiempo de diseño, utilice el panel Parámetros o la página Configurar parámetros al configurar el flujo de datos en una tarea de integración.
Aunque los parámetros están diseñados para proporcionarle flexibilidad al ejecutar el flujo de datos en una tarea de integración, pueden volverse rápidamente complejos y confundir. Por ejemplo, cuando agrega un operador de origen a un flujo de datos, debe seleccionar el activo de datos, la conexión, el esquema y, a continuación, la entidad de datos que sirve como origen de datos del flujo de datos. Estos cuatro valores son los valores por defecto del operador. Se pueden asignar parámetros para cada uno de estos valores. Si asigna parámetros, debe tener especial cuidado y prestar atención a los valores que asigne.
Supongamos que asigna parámetros a los valores de entidad de datos y activo de datos, pero no a los valores de conexión ni de esquema. En este caso, corre el riesgo de que se produzcan errores cuando cambie un valor de parámetro. Por ejemplo, si cambia el valor del activo de datos, puede que el nuevo activo de datos no tenga los mismos valores de conexión, esquema o entidad de datos que definió originalmente. Data Integration le advierte cuando cambia un valor, pero debe revisar las relaciones usted mismo y asegurarse de que el flujo de datos sigue funcionando con los valores cambiados. Al diseñar el flujo de datos, en una tarea de integración y al ejecutar la tarea, tenga en cuenta los valores de parámetro en todas partes.
Los parámetros son parámetros locales del flujo de datos para el que se agregan, por lo que no pueden compartirse ni reutilizarse entre flujos de datos.
Preste también atención a los casos en los que agregue un parámetro para una nueva entidad de datos de destino. Las nuevas entidades de datos no tienen forma, lo que significa que aún no contienen atributos. Para evitar que se produzcan errores en el tiempo de diseño o en el tiempo de ejecución, tenga cuidado al reutilizar parámetros asignados para objetos nuevos. Por ejemplo, no asigne el parámetro cuyo valor por defecto sea una nueva entidad de datos de destino a una entidad de datos de origen o una entidad de datos de destino existente.
Acerca de los parámetros de expresión
Los parámetros de las expresiones le ofrecen la flexibilidad de reutilizar expresiones con diferentes valores en tiempo de diseño o de ejecución.
Puede agregar parámetros a expresiones en el nivel de flujo de datos cuando configura operadores que utilizan expresiones. Los parámetros de expresión (también conocidos como parámetros escalares) se aplican a los operadores de filtro, unión, consulta, división, expresión y agregación. En función del operador, utilice el creador de expresiones o el creador de condiciones para agregar parámetros de expresión.
Los parámetros de expresión que agregue a un operador se guardan en el flujo de datos y están disponibles para otros operadores aplicables dentro del flujo de datos.
Un parámetro de expresión tiene un nombre y un valor por defecto, y está asociado a un tipo de dato. Están soportados los siguientes tipos:
NUMERICVARCHARDATEDATETIMEDECIMALDOUBLEFLOATINTEGERTIMESTAMPTINYINTBOOLEANLONGSTRING
Después de crear un parámetro de expresión, no puede cambiar el nombre ni el tipo, ni ninguna otra propiedad que pueda tener el parámetro según el tipo. Solo se puede modificar el valor por defecto. Puede cambiar el valor por defecto en el tiempo de diseño y el tiempo de ejecución.
Por ejemplo, considere la siguiente expresión para un filtro de condición en un flujo de datos:
FILTER_1.COUNTRIES.CITY='Redwood Shores'En lugar de especificar un valor explícito para CITY, puede utilizar un parámetro en la expresión. Supongamos que crea un parámetro de expresión VARCHAR, por ejemplo, P_VARCHAR, y que define el valor por defecto en Redwood Shores. A continuación, puede editar el filtro de condición para utilizar el parámetro de expresión:
FILTER_1.COUNTRIES.CITY=$P_VARCHAREn el tiempo de diseño, puede cambiar el valor por defecto de P_VARCHAR al crear una tarea de integración que utilice ese flujo de datos. A continuación, en el tiempo de ejecución, puede utilizar el valor por defecto definido en la tarea de integración o editar el valor.
Todos los parámetros de expresión que agregue a un flujo de datos estarán disponibles en el panel Parámetros.
Acerca de los parámetros del sistema
Un parámetro del sistema tiene un nombre y un tipo. Puede enlazar el valor de un parámetro del sistema, pero no puede modificarlo.
Al agregar una expresión a un operador de expresión en un flujo de datos, se utiliza el separador Parámetros del creador de expresiones para ver la lista de parámetros del sistema. Puede utilizar parámetros del sistema en expresiones para registrar información del sistema.
En la tabla siguiente se muestran los parámetros del sistema que puede utilizar.
| Nombre | Tipo | Descripción |
|---|---|---|
| SYS.TASK_START_TIME | TIMESTAMP | Hora de inicio de tarea en UTC. |
| SYS.TASK_RUN_KEY |
OCID |
Identificador interno de la ejecución de tarea. |
| SYS.TASK_RUN_NAME |
STRING |
Nombre de la ejecución de tarea. |
| SYS.TASK_SCHEDULE_TRIGGER_TIME | TIMESTAMP | Hora del disparador del programa (de una ejecución de tarea iniciada desde un programa). La hora programada puede ser diferente de la hora de inicio de la tarea. |
| SYS.TASK_SCHEDULE_TIMEZONE | STRING | La zona horaria correspondiente a la hora programada, que representa la hora de la zona horaria según se define en el programa de tareas. |
| SYS.RETRY_ATTEMPT | INTEGER | Número de intentos de ejecución de una tarea configurada para reintentos cuando falla una ejecución. |
Nota: Un valor de OCID es STRING.
Acerca de los parámetros en los nombres de entidades de datos
Al configurar un operador de origen o de destino en un flujo de datos, puede incluir uno o más parámetros en el nombre de la entidad de datos mediante la sintaxis ${PARAMETER_NAME}.
Un nombre de parámetro distingue entre mayúsculas y minúsculas y cada parámetro que utilice debe tener un valor por defecto.
Por ejemplo, CUSTOMERS_${COUNTRY} puede devolver la tabla de bases de datos CUSTOMERS_USA y BANK_${COUNTRY}/* los archivos de Object Storage en BANK_EU.
Para utilizar parámetros en los nombres de entidades de datos, puede agregar el parámetro al flujo de datos antes de agregar el operador de datos. También puede agregar el parámetro en el momento de configurar la entidad de datos para el operador.
-
Para agregar parámetros a un flujo de datos, en el flujo de datos, seleccione Parámetros en el menú Ver de la barra de herramientas del lienzo para abrir el panel Parámetros.
En el panel Parámetros, seleccione Configuración y, a continuación, seleccione Agregar.
En el panel Agregar parámetro, configure un parámetro del tipo de datos adecuado, por ejemplo, VARCHAR o NUMERIC, y agregue un valor por defecto.
-
Para agregar un parámetro en el momento de la configuración de la entidad de datos, en el panel Buscar entidades de datos:
-
En el menú Más acciones, seleccione Agregar parámetro de flujo de datos.
-
En el campo de búsqueda, comience a escribir
${seguido de cualquier carácter. Si el principio del nombre del parámetro coincide con los parámetros existentes en el flujo de datos, se muestra una lista de nombres sugeridos. Para seleccionar un parámetro de la lista, seleccione el nombre del parámetro, complete la sintaxis agregando}y, a continuación, pulse Intro. -
En el campo de búsqueda, introduzca el nombre del parámetro. Si el nombre de parámetro aún no existe en el flujo de datos y pulsa Intro, Data Integration muestra el panel Agregar parámetro de flujo de datos. Asimismo, después de introducir el nombre del parámetro, seleccione Agregar parámetro de flujo de datos en el menú Más acciones.
En el panel Agregar Parámetro de Flujo de Datos, especifique el tipo de datos, el valor por defecto y otras propiedades del parámetro que desea agregar y utilizar.
Solo para Object Storage en un operador de origen: al configurar la entidad de datos en un operador de origen que utiliza un activo de datos de Object Storage, puede utilizar parámetros y patrones de archivo. En el panel Explorar entidades de datos por patrón, introduzca una expresión utilizando parámetros y patrones para seleccionar una o más entidades. Por ejemplo:
ADDRESSES_${STATE}/* -
Para una entidad de datos que incluya un parámetro de flujo de datos en el nombre, no puede enlazar el recurso de entidad a otro parámetro. La opción Asignar parámetro no está disponible.
Acerca del panel Parámetros
El panel Parámetros de un flujo de datos muestra los parámetros que se han definido en todo el flujo de datos.
Utilice el panel Parámetros para ver:
- Todos los parámetros creados para activos de datos, conexiones, esquemas o cubos y entidades de datos utilizados en el flujo de datos.
- Todos los parámetros creados para los operadores de conformación, como el filtro, la unión y la consulta.
- Todos los parámetros de expresión creados para los operadores de expresión y agregación, y los operadores de conformación, como el filtro, la unión, la consulta y la división.
- Todos los parámetros de flujo de datos creados para los nombres de entidad de datos en un flujo de datos.
Para acceder al panel Parámetros cuando el flujo de datos está abierto en el lienzo del diseñador, seleccione Pámetros en el menú Ver de la barra de herramientas del lienzo.
El panel Parámetros tiene dos separadores, Ver y Configuración. En cualquiera de los separadores, puede realizar una búsqueda en la lista introduciendo el nombre completo de un parámetro.
En el separador Ver, puede:
- Consulte los parámetros que se han creado en el flujo de datos, independientemente de si un parámetro está asignado a un objeto. Se asigna un parámetro cuando aparece un valor junto a Utilizado en.
- Reduzca y amplíe los detalles de cada parámetro.
- Seleccione el enlace Utilizado en de un parámetro asignado. El operador que hace referencia a ese parámetro se enfoca en el lienzo y en el panel Propiedades (separador Detalles).
En el separador Configuración:
- Agregue parámetros de expresión y parámetros de flujo de datos. Seleccione Agregar y, a continuación, utilice el panel Agregar parámetro que se muestra para definir el parámetro.
- Cambiar el valor por defecto de un parámetro. En el menú Actions (
) del parámetro, seleccione Edit para utilizar el panel Edit parameter para editar el valor. - Suprima uno o varios parámetros. Consulte Supresión de un parámetro.
Adición de un parámetro
Puede agregar y definir parámetros en operadores asociados a orígenes de datos en un flujo de datos.
Un parámetro de un flujo de datos se puede reutilizar para representar el valor por defecto de otro recurso del mismo tipo dentro del mismo flujo de datos.
La forma en que se define un parámetro depende del tipo de recurso al que se agrega el parámetro. Para todos los tipos de parámetros, proporcione un nombre y una descripción opcional, y defina un valor por defecto para el parámetro. No puede cambiar el nombre ni la descripción después de crear el parámetro.
El siguiente procedimiento no se aplica a la adición de parámetros en expresiones y condiciones. Consulte Adición de un parámetro de expresión. Para agregar parámetros del sistema al operador de expresión, consulte Adición y configuración de un operador de expresión.
Para agregar un parámetro a un flujo de datos:
Visualización de parámetros definidos por el usuario y del sistema
Puede ver los parámetros del sistema que están disponibles en un flujo de datos en tiempo de ejecución y los parámetros definidos por el usuario que ha creado.
Para los parámetros definidos por el usuario, la lista incluye parámetros asignados y no utilizados en el nivel de flujo de datos para activos de datos, conexiones, esquemas o cubos y entidades de datos. En el caso de los parámetros asignados, puede ver dónde se utiliza el parámetro en el flujo de datos.
La lista definida por el usuario también incluye los parámetros de expresión utilizados y los no utilizados. Los parámetros de expresión son parámetros que se agregan en el nivel de flujo de datos mediante el creador de condiciones (operadores de filtro, unión, consulta y división) o el creador de expresiones (operadores de expresión y agregación).
Utilice el separador Parámetros del panel Propiedades del flujo de datos para ver los parámetros definidos por el usuario y del sistema.
Asignación de un parámetro
Puede asignar parámetros a diferentes tipos de recursos, como entidades de datos en operadores de origen y destino, y condiciones en operadores de filtro, unión y consulta.
En un flujo de datos, puede seleccionar entre los parámetros existentes o puede agregar y, a continuación, asignar un parámetro.
Utilice el separador Detalles del panel Propiedades de un operador de flujo de datos para asignar parámetros. El siguiente procedimiento se puede utilizar para asignar parámetros a operadores de origen, destino, filtro, unión y consulta.
Para asignar un parámetro para un operador en un flujo de datos:
Edición de un parámetro
Edite el valor por defecto de un parámetro asignado en el flujo de datos donde se utiliza el parámetro.
También puede cambiar el valor del parámetro al crear una tarea de integración mediante el flujo de datos o al ejecutar la tarea. En el siguiente procedimiento se describe cómo editar un valor de parámetro al diseñar el flujo de datos.
El siguiente procedimiento no se aplica a la edición de parámetros de expresión en expresiones o condiciones.
Para editar un parámetro asignado:
Al editar el parámetro para un recurso de activo de datos, conexión, esquema o entidad de datos, asegúrese de mantener las relaciones adecuadas entre los valores. Por ejemplo, si cambia el valor de esquema, compruebe que el nuevo valor de esquema contiene la entidad de datos seleccionada originalmente. Si el valor editado no contiene la entidad de datos original, corre el riesgo de que se produzcan errores con el flujo de datos en tiempo de ejecución. Aunque Data Integration advierte sobre posibles incidencias, el usuario es responsable de definir los valores adecuados de los parámetros.
Eliminación de un parámetro
La eliminación de un parámetro de un operador, solo elimina la asociación del operador al parámetro.
El parámetro no se suprime del flujo de datos cuando se elimina el parámetro. Puede seguir utilizando el parámetro para otro operador del mismo tipo de recurso.
Cuando se elimina un parámetro, el valor asignado al parámetro se convierte en el valor por defecto del operador.
El siguiente procedimiento no se aplica a la eliminación ni la supresión de parámetros de expresión de expresiones o condiciones.
Para eliminar un parámetro asignado:
- En el lienzo de un flujo de datos, seleccione el operador cuyo parámetro desea eliminar.
- En el separador Detalles del panel Propiedades, para el Tipo de Recurso de Parámetro que desea eliminar, seleccione Eliminar parámetro.
- En el cuadro de diálogo Eliminar parámetro, revise la lista de operadores afectados si elimina este parámetro y, a continuación, haga clic en Eliminar.
Supresión de un parámetro
Cuando se suprime un parámetro de un flujo de datos, el parámetro deja de estar disponible para su uso en el flujo de datos.
Si el parámetro que suprime está asociado a un operador del flujo de datos, el valor asignado al parámetro se convierte en el valor por defecto del operador.
Para suprimir un parámetro:
Adición de un Parámetro de expresión
Utilice el creador de expresiones o el creador de condiciones para agregar parámetros de expresión en un flujo de datos.
Un parámetro de expresión tiene un nombre, un tipo y un valor por defecto. Solo se puede cambiar el valor por defecto una vez creado el parámetro.
Para agregar un parámetro de expresión:
- En función del operador seleccionado, realice una de las siguientes acciones:
- Para un operador de expresión o agregación, seleccione Agregar expresión o Editar en el menú Acciones () para una expresión existente
- Para un operador de filtro, unión o consulta, seleccione Crear o Editar.
- En el caso de un operador de división, seleccione Agregar o Editar en el menú Acciones () para una condición existente.
- Para un operador de expresión o agregación, seleccione Agregar expresión o Editar en el menú Acciones (
Edición de un parámetro de expresión
Solo puede editar los valores por defecto de los parámetros de expresión. No puede modificar el nombre, el tipo ni otras propiedades específicas del tipo de un parámetro de expresión.
Puede utilizar el panel Parámetros o el separador Parámetros del panel Propiedades del flujo de datos para editar los valores por defecto.
El siguiente procedimiento utiliza el separador Parámetros del panel Propiedades del flujo de datos.
-
En la fila del parámetro de expresión que desea cambiar, seleccione Editar en el menú Acciones ().