Uso de operadores de pipeline
En Data Integration, los operadores de pipeline representan distintas tareas y actividades que se pueden utilizar en un pipeline.
Los tipos de operadores de tareas que puede utilizar en un pipeline son:
- Operadores de tareas del cargador de datos e integración que permiten ejecutar soluciones de integración de datos en un pipeline. Puede configurar entradas para los operadores. Las entradas del operador de tarea son similares a los parámetros definidos en un nivel de tarea o de flujo de datos.
- Operadores de tarea de SQL que permiten ejecutar procedimientos almacenados de SQL en un pipeline. Puede configurar valores para los parámetros en los procedimientos almacenados.
- Operadores de tareas de OCI Data Flow que permiten ejecutar aplicaciones de OCI Data Flow en un pipeline.
- Operadores de tareas de REST que permiten ejecutar puntos finales de API de REST en un pipeline. Puede volver a configurar los valores de cualquiera de los parámetros que se utilizan en la tarea de REST.
- Operadores de tareas de pipeline que permiten ejecutar otro pipeline dentro de un pipeline.
Asegúrese de revisar Información de soporte y consideraciones al utilizar pipelines antes de crear o editar un pipeline. Por ejemplo, preste atención al nivel de profundidad anidada y al límite de tareas por nivel.
Para todos los operadores de tareas, puede seleccionar tareas de tiempo de diseño de proyectos en el espacio de trabajo actual y tareas publicadas de cualquier aplicación en el espacio de trabajo actual. Con las tareas REST publicadas y las tareas de OCI Data Flow, también puede seleccionar una tarea de cualquier aplicación en otro espacio de trabajo del mismo compartimento u otro compartimento.
Para las tareas que se ejecutan en paralelo, puede utilizar un operador de fusión y especificar una condición para manejar operaciones posteriores descendentes. Para tomar la salida de cualquier operador y transferirla al siguiente operador, puede utilizar un operador de expresión.
Puede utilizar un diseñador similar al diseñador de flujo de datos para crear un pipeline. El diseñador se abre con un operador de inicio y un operador de finalización colocado en el lienzo para el usuario. Solo puede haber un operador de inicio y un operador final en un pipeline. Un pipeline debe incluir al menos un operador de tarea para que sea válido. Puede agregar cualquier número de tareas y, a continuación, conectarlas en una secuencia entre el operador de inicio y el operador de finalización. En el panel Operadores, arrastre los operadores al lienzo para diseñar el pipeline. A continuación, utilice el panel Propiedades para configurar las propiedades de cada operador.
Las tareas que están conectadas directamente al operador de inicio se ejecutan siempre. Las tareas posteriores de la secuencia se pueden configurar para que se ejecuten según la condición del operador anterior. Por ejemplo, considere un pipeline que tenga la secuencia Inicio > Tarea A > Tarea B > Fin. La tarea A se ejecuta siempre. Para la Tarea B, puede utilizar la propiedad Condición de enlace de entrada en el panel Propiedades para configurar la tarea de modo que se ejecute siempre o se ejecute solo cuando el estado de la Tarea A cumpla una condición de ejecución específica.
Para conectar los operadores, pase el cursor sobre un operador hasta que vea el conector (un círculo pequeño) en el lado derecho del operador. A continuación, arrastre el conector al siguiente operador al que desea conectarse. La conexión es válida cuando una línea conecta los operadores después de soltar el conector.
En general, un operador tiene solo un puerto de entrada y uno o más puertos de salida para que los procesos fluyan a través del pipeline. Por ejemplo, puede conectar el mismo puerto de salida del operador de tarea de SQL a puertos de entrada en dos operadores de expresión independientes. Solo el operador de finalización y el operador de fusión pueden tener varios puertos de entrada.
Puede duplicar rápidamente una tarea u operador de expresión que se ha agregado a un pipeline. Para duplicar el operador, haga clic con el botón derecho en el icono de operador del lienzo y seleccione Duplicar en el menú que aparece. A continuación, cambie el nombre del identificador del operador duplicado en el panel Propiedades. Si el operador original está conectado a otros operadores, las conexiones y cualquier referencia a las salidas de un operador anterior no se copiarán en el operador duplicado.
Operador de inicio y operador de finalización
Cuando empieza a crear un pipeline, el diseñador se abre con un operador de inicio y un operador de finalización colocados en el lienzo. Solo puede haber un operador de inicio y un operador final en un pipeline.
El operador de inicio no tiene ninguna propiedad que pueda configurar.
Con el operador final, puede configurar la propiedad Condición de enlace de entrada para especificar una de las siguientes reglas para el estado de una ejecución de tarea de pipeline:
- Todas finalizadas: el estado de la tarea de pipeline se muestra como Correcto incluso si falla una de las tareas del pipeline.
- Todas correctas: el estado de la tarea de pipeline se muestra como Correcto cuando todas las tareas del pipeline se completan correctamente.
- Todas con fallos: el estado de la tarea de pipeline se muestra como Correcto cuando fallan todas las tareas del pipeline.
Operador de fusión
Para las tareas que se ejecutan en paralelo, puede utilizar el operador de fusión y especificar una condición para decidir cómo se deben manejar las siguientes operaciones descendentes.
Un operador de fusión puede tener varios enlaces de entrada (ascendentes) y varios enlaces de salida (descendentes).
Operador de expresión
Un operador de expresión de pipeline permite crear nuevos campos derivados en un pipeline, similares a un operador de expresión en un flujo de datos.
A diferencia de un operador de expresión de flujo de datos, un operador de expresión de pipeline no opera en los datos. Un operador de expresión de pipeline permite operar en la salida del operador anterior, los parámetros de pipeline y la salida generada por el sistema.
Utilice el Creador de expresiones para seleccionar visualmente elementos para crear una expresión para un operador de expresión en un pipeline. También puede introducir una expresión manualmente en el editor.
El Creador de expresiones es una sección del panel Agregar expresión.
Puede suprimir expresiones cuando ya no las necesite.
- En el lienzo de un pipeline, seleccione un operador de expresión.
- Con el operador de expresión enfocado, en el separador Detalles del panel Propiedades, seleccione la expresión que desea eliminar y, a continuación, seleccione Suprimir.
- En el recuadro de diálogo Suprimir Expresión, verifique que desea suprimir esta expresión y, a continuación, seleccione Suprimir.
Operador de decisión
Utilice el operador de decisión para escribir una condición booleana que determine el flujo de bifurcación en el pipeline. La bifurcación se basa en tres posibles resultados, a saber, TRUE, FALSE y ERROR.
Un operador de decisión tiene un enlace de entrada (upstream) y tres enlaces de salida (downstream).
Operador de tarea del cargador de datos
Un operador de tarea del cargador de datos permite ejecutar una tarea del cargador de datos en un pipeline.
Un operador de tarea del cargador de datos está conectado directamente al operador de inicio y siempre se ejecuta.
Para un operador de tarea que no está conectado directamente al operador de inicio, puede utilizar la propiedad Condición de enlace de entrada para configurar la tarea de modo que se ejecute siempre o solo cuando el estado del operador anterior cumpla una condición de ejecución específica.
Operador de tarea de integración
Un operador de tarea de integración permite ejecutar un flujo de datos configurado para un contexto específico. El flujo de datos se debe encapsular en una tarea de integración.
Un operador de tarea de integración que está conectado directamente al operador de inicio siempre se ejecuta.
Para un operador de tarea que no está conectado directamente al operador de inicio, puede utilizar la propiedad Condición de enlace de entrada para configurar la tarea de modo que se ejecute siempre o solo cuando el estado del operador anterior cumpla una condición de ejecución específica.
Operador de tarea de pipeline
Un operador de tarea de pipeline permite ejecutar un pipeline dentro de otro pipeline.
Un operador de tarea de pipeline que está conectado directamente al operador de inicio se ejecuta siempre.
Para un operador de tarea que no está conectado directamente al operador de inicio, puede utilizar la propiedad Condición de enlace de entrada para configurar la tarea de modo que se ejecute siempre o solo cuando el estado del operador anterior cumpla una condición de ejecución específica.
Operador de tarea de SQL
Un operador de tarea de SQL permite ejecutar un objeto SQL, como un procedimiento almacenado.
Un operador de tarea de SQL que está conectado directamente al operador de inicio siempre se ejecuta.
Para un operador de tarea que no está conectado directamente al operador de inicio, puede utilizar la propiedad Condición de enlace de entrada para configurar la tarea de modo que se ejecute siempre o solo cuando el estado del operador anterior cumpla una condición de ejecución específica.
Operador de tarea de OCI Data Flow
Un operador de tarea de OCI Data Flow permite ejecutar una aplicación de OCI Data Flow en un pipeline.
Un operador de tarea que está conectado directamente al operador de inicio se ejecuta siempre.
Para un operador de tarea que no está conectado directamente al operador de inicio, puede utilizar la propiedad Condición de enlace de entrada para configurar la tarea de modo que se ejecute siempre o solo cuando el estado del operador anterior cumpla una condición de ejecución específica.
Operador de tarea de REST
Un operador de tarea de REST permite ejecutar un punto final de API de REST en un pipeline.
Un operador de tarea que está conectado directamente al operador de inicio se ejecuta siempre.
Para un operador de tarea que no está conectado directamente al operador de inicio, puede utilizar la propiedad Condición de enlace de entrada para configurar la tarea de modo que se ejecute siempre o solo cuando el estado del operador anterior cumpla una condición de ejecución específica.