Documentación de Oracle Cloud Infrastructure

Creación de un pipeline

Crear un pipeline en un proyecto o carpeta en Data Integration. Un pipeline es un recurso de tiempo de diseño para conectar tareas y actividades en una o más secuencias o en paralelo de principio a fin para orquestar el procesamiento de datos.

Data Integration incluye un proyecto por defecto para empezar. Para crear otros proyectos o carpetas, consulte Proyectos y carpetas.

Puede agregar tareas publicadas y tareas de tiempo de diseño en un pipeline. Las tareas publicadas pueden ser de cualquier aplicación en el espacio de trabajo actual u otro espacio de trabajo en el mismo compartimento o un compartimento diferente.

Asegúrese de revisar Información de soporte y consideraciones al utilizar pipelines antes de crear o editar un pipeline. Por ejemplo, preste atención al nivel de profundidad anidada y al límite de tareas por nivel.

    1. En la sección Pipelines del proyecto o la carpeta en la que desea crear un pipeline, seleccione Crear pipeline. Si necesita ayuda para buscar la sección Pipelines en una página de detalles de proyecto o carpeta, consulte Lista de pipelines.

      Data Integration muestra el diseñador en un separador. El panel Operadores y el panel Propiedades están abiertos, y se colocan un operador de inicio y un operador de finalización en el lienzo. Para obtener información sobre estos operadores, consulte Start Operator and End Operator.

    2. En el separador Detalles del panel Propiedades, introduzca un nombre y una descripción opcional para el pipeline.

      El identificador es un valor generado por el sistema basado en el nombre. Puede cambiar el valor, pero después de crear y guardar el pipeline, no puede actualizar el identificador.

    3. (Opcional) En el campo Proyecto o carpeta, haga clic en Seleccionar y seleccione un proyecto o una carpeta diferentes en los que guardar el pipeline.
    4. Arrastre los operadores de pipeline desde el panel Operadores al lienzo para diseñar el pipeline.

      Para duplicar una tarea u operador de expresión, haga clic con el botón derecho en el icono de operador y seleccione Duplicar. A continuación, seleccione el operador duplicado y cambie el nombre del identificador en el panel Propiedades.

      Tenga en cuenta las siguientes restricciones al utilizar la acción duplicada:

      • La acción duplicada no está disponible para los operadores de inicio, finalización y fusión.

      • Si el operador original está conectado a otros operadores, las conexiones no se copiarán en el operador duplicado.

      • Si el operador original ha configurado salidas del operador anterior, las configuraciones de salida no se copian en el operador duplicado.

    5. Para guardar el pipeline por primera vez, seleccione uno de los siguientes botones:
      • Crear: crea y guarda el pipeline. Puede seguir creando y editando el pipeline en el diseñador.
      • Crear y cerrar: crea y guarda el pipeline, cierra el diseñador y le devuelve a la lista Pipelines de la página de detalles del proyecto o carpeta.

      Guarde periódicamente mientras trabaja en el diseñador seleccionando uno de los siguientes botones:

      • Guardar: confirma los cambios desde la última vez que se guardó. Puede continuar editando después de guardar.
      • Guardar y cerrar: confirma los cambios, cierra el diseñador y le devuelve a la lista Pipelines de la página de detalles del proyecto o carpeta.
      • Guardar como: confirma los cambios (desde la última vez que se guardó) y guarda una copia en lugar de sobrescribir el pipeline actual. Puede proporcionar un nombre para la copia y seleccionar otro proyecto o carpeta para la copia o guardar la copia en el mismo proyecto o carpeta que el pipeline actual.
    6. En el separador Configuración del panel Propiedades, complete la configuración de un operador de tarea y la regla del operador final.
    7. En el separador Parámetros del panel Propiedades del pipeline, vea y edite los parámetros del pipeline.
    8. Validar el pipeline para comprobar si hay advertencias o errores que puedan causar problemas durante el tiempo de ejecución. En la barra de herramientas del diseñador, seleccione Validar.

      Data Integration muestra el panel Validación global. Si se encuentran advertencias o errores, seleccione un nombre de identificador en la lista de problemas para centrar el operador con esa advertencia o error en el lienzo.

    9. Cuando termine de trabajar en el pipeline, seleccione Crear y cerrar o Guardar y cerrar.
    Para ejecutar el pipeline, cree una tarea de pipeline. Consulte Creación de una tarea de pipeline.

  • Utilice el comando oci data-integration pipeline create y los parámetros necesarios para crear un pipeline:

    oci data-integration pipeline create [OPTIONS]

    Para obtener una lista completa de indicadores y opciones de variables para los comandos de la CLI, consulte la Referencia de la línea de comandos.

  • Ejecute la operación CreatePipeline para crear un pipeline.