Documentación de Oracle Cloud Infrastructure

Creación de una tarea de pipeline

Cree una tarea de pipeline en un proyecto o una carpeta en Data Integration. Una tarea de pipeline le permite configurar los valores de parámetros que desea utilizar en tiempo de ejecución en un pipeline de Data Integration.

Data Integration incluye un proyecto por defecto para empezar. Para crear otros proyectos o carpetas, consulte Proyectos y carpetas.

Una tarea de pipeline en un proyecto o una carpeta pueden hacer referencia a un pipeline de cualquier proyecto o carpeta del mismo espacio de trabajo.

En Data Integration, por defecto, puede tener ejecuciones de tareas simultáneas o paralelas de una tarea en un momento determinado. Para no permitir ejecuciones de tareas simultáneas iniciadas manualmente, seleccione la casilla de control Desactivar ejecución simultánea de la tarea al crear la tarea. Cuando no se permiten ejecuciones de tareas simultáneas, una solicitud de ejecución para la tarea falla si ya hay una ejecución de tarea en curso que está en un estado no terminal.

Al configurar parámetros de tareas configuradas para ejecutarse en el servicio OCI Data Flow, utilice el siguiente formato si está editando los valores de parámetros por defecto para OCI_DF_LOG_BUCKET y OCI_DF_ARTIFACT_BUCKET: oci://<bucket-name>@<tenancy-name>

    1. En la página Tareas del proyecto o la carpeta en la que desea crear una tarea, seleccione Crear tarea y, a continuación, Pipeline. Si necesita ayuda para buscar la página Tareas en un proyecto o carpeta, consulte Listado de tareas.
    2. En la página Crear tarea de pipeline, introduzca la siguiente información básica:
      1. En los campos Nombre e Identificador, introduzca los valores que desea o deje que Data Integration rellene los valores automáticamente, según el nombre del pipeline que seleccione para esta tarea (en el siguiente paso).

        Si desea que Data Integration rellene los campos automáticamente, no cambie ni introduzca valores antes de seleccionar un pipeline. Puede cambiar los valores después de rellenar los campos con valores basados en el nombre del pipeline seleccionado.

        En cualquier caso, el identificador es un valor generado por el sistema basado en el nombre. Puede cambiar el valor, pero después de crear y guardar la tarea, no puede actualizar el identificador.

      2. (Opcional) Introduzca una descripción para la tarea.
      3. Seleccione la casilla de control Desactivar Ejecución Simultánea de la Tarea si desea no permitir ejecuciones simultáneas de esta tarea.
      4. (Opcional) En Proyecto o carpeta, haga clic en Seleccionar y seleccione un proyecto o una carpeta diferentes en los que guardar la tarea.
    3. En la sección Pipeline, haga clic en Seleccionar y seleccione el pipeline que ejecuta esta tarea siguiendo estos pasos:
      1. En el panel Seleccionar un pipeline, realice una de las siguientes acciones:
        • Seleccione un pipeline guardado en el proyecto o carpeta en el que está trabajando actualmente.
        • Para seleccionar un pipeline guardado en otro proyecto o carpeta, haga clic en Seleccionar junto al nombre de proyecto o carpeta actual. En el panel Seleccionar proyecto o carpeta que aparece, seleccione el proyecto o la carpeta y, a continuación, seleccione el pipeline de la nueva lista de pipelines disponibles.
      2. Haga clic en Seleccionar.

        Data Integration comienza a validar el pipeline seleccionado y vuelve a la página Crear tarea de pipeline.

        Si hay errores o advertencias en el pipeline, seleccione el nombre del pipeline para abrirlo en un nuevo separador. Resuelva los errores o advertencias y guarde el pipeline. Al volver a la página Crear tarea de pipeline, Data Integration vuelve a validar automáticamente el pipeline.

    4. Para guardar la tarea por primera vez, seleccione uno de los siguientes botones:

      • Crear: crea y guarda la tarea. Puede seguir creando y editando la tarea.

      • Crear y cerrar: crea y guarda la tarea, cierra la página y le devuelve a la lista de tareas de la página de detalles de proyecto o carpeta.

    5. Guarde periódicamente mientras trabaja seleccionando uno de los siguientes botones:

      • Guardar: confirma los cambios desde la última vez que se guardó. Puede continuar editando después de guardar.

      • Guardar y cerrar: confirma los cambios, cierra la página y le devuelve a la lista de tareas de la página de detalles del proyecto o carpeta.

      • Guardar como: confirma los cambios (desde la última vez que se guardó) y guarda una copia en lugar de sobrescribir la tarea actual. Puede proporcionar un nombre para la copia y seleccionar otro proyecto o carpeta para la copia o guardar la copia en el mismo proyecto o carpeta que la tarea existente.

    6. (Opcional) Si se asignan parámetros en el pipeline seleccionado, siga estos pasos para ver y cambiar los valores de parámetros por defecto:
      1. En la sección Configurar parámetros, seleccione Configurar.
      2. En la página Configurar parámetros, cambie los valores por defecto según sea necesario.

        Tenga en cuenta las siguientes restricciones al editar los valores por defecto:

        • Para propiedades de ejecución con parámetros en tareas configuradas para ejecutarse en el servicio OCI Data Flow, utilice el siguiente formato si edita los valores de parámetro por defecto para OCI_DF_LOG_BUCKET y OCI_DF_ARTIFACT_BUCKET: oci://<bucket-name>@<tenancy-name>

        • Si la estrategia de extracción incremental para un origen de BICC está configurada para utilizar una fecha gestionada por el parámetro del sistema de Data Integration SYS.LAST_LOAD_DATE, no puede cambiar el valor de fecha durante el tiempo de diseño.

        • Si la estrategia de extracción incremental para un origen de BICC está configurada para utilizar una fecha de última extracción con parámetros que ha agregado, puede cambiar el valor de fecha durante el tiempo de diseño y el tiempo de ejecución.

        • Si se configura una entidad de datos de destino con parámetros para utilizar la estrategia de fusión, puede cambiar la selección de clave de fusión.

        • Para un activo de datos con parámetros que requiere una ubicación temporal: si selecciona un activo de datos que no tiene una ubicación temporal por defecto especificada en ese activo de datos, Data Integration muestra una notificación de advertencia. Cuando vea la notificación, seleccione una de las siguientes opciones:
          • Actualice el activo de datos añadiendo una ubicación temporal por defecto.
          • Elija otro activo de datos que tenga una ubicación temporal por defecto.

        • Para una tarea de OCI Data Flow con parámetros:

          • Con una unidad de controlador o ejecutor con parámetros, las OCPU y los valores de memoria se ignoran si se configura una unidad no flexible en el parámetro. Las OCPU y los valores de memoria se utilizan solo al configurar una unidad flexible como valor de parámetro.

          • Con OCPU con parámetros y valores de memoria para una unidad flexible, asegúrese de especificar un valor que esté en el rango de valores aceptable para esa propiedad. Los valores aceptables para las OCPU dependen de la unidad flexible. Los valores aceptables para la memoria dependen del valor de OCPU.

      3. Seleccione Configurar o Cancelar.
        Volverá a la página Crear tarea de pipeline.
    7. (Opcional) En la sección Validar tarea, seleccione Validar para comprobar las configuraciones de parámetros.

      Si hay errores o advertencias, seleccione Ver mensajes. Resuelva cualquier error antes de publicar la tarea.

    8. Cuando termine de configurar la tarea, seleccione Crear y cerrar o Guardar y cerrar.
    Publique la tarea en una aplicación en Data Integration antes de ejecutar la tarea o programe la tarea para su ejecución. Para obtener información sobre la publicación, consulte Publicación en una aplicación de Data Integration.

  • Utilice el comando oci data-integration task create-pipeline-task y los parámetros necesarios para crear una tarea de pipeline:

    oci data-integration task create-pipeline-task [OPTIONS]

    Para obtener una lista completa de indicadores y opciones de variables para los comandos de la CLI, consulte la Referencia de la línea de comandos.

  • Ejecute la operación CreateTask con el subtipo de recurso adecuado para crear una tarea de pipeline.