Documentación de Oracle Cloud Infrastructure

Creación de una tarea de integración

Cree una tarea de integración en un proyecto o una carpeta en Data Integration. Una tarea de integración permite realizar un flujo de datos de Data Integration y configurar los valores de parámetros que desea utilizar en tiempo de ejecución.

Data Integration incluye un proyecto por defecto para empezar. Para crear su propio proyecto o carpeta, consulte Proyectos y carpetas. Una tarea de integración en un proyecto o carpeta puede hacer referencia a un flujo de datos desde cualquier proyecto o carpeta del mismo espacio de trabajo.

En Data Integration, por defecto, puede tener ejecuciones de tareas simultáneas o paralelas de una tarea en un momento determinado. Para no permitir ejecuciones de tareas simultáneas iniciadas manualmente, seleccione la casilla de control Desactivar ejecución simultánea de la tarea al crear la tarea. Cuando no se permiten ejecuciones de tareas simultáneas, una solicitud de ejecución para la tarea falla si ya hay una ejecución de tarea en curso que está en un estado no terminal.

Para actualizar la configuración de ejecución de una tarea para utilizar el servicio OCI Data Flow, asegúrese de que ya ha creado los recursos necesarios, como cubos de Object Storage y pools de Data Flow, como se describe en Configuración y políticas necesarias para que el servicio OCI Data Flow ejecute tareas.

    1. En la página Tareas del proyecto o la carpeta en la que desea crear una tarea, seleccione Crear tarea y, a continuación, Integración. Si necesita ayuda para buscar la página Tareas en un proyecto o carpeta, consulte Listado de tareas.
    2. En la página Crear tarea de integración, introduzca la siguiente información básica:
      1. En los campos Nombre e Identificador, introduzca los valores que desea o deje que Data Integration rellene los valores automáticamente, según el nombre del flujo de datos que seleccione para esta tarea (en el siguiente paso).

        Si desea que Data Integration rellene los campos automáticamente, no cambie ni introduzca valores antes de seleccionar un flujo de datos. Puede cambiar los valores después de rellenar los campos con valores basados en el nombre del flujo de datos seleccionado.

        En cualquier caso, el identificador es un valor generado por el sistema basado en el nombre. Puede cambiar el valor, pero después de crear y guardar la tarea, no puede actualizar el identificador.

      2. (Opcional) Introduzca una descripción para la tarea.
      3. Seleccione la casilla de control Desactivar Ejecución Simultánea de la Tarea si desea no permitir ejecuciones simultáneas de esta tarea.
      4. (Opcional) En Proyecto o carpeta, haga clic en Seleccionar y seleccione un proyecto o una carpeta diferentes en los que guardar la tarea.
    3. En la sección Flujo de datos, haga clic en Seleccionar y seleccione el flujo de datos que ejecuta esta tarea siguiendo estos pasos:
      1. En el panel Seleccionar un flujo de datos, realice una de las siguientes acciones:
        • Seleccione un flujo de datos guardado en el proyecto o carpeta en el que está trabajando actualmente.
        • Para seleccionar un flujo de datos guardado en otro proyecto o carpeta, haga clic en Seleccionar junto al nombre de proyecto o carpeta actual. En el panel Seleccionar proyecto o carpeta que aparece, seleccione el proyecto o la carpeta y haga clic en Seleccionar. A continuación, seleccione el flujo de datos de la lista de flujos de datos disponibles.
      2. Haga clic en Seleccionar.

        Data Integration comienza a validar el flujo de datos seleccionado y vuelve a la página Crear tarea de integración.

        Si se encuentran algún error o advertencia relacionada con el flujo del datos, seleccione el nombre del flujo para abrirlo en un nuevo separador. Resuelva los errores o advertencias y guarde el flujo de datos. Al volver a la página Crear tarea de integración, Data Integration vuelve a validar automáticamente el flujo de datos.

    4. Para guardar la tarea por primera vez, seleccione uno de los siguientes botones:

      • Crear: crea y guarda la tarea. Puede seguir creando y editando la tarea.

      • Crear y cerrar: crea y guarda la tarea, cierra la página y le devuelve a la lista de tareas de la página de detalles de proyecto o carpeta.

    5. Guarde periódicamente mientras trabaja seleccionando uno de los siguientes botones:

      • Guardar: confirma los cambios desde la última vez que se guardó. Puede continuar editando después de guardar.

      • Guardar y cerrar: confirma los cambios, cierra la página y le devuelve a la lista de tareas de la página de detalles del proyecto o carpeta.

      • Guardar como: confirma los cambios (desde la última vez que se guardó) y guarda una copia en lugar de sobrescribir la tarea actual. Puede proporcionar un nombre para la copia y seleccionar otro proyecto o carpeta para la copia o guardar la copia en el mismo proyecto o carpeta que la tarea existente.

    6. En la sección Run configuration, realice una de las siguientes acciones:

      • Por defecto, todas las tareas que cree en Data Integration están configuradas para ejecutarse en el servicio OCI Data Integration, como se indica en la etiqueta Servicio de ejecución de tareas: servicio OCI Data Integration. No es necesario realizar ninguna configuración adicional. Continuar con el paso 10.

      • Para ejecutar esta tarea en el servicio OCI Data Flow, seleccione Editar.

        Nota

        Asegúrese de que ya ha creado los recursos y políticas necesarios para utilizar el servicio OCI Data Flow. Consulte Configuración y políticas necesarias para que OCI Data Flow Service ejecute tareas.

        Si ha cumplido los requisitos, continúe con el paso 9 para actualizar la configuración de ejecución de la tarea y, opcionalmente, utilice parámetros para las propiedades de ejecución.

    7. En la página Actualizar configuración de ejecución de tarea, seleccione Servicio OCI Data Flow. A continuación, complete las siguientes selecciones para actualizar o parametrizar las propiedades de ejecución de OCI Data Flow.

      Estos pasos solo se deben realizar una vez que haya cumplido los requisitos previos, como se describe en Configuración y políticas necesarias para que el servicio OCI Data Flow ejecute tareas.

      1. Seleccione el pool en OCI Data Flow para ejecutar esta tarea.
      2. (Opcional) Seleccione el punto final privado en OCI Data Flow.
      3. En Ruta de acceso de cubo de log, seleccione el cubo de Object Storage que se utilizará para los logs de ejecución de la aplicación OCI Data Flow.

        Si esta es la primera vez que está editando la configuración de ejecución del servicio OCI Data Flow de la tarea, y el cubo dis-df-system-bucket ya existe en Object Storage, Data Integration selecciona automáticamente ese cubo, como lo indica oci://dis-df-system-bucket@<tenancy-name> en el campo de selección.

      4. En Ruta de acceso de cubo de artefacto, seleccione el cubo de Object Storage que desea utilizar para artefactos de trabajo de ejecución de Data Integration, como archivos jar y zip.

        Si esta es la primera vez que está editando la configuración de ejecución del servicio OCI Data Flow de la tarea, y el cubo dis-df-system-bucket ya existe en Object Storage, Data Integration selecciona automáticamente ese cubo, como lo indica oci://dis-df-system-bucket@<tenancy-name> en el campo de selección.

      5. (Opcional) En Compartimento de aplicación, seleccione el compartimento para la aplicación OCI Data Flow que se crea cuando se ejecutan las tareas del servicio Data Integration en el servicio Data Flow.

        Si no se especifica un compartimento de aplicación, se utiliza el compartimento de aplicación de Data Integration.

      6. Introduzca el número mínimo de trabajadores (o ejecutores) que se utilizarán para los trabajos de OCI Data Flow.

        El valor por defecto es 1. Si el valor para Número máximo de trabajadores también es 1, la asignación dinámica para trabajos de OCI Data Flow no se utilizará.

      7. Introduzca el número máximo de trabajadores (o ejecutores) que se utilizarán para los trabajos de OCI Data Flow.

        El valor predeterminado es 1, lo que indica que la asignación dinámica no se utiliza. Si desea utilizar la asignación dinámica para trabajos de OCI Data Flow, especifique un valor mayor. Este valor debe ser mayor o igual que el valor de Número mínimo de trabajadores.

      8. (Opcional) En Propiedades de configuración de Spark de OCI Data Flow, introduzca una o más propiedades de Spark que utilizar para la ejecución de la tarea.

        Una propiedad de Spark es un par clave-valor. Seleccione Otra propiedad para agregar más pares clave-valor, según sea necesario.

        Para conocer las propiedades de configuración de Spark que puede agregar, consulte Propiedades de Spark soportadas.

      9. (Opcional) Después de configurar cualquier propiedad de ejecución de tarea (pasos 9a a 9h), seleccione Parámetros que esté por debajo del valor de propiedad configurado para asignar un parámetro a esa propiedad.

        Al parametrizar, Data Integration agrega un parámetro de tipo Cadena y define el valor de parámetro por defecto en el valor que está configurado actualmente para esa propiedad. Se muestra la etiqueta Parameterized seguida de un nombre de parámetro. Por ejemplo: Parametrizado: OCI_DF_POOL

        Los nombres de parámetros son:

        Propiedad de ejecución de tarea Nombre del parámetro
        Conjunto OCI_DF_POOL
        Punto final privado OCI_DF_PRIVATE_ENDPOINT
        Ruta de cubo de log OCI_DF_LOG_BUCKET
        Ruta de cubo de artefactos OCI_DF_ARTIFACT_BUCKET
        Compartimento de aplicación OCI_DF_APP_COMPARTMENT
        Número mínimo de trabajadores OCI_DF_MIN_WORKERS
        Número máximo de trabajadores OCI_DF_MAX_WORKERS
        Configuración personalizada de OCI Data Flow OCI_DF_CUSTOM_OCI_DF_SPARK_CONFIG

        Las acciones para un parámetro son:

        • Seleccione Editar para agregar o editar una descripción de parámetro. El nombre y el tipo de parámetro no se pueden editar. Una descripción del parámetro, si se agrega, se muestra como un consejo en el panel para cambiar los valores del parámetro en tiempo de diseño o en tiempo de ejecución.
        • Seleccione Eliminar si ya no desea que se parametrice una propiedad.
      10. Seleccione Guardar.
    8. (Opcional) Si se asignan parámetros en el flujo de datos seleccionado, siga estos pasos para ver y cambiar los valores de parámetros por defecto:
      1. En la sección Configurar parámetros, seleccione Configurar.
      2. En la página Configurar parámetros, cambie los valores por defecto según sea necesario.

        Tenga en cuenta las siguientes restricciones al editar los valores por defecto:

        • Si la estrategia de extracción incremental para un origen de BICC está configurada para utilizar una fecha gestionada por el parámetro del sistema de Data Integration SYS.LAST_LOAD_DATE, no puede cambiar el valor de fecha durante el tiempo de diseño.

        • Si la estrategia de extracción incremental para un origen de BICC está configurada para utilizar una fecha de última extracción con parámetros que ha agregado, puede cambiar el valor de fecha durante el tiempo de diseño y el tiempo de ejecución.

        • Si se configura una entidad de datos de destino con parámetros para utilizar la estrategia de fusión, puede cambiar la selección de clave de fusión.

        • Para un activo de datos con parámetros que requiere una ubicación temporal: si selecciona un activo de datos que no tiene una ubicación temporal por defecto especificada en ese activo de datos, Data Integration muestra una notificación de advertencia. Cuando vea la notificación, seleccione una de las siguientes opciones:
          • Actualice el activo de datos añadiendo una ubicación temporal por defecto.
          • Elija otro activo de datos que tenga una ubicación temporal por defecto.

      3. Seleccione Configurar o Cancelar.
        Volverá a la página Crear tarea de integración.
    9. (Opcional) En la sección Validar tarea, seleccione Validar para comprobar las configuraciones de parámetros.

      Si hay errores o advertencias, seleccione Ver mensajes. Resuelva cualquier error antes de publicar la tarea.

    10. Cuando termine de configurar la tarea, seleccione Crear y cerrar o Guardar y cerrar.
    Publique la tarea de integración en una aplicación en Data Integration antes de ejecutar la tarea o programe la tarea para su ejecución. También puede publicar la tarea de integración en OCI Data Flow, si corresponde. Para obtener información sobre la publicación, consulte Task Publishing.

  • Utilice el comando oci data-integration task create-integration-task y los parámetros necesarios para crear una tarea de integración:

    oci data-integration task create-integration-task [OPTIONS]

    Para obtener una lista completa de indicadores y opciones de variables para los comandos de la CLI, consulte la Referencia de la línea de comandos.

  • Ejecute la operación CreateTask con el subtipo de recurso adecuado para crear una tarea de integración.