Documentación de Oracle Cloud Infrastructure

Creación de una tarea de OCI Data Flow

Una tarea de OCI Data Flow en Data Integration está asociada a una aplicación existente creada en OCI Data Flow.

Antes de crear una tarea de OCI Data Flow, asegúrese de tener las políticas, la configuración y la información necesarias para trabajar con las tareas de OCI Data Flow en Data Integration, como se describe en Políticas y configuración necesarias.

Crear una tarea de OCI Data Flow en un proyecto o una carpeta. Data Integration incluye un proyecto por defecto para empezar. Para crear otro proyecto o carpeta, consulte Proyectos y carpetas.

En Data Integration, por defecto, puede tener ejecuciones de tareas simultáneas o paralelas de una tarea en un momento determinado. Para no permitir ejecuciones de tareas simultáneas iniciadas manualmente, seleccione la casilla de control Desactivar ejecución simultánea de la tarea al crear la tarea. Cuando no se permiten ejecuciones de tareas simultáneas, una solicitud de ejecución para la tarea falla si ya hay una ejecución de tarea en curso que está en un estado no terminal.

Nota

Consideraciones de uso de unidades flexibles:

  • Al utilizar una unidad flexible (como VM.Standard.E4.Flex) para el nodo de controlador, el nodo de ejecutor o ambos, personalice el número de OCPU y la cantidad de memoria que necesita.

  • Una unidad flexible proporciona un rango específico de valores de OCPU que puede utilizar para esa unidad.

  • El número de OCPU que utilice para una unidad determina el rango de valores de memoria que puede asignar.

  • Si parametriza la unidad de controlador o ejecutor, se deben configurar las OCPU y la memoria para la unidad. Los valores de OCPU y memoria se utilizan solo cuando el valor del parámetro de unidad es una unidad flexible. Las OCPU y los valores de memoria se ignoran si se configura una unidad no flexible en el parámetro.

    1. En la página Tareas del proyecto o carpeta en la que desea crear una tarea, seleccione Crear tarea y, a continuación, seleccione Flujo de datos de OCI. Si necesita ayuda para buscar la página Tareas en un proyecto o carpeta, consulte Listado de tareas.
    2. En la página Crear tarea de OCI Data Flow, introduzca un nombre y una descripción opcional.

      El identificador es un valor generado por el sistema basado en el nombre. Puede cambiar el valor, pero después de crear y guardar la tarea, no puede actualizar el identificador.

    3. Seleccione la casilla de control Desactivar Ejecución Simultánea de la Tarea si desea no permitir ejecuciones simultáneas de esta tarea.
    4. (Opcional) En Proyecto o carpeta, haga clic en Seleccionar y seleccione un proyecto o una carpeta diferentes en los que guardar la tarea.
    5. Para guardar la tarea por primera vez, seleccione uno de los siguientes botones:

      • Crear: crea y guarda la tarea. Puede seguir creando y editando la tarea.

      • Crear y cerrar: crea y guarda la tarea, cierra la página y le devuelve a la lista de tareas de la página de detalles de proyecto o carpeta.

    6. Guarde periódicamente mientras trabaja seleccionando uno de los siguientes botones:

      • Guardar: confirma los cambios desde la última vez que se guardó. Puede continuar editando después de guardar.

      • Guardar y cerrar: confirma los cambios, cierra la página y le devuelve a la lista de tareas de la página de detalles del proyecto o carpeta.

      • Guardar como: confirma los cambios (desde la última vez que se guardó) y guarda una copia en lugar de sobrescribir la tarea actual. Puede proporcionar un nombre para la copia y seleccionar otro proyecto o carpeta para la copia o guardar la copia en el mismo proyecto o carpeta que la tarea existente.

    7. En la sección Aplicación de flujo de datos de OCI, haga clic en Seleccionar y seleccione la aplicación de flujo de datos de OCI que ejecuta esta tarea siguiendo estos pasos:
      1. En la página Seleccionar una aplicación de OCI Data Flow, seleccione el compartimento que contiene la aplicación que desea asociar a la tarea.
      2. En la lista Solicitudes, seleccione la aplicación.
      3. Haga clic en Seleccionar.

        Volverá a la página Crear tarea de OCI Data Flow.

    8. En la sección Configurar propiedades, seleccione Configurar para configurar las propiedades de la aplicación seleccionada.

      Aparece la página Configuración.

      1. (Opcional) En la sección Parámetros escalares, cree los parámetros escalares que desea utilizar para especificar argumentos en el campo de propiedad Argumentos.

        • Seleccione Agregar parámetros escalares para crear un parámetro escalar. En el panel que aparece, introduzca un nombre, una descripción opcional y seleccione un tipo de datos de la lista de tipos admitidos. Según el tipo de datos seleccionado, es posible que haya otros campos que completar. Por ejemplo, un tipo VARCHAR incluye el campo Length.

          Defina un valor por defecto para este parámetro escalar y seleccione Agregar. El panel se cierra y vuelve a aparecer la página Configuración completa.

          Después de crear un parámetro escalar, solo se puede cambiar el valor por defecto en tiempo de diseño o tiempo de ejecución.

        • Seleccione Ver parámetros escalares para ver una lista de los parámetros escalares que ya se han creado y están disponibles para su uso en esta tarea. En el panel que aparece, anote el nombre del parámetro escalar que desea utilizar.
      2. Especifique los siguientes valores de propiedad directamente o parametrice las propiedades (con valores por defecto). Si no configura explícitamente las propiedades de las aplicaciones en este paso, se utilizan los valores por defecto definidos en la aplicación OCI Data Flow.

        • Unidad de controlador: seleccione el tipo de nodo de cluster que se utilizará para el host del controlador de Spark.

          Si se selecciona una unidad flexible, seleccione el número de OCPU y la cantidad de memoria que se puede asignar a la unidad seleccionada. Los valores aceptables para las OCPU dependen de la unidad seleccionada. Los valores aceptables para la memoria dependen del valor de OCPU seleccionado.

        • Unidad de ejecutor: seleccione el tipo de nodo de cluster que se utilizará para cada host de ejecutor de Spark.

          Si se selecciona una unidad flexible, seleccione el número de OCPU y la cantidad de memoria que se puede asignar a la unidad seleccionada. Los valores aceptables para las OCPU dependen de la unidad seleccionada. Los valores aceptables para la memoria dependen del valor de OCPU seleccionado.

        • Número de ejecutores: introduzca el número de nodos de cluster de ejecutor de Spark que se iniciarán cuando se ejecute la aplicación OCI Data Flow.

        • Argumentos: introduzca una lista separada por comas de los argumentos que se transferirán a la clase principal de la aplicación Java, Python o Scala.

          Para utilizar un parámetro escalar en el campo, introduzca la sintaxis ${PARAMETER_NAME} para un parámetro o una lista separada por comas si agrega más de un parámetro. Por ejemplo: ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          No puede establecer parámetros para la propiedad Arguments si utiliza parámetros escalares para valores de argumentos con parámetros. Para parametrizar la propiedad, elimine los parámetros escalares del campo.

      3. Para asignar parámetros a los valores de propiedad:

        1. Seleccione Asignar parámetro junto a una propiedad.

          Si parametriza la unidad de controlador o ejecutor, se deben configurar las OCPU y la memoria para la unidad. Los valores de OCPU y memoria se utilizan solo cuando el valor del parámetro de unidad es una unidad flexible. Las OCPU y los valores de memoria se ignoran si se configura una unidad no flexible en el parámetro.

          Nota

          No puede parametrizar la propiedad Arguments si utiliza parámetros escalares. Para parametrizar la propiedad, elimine ${PARAMETER_NAME} en el campo y, a continuación, seleccione Asignar parámetro.

        2. En la página Asignar parámetros, realice una de las siguientes acciones:

          • Seleccione un parámetro en la lista. Solo los parámetros del mismo tipo de propiedad aparecen en la lista para su selección.
          • Seleccione Agregar parámetro. En el panel Agregar Parámetro, introduzca un nombre (identificador) y una descripción opcional. A continuación, según el tipo de propiedad, seleccione el valor predeterminado o introduzca el valor predeterminado para la propiedad y seleccione Agregar. El parámetro que se agrega se selecciona automáticamente en la página Asignar parámetros.

        3. Seleccione Asignar.

          Si parametriza las OCPU y los valores de memoria para una unidad flexible, Data Integration muestra un mensaje de error cuando especifica un valor que no está en el rango de valores aceptable para esa propiedad. Edite el parámetro e introduzca uno de los valores aceptables.

      4. (Opcional) En Propiedades de configuración de Spark, agregue un par de claves para una propiedad. Seleccione Otra propiedad si necesita agregar más pares de claves.

        Las propiedades de configuración de Spark que puede agregar pueden depender de la versión de Spark de la aplicación de OCI Data Flow seleccionada. Consulte Propiedades de Spark soportadas.

      5. Cuando haya terminado de configurar las propiedades de la aplicación OCI Data Flow y las propiedades de Spark, seleccione Listo.

        Volverá a la página Crear tarea de OCI Data Flow.

        En la sección Configurar propiedades, el número de parámetros que ha asignado se muestra entre paréntesis junto a Ver parámetros.

    9. (Opcional) Seleccione Ver parámetros para revisar los parámetros asignados, editar un valor de parámetro por defecto o suprimir un parámetro.

      En la página Ver parámetros, edite un valor por defecto o suprima un parámetro mediante el menú Acciones (Menú Acciones) del parámetro. Cuando se suprime un parámetro, el valor asignado al parámetro se convierte en el valor por defecto de esa propiedad.

    10. (Opcional) En la sección Validar tarea, seleccione Validar para comprobar las configuraciones de propiedades.
    11. Cuando termine de configurar la tarea, seleccione Crear y cerrar o Guardar y cerrar.
    Publique la tarea de OCI Data Flow en una aplicación en Data Integration antes de ejecutar la tarea o programe la tarea para su ejecución. Para obtener información sobre la publicación, consulte Publicación en una aplicación de Data Integration.

  • Utilice el comando OCI data-integration task create-task-from-dataflow-task y los parámetros necesarios para crear una tarea de OCI Data Flow:

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Para obtener una lista completa de indicadores y opciones de variables para los comandos de la CLI, consulte la Referencia de la línea de comandos.

  • Ejecute la operación CreateTask con el subtipo de recurso adecuado para crear una tarea de OCI Data Flow.