Documentación de Oracle Cloud Infrastructure

Ejecución de flujos de trabajo de Oozie con trabajos de Spark a través de Hue

Puede ejecutar el flujo de trabajo de Oozie con trabajos de Spark a través de Hue en clusters de Big Data Service.

Para ejecutar el flujo de trabajo de Oozie, utilice el editor de Oozie para crear y actualizar el flujo de trabajo de Oozie. A continuación, puede ejecutar el flujo de trabajo en la interfaz de usuario de Hue.

Para el análisis, el uso de Hive y Spark es crucial, y debe programar un flujo de trabajo de Oozie para trabajos de Spark.

Oozie ofrece formas de ejecutar una amplia variedad de trabajos. Lo hace mediante una interfaz de acción.

Puede ejecutar trabajos de Spark en Hue de las siguientes formas:

  1. Acción de Spark: llame al trabajo spark proporcionando el archivo pyspark/JAR para disparar
  2. Acción de shell: utilice el shell como envoltorio para llamar a lo que sea necesario y ejecutar el envío de Spark como parte de la acción de shell.

Flujos de trabajo de Oozie usando HUE

Utilice el editor de Oozie para configurar el flujo de trabajo para los clusters de Big Data Service.

Mediante el editor de Oozie, configure un flujo de trabajo de Oozie. Seleccione el widget de acción adecuado (Spark, shell u otro) y agréguelo al flujo de trabajo arrastrándolos y soltándolos en el flujo de trabajo a través de la interfaz de usuario

Después de agregar el widget y proporcionar todos los detalles relevantes, ejecute el trabajo con el botón Reproducir en el editor de Oozie. Esto activa el flujo de trabajo de Oozie e inicia la ejecución.

Después de la ejecución del trabajo, consulte varios detalles en el directorio /user/hue/oozie/workspaces/<id> que contiene workflow.xml, job.properties y todos los detalles relevantes para la ejecución.

Uso de Oozie en Hue

Ejecución de una acción de Spark

  1. Inicie sesión en Hue.
  2. Cree un archivo de script y cárguelo en Hue.
  3. En el menú de navegación situado más a la izquierda, haga clic en Scheduler.
  4. Haga clic en Flujo de trabajo y, a continuación, en Mi flujo de trabajo para crear un flujo de trabajo.
  5. Haga clic en el icono de programa de Spark para arrastrar la acción de Spark al área Borrar la acción aquí.
  6. Seleccione el archivo Jar o el archivo Python en la lista desplegable Jar/py name.
  7. En Clase principal, especifique el punto de entrada de clase de la aplicación Spark para la aplicación Java/Scala de Spark, junto con el archivo JAR.
  8. Para clusters de alta disponibilidad:
    • En el campo Archivos, agregue la tabla de claves haciendo clic en el símbolo más.
    • En la lista Opciones, agregue el siguiente parámetro:
      --principal <principal> --keytab <keytab>
  9. Para acceder a las tablas de Hive en un entorno de alta disponibilidad, haga clic en el icono de engranaje y, a continuación, haga clic en Credenciales.
  10. Seleccione hcat.
  11. Haga clic en el icono de guardar.

Ejecución de una acción de shell

Con el editor de Oozie, puede agregar más detalles a la acción de shell que abarca más archivos y propiedades que se utilizarán durante la acción de shell.

  1. Inicie sesión en Hue.
  2. Cree un archivo de script y cárguelo en Hue.
  3. En el menú de navegación situado más a la izquierda, haga clic en Scheduler.
  4. Haga clic en Flujo de trabajo y, a continuación, en Mi flujo de trabajo para crear un flujo de trabajo.
  5. Haga clic en el icono del programa Shell para arrastrar la acción Shell al área Borrar la acción aquí.
  6. Proporcione el shell desde la ubicación de HDFS en la sección Shell Command.
  7. En la sección Files, agregue:
    1. Ubicación de HDFS para el script de shell
    2. Ubicación de HDFS para el archivo Jar/Python que contiene el trabajo de Spark
  8. Haga clic en el icono de guardar.
  9. Para los clusters de HA, se debe proporcionar permiso para acceder a los archivos mediante Ranger para acceder a:
    • Directorio /user/hue para que el usuario pueda acceder a los directorios desde el matiz.
    • Directorio /user/{user} para que el usuario pueda colocar archivos jar/py en su directorio

    Complete lo siguiente:

    1. Inicie sesión en Ranger UI y navegue hasta el plugin Hue.
    2. Seleccione la política para agregar el usuario.
    3. En Permitir condiciones, agregue el usuario o el grupo para permitir el acceso.
    4. Haga clic en Guardar.Agregar usuario a política de matiz