Uso de Apache Flink

Apache Flink es un motor de procesamiento para cálculos a través de flujos de datos no enlazados y enlazados.

Nota

Zookeeper HA está activado por defecto al ejecutar trabajos Flink en un cluster de Big Data Service. Para aplicar las ACL en el znode creado, actualice el parámetro ACL del cliente HA Zookeeper al creador (el valor por defecto está definido en open). Para obtener más información sobre las ACL, consulte esta sección en la documentación pública de Flink: ZooKeeper HA Services.

Todos los componentes de Apache Flink, incluidos Job Manager y Task Manager, se ejecutan en el contenedor YARN.
ODH soporta la ejecución de la aplicación Apache Flink como una aplicación YARN (modo de aplicación) o asociada a una sesión de YARN de Apache Flink existente (modo de sesión).
En un cluster seguro de alta disponibilidad (HA), Apache Flink está preconfigurado para incluir Job Manager HA durante la instalación y utiliza el Zookeeper que viene con ODH para admitir HA.

Importante

El servidor de historial de Flink no admite Kerberos/AuthN. La comunicación de backend que se está produciendo desde el servidor de historial puede utilizar Kerberos, que se controla mediante las propiedades security.kerberos.login.keytab y security.kerberos.login.principal de flink-conf.

Propiedades de configuración de enlace

Vaciar las propiedades de configuración incluidas en Big Data Service 3.1.1 o posterior.


Configuración	Propiedad	Descripción
`flink-env`	`flink_hadoop_classpath`	Classpath de Hadoop de Flink

Uso de JAR personalizado en classpath de Apache Flink

La instalación de Apache Flink preconfigura las bibliotecas durante la instalación.

La ubicación por defecto para las bibliotecas de Apache Flink es /user/flink/libs/flink-libs de Hadoop Distributed File System (HDFS).
Cuando inicia el servidor de historial en la interfaz de usuario de Apache Ambari, estas bibliotecas se cargan desde local a HDFS.
Las bibliotecas de conectores proporcionadas por ODS se encuentran en /user/flink/lib/connector-libs de HDFS. Puede agregar las bibliotecas de conector necesarias a la ruta de clase Apache Flink desde esta ubicación. Actualice la propiedad yarn.provided.lib.dirs en flink-conf desde el panel de control de Apache Ambari para incluir la ubicación específica de la biblioteca.
Si tiene un archivo JAR personalizado, cárguelo en /user/flink/lib/user-libs de HDFS y, a continuación, actualice la propiedad yarn.provided.lib.dirs en flink-conf desde el panel de control de Apache Ambari para incluir la ubicación JAR personalizada.
Al proporcionar varios valores para yarn.provided.lib.dirs, los valores deben estar separados por un punto y coma.

Visualización de trabajos de Apache Flink

ODH incluye dos interfaces de usuario para ver trabajos de Apache Flink.

IU de gestor de trabajos/Apache Flink

Para realizar un seguimiento de los trabajos en ejecución, vaya a la interfaz de usuario del gestor de recursos de YARN y, a continuación, seleccione la aplicación Apache Flink en ejecución.
Para acceder a la interfaz de usuario del gestor de trabajos de Flink y realizar un seguimiento del progreso de los trabajos en ejecución, seleccione Maestro de aplicaciones.

Interfaz de usuario del servidor de historial de Apache Flink

Para ver los trabajos de Apache Flink completados, acceda a Apache Ambari.
En la barra de herramientas lateral, en Servicios, seleccione HDFS.
En Enlaces rápidos, seleccione Interfaz de usuario del servidor de historial de enlaces.