Utilisation d'Apache Flink

Apache Flink est un moteur de traitement pour les calculs sur les flux de données non limités et limités.

Note

La haute disponibilité Zookeeper est activée par défaut lors de l'exécution de tâches Flink sur une grappe du service de mégadonnées. Pour appliquer des listes de contrôle d'accès au noeud créé, mettez à jour le paramètre HA Zookeeper Client ACL à Creator (la valeur par défaut est réglée à Ouverte). Pour plus d'informations sur les listes de contrôle d'accès, consultez cette section dans la documentation publique Flink : ZooKeeper HA Services.

Tous les composants Apache Flink, y compris Job Manager et Task Manager, s'exécutent dans le conteneur YARN.
ODH prend en charge l'exécution de l'application Apache Flink en tant qu'application YARN (mode Application) ou associée à une session Apache Flink YARN existante (mode Session).
Dans une grappe sécurisée haute disponibilité, Apache Flink est préconfiguré pour inclure Job Manager HA lors de l'installation et il utilise le Zookeeper fourni avec ODH pour prendre en charge la haute disponibilité.

Important

Le serveur d'historique Flink ne prend pas en charge Kerberos/AuthN. La communication dorsale qui se produit à partir du serveur d'historique peut utiliser Kerberos, qui est contrôlé au moyen des propriétés security.kerberos.login.keytab et security.kerberos.login.principal de flink-conf.

Propriétés de configuration du lien

Libérez les propriétés de configuration incluses dans le service de mégadonnées version 3.1.1 ou ultérieure.


Configuration	Propriété	Description
`flink-env`	`flink_hadoop_classpath`	Variable classpath Hadoop Flink

Utiliser un fichier JAR personnalisé dans la variable classpath d'Apache Flink

L'installation d'Apache Flink préconfigure les bibliothèques lors de l'installation.

L'emplacement par défaut des bibliothèques Apache Flink est /user/flink/libs/flink-libs de Hadoop Distributed File System (HDFS).
Lorsque vous démarrez le serveur d'historique dans l'interface utilisateur d'Apache Ambari, ces bibliothèques sont chargées depuis local vers HDFS.
Les bibliothèques de connecteurs fournies par ODH se trouvent dans /user/flink/lib/connector-libs de HDFS. Vous pouvez ajouter les bibliothèques de connecteurs requises au chemin de classe Apache Flink à partir de cet emplacement. Mettez à jour la propriété yarn.provided.lib.dirs dans flink-conf à partir du tableau de bord Apache Ambari pour inclure l'emplacement de la bibliothèque spécifique.
Si vous disposez d'un fichier JAR personnalisé, chargez-le dans /user/flink/lib/user-libs de HDFS, puis mettez à jour la propriété yarn.provided.lib.dirs dans flink-conf à partir du tableau de bord Apache Ambari pour inclure l'emplacement JAR personnalisé.
Lorsque vous fournissez plusieurs valeurs pour yarn.provided.lib.dirs, les valeurs doivent être séparées par un point-virgule.

Affichage des travaux Apache Flink

ODH comprend deux interfaces utilisateur pour afficher les travaux Apache Flink.

Interface utilisateur Job Manager/Apache Flink

Pour suivre les tâches en cours d'exécution, accédez à l'interface utilisateur du gestionnaire de ressources YARN, puis sélectionnez l'application Apache Flink en cours d'exécution.
Pour accéder à l'interface utilisateur du gestionnaire de tâches Flink et suivre la progression des tâches en cours d'exécution, sélectionnez Application Master.

Interface utilisateur du serveur d'historique Apache Flink

Pour voir les tâches Apache Flink terminées, accédez à Apache Ambari.
Dans la barre d'outils latérale, sous Services, sélectionnez HDFS.
Sous Liens rapides, sélectionnez Interface utilisateur du serveur d'historique de liens.