Utilisation d'Apache Flink

Apache Flink est un moteur de traitement pour les calculs sur des flux de données non limités et limités.

Remarque

Zookeeper HA est activé par défaut lors de l'exécution de travaux Flink sur un cluster Big Data Service. Pour appliquer des ACL sur le znode créé, mettez à jour le paramètre HA Zookeeper Client ACL sur Creator (la valeur par défaut est définie sur Open). Pour plus d'informations sur les ACL, reportez-vous à cette section de la documentation publique Flink : ZooKeeper HA Services.

Tous les composants Apache Flink, y compris Job Manager et Task Manager, s'exécutent dans le conteneur YARN.
ODH prend en charge l'exécution de l'application Apache Flink en tant qu'application YARN (mode Application) ou attachée à une session Apache Flink YARN existante (mode Session).
Dans un cluster sécurisé haute disponibilité (HA), Apache Flink est préconfiguré pour inclure Job Manager HA lors de l'installation et utilise le Zookeeper fourni avec ODH pour prendre en charge la haute disponibilité.

Important

Le serveur d'historique Flink ne prend pas en charge Kerberos/AuthN. La communication back-end en cours à partir du serveur d'historique peut utiliser Kerberos, qui est contrôlé via les propriétés security.kerberos.login.keytab et security.kerberos.login.principal de flink-conf.

Propriétés de configuration de liaison

Propriétés de configuration des variables incluses dans Big Data Service 3.1.1 ou version ultérieure.


Configuration	Propriété	Description
`flink-env`	`flink_hadoop_classpath`	Classpath Flink Hadoop

Utilisation d'un fichier JAR personnalisé dans la variable d'environnement CLASSPATH Flink Apache

L'installation d'Apache Flink préconfigure les bibliothèques lors de l'installation.

L'emplacement par défaut des bibliothèques Apache Flink est /user/flink/libs/flink-libs du système de fichiers distribué (HDFS) Hadoop.
Lorsque vous démarrez le serveur d'historique dans l'interface utilisateur Apache Ambari, ces bibliothèques sont chargées à partir de l'interface locale vers HDFS.
Les bibliothèques de connecteurs fournies par OLDH se trouvent dans /user/flink/lib/connector-libs de HDFS. Vous pouvez ajouter les bibliothèques de connecteurs requises au chemin de classe Apache Flink à partir de cet emplacement. Mettez à jour la propriété yarn.provided.lib.dirs dans flink-conf à partir du tableau de bord Apache Ambari pour inclure l'emplacement de bibliothèque spécifique.
Si vous disposez d'un fichier JAR personnalisé, téléchargez-le vers /user/flink/lib/user-libs de HDFS, puis mettez à jour la propriété yarn.provided.lib.dirs dans flink-conf à partir du tableau de bord Apache Ambari pour inclure un emplacement JAR personnalisé.
Lorsque vous fournissez plusieurs valeurs pour yarn.provided.lib.dirs, elles doivent être séparées par un point-virgule.

Affichage des travaux de liaison Apache

ODH inclut deux interfaces utilisateur pour afficher les travaux Apache Flink.

Interface utilisateur Job Manager/Apache Flink

Pour suivre les travaux en cours d'exécution, accédez à l'interface utilisateur du gestionnaire de ressources YARN, puis sélectionnez l'application Apache Flink en cours d'exécution.
Pour accéder à l'interface utilisateur du gestionnaire de travaux Flink et suivre la progression des travaux en cours d'exécution, sélectionnez Application maître.

Interface utilisateur du serveur d'historique Apache Flink

Pour afficher les travaux Apache Flink terminés, accédez à Apache Ambari.
Dans la barre d'outils latérale, sous Services, sélectionnez HDFS.
Sous Liens rapides, sélectionnez Interface utilisateur du serveur d'historique des liens.