Apache Flinkの使用

Apache Flinkは、バインドされていないデータ・ストリームおよびバインドされたデータ・ストリームに対する計算用の処理エンジンです。

ノート

Zookeeper HAは、ビッグ・データ・サービス・クラスタでFlinkジョブを実行するときにデフォルトで有効になります。作成されたznodeにACLを適用するには、パラメータHA ZookeeperクライアントACLを作成者に更新します(デフォルト値はopenに設定されます)。ACLの詳細は、Flinkパブリック・ドキュメントZooKeeper HAサービスのこの項を参照してください。

Job ManagerおよびTask Managerを含むすべてのApache Flinkコンポーネントは、YARNコンテナで実行されます。
ODHでは、Apache FlinkアプリケーションのYARNアプリケーションとしての実行(アプリケーション・モード)または既存のApache Flink YARNセッション(セッション・モード)へのアタッチがサポートされています。
高可用性(HA)セキュア・クラスタでは、Apache Flinkはインストール時にジョブ・マネージャHAを含めるように事前構成されており、ODHに付属のZookeeperを使用してHAをサポートします。

重要

Flink履歴サーバーはKerberos/AuthNをサポートしていません。履歴サーバーから発生するバックエンド通信では、flink-confの security.kerberos.login.keytabおよび security.kerberos.login.principalプロパティーによって制御される Kerberosを使用できます。

Flink構成プロパティ

ビッグ・データ・サービス3.1.1以降に含まれるFlink構成プロパティ。


設定	プロパティ	説明
`flink-env`	`flink_hadoop_classpath`	Flink Hadoopクラスパス

Apache FlinkクラスパスでのカスタムJARの使用

Apache Flinkインストールでは、インストール時にライブラリが事前構成されます。

Apache Flinkライブラリのデフォルトの場所は、Hadoop Distributed File System (HDFS)の/user/flink/libs/flink-libsです。
Apache Ambari UIで履歴サーバーを起動すると、これらのライブラリはローカルからHDFSにロードされます。
ODH提供のコネクタ・ライブラリは、HDFSの/user/flink/lib/connector-libsにあります。必要なコネクタ・ライブラリをこの場所からApache Flinkクラス・パスに追加できます。Apache Ambariダッシュボードからflink-confのyarn.provided.lib.dirsプロパティを更新して、特定のライブラリの場所を含めます。
カスタムJARファイルがある場合は、HDFSの/user/flink/lib/user-libsにアップロードし、Apache Ambariダッシュボードからflink-confのyarn.provided.lib.dirsプロパティを更新して、カスタムJARの場所を含めます。
yarn.provided.lib.dirsに複数の値を指定する場合は、値をセミコロンで区切る必要があります。

Apache Flinkジョブの表示

ODHには、Apache Flinkジョブを表示するための2つのUIが含まれています。

ジョブ・マネージャ/Apache Flink UI

実行中のジョブを追跡するには、YARN Resource Manager UIに移動し、実行中のApache Flinkアプリケーションを選択します。
Flinkジョブ・マネージャUIにアクセスして、実行中のジョブの進捗を追跡するには、「アプリケーション・マスター」を選択します。

Apache Flink履歴サーバーUI

完了したApache Flinkジョブを表示するには、Apache Ambariにアクセスします。
サイド・ツールバーの「サービス」で、「HDFS」を選択します。
「クイック・リンク」で、「Flink History Server UI」を選択します。