Apache Flink verwenden
Apache Flink ist eine Verarbeitungs-Engine für Berechnungen über ungebundene und gebundene Datenstreams.
Hinweis
Zookeeper HA ist standardmäßig aktiviert, wenn Flink-Jobs in einem Big Data Service-Cluster ausgeführt werden. Um ACLs auf dem erstellten znode zu erzwingen, aktualisieren Sie den Parameter HA Zookeeper Client ACL auf Creator (Standardwert ist auf Öffnen gesetzt). Weitere Informationen zu den ACLs finden Sie in der öffentlichen Flink-Dokumentation unter ZooKeeper HA-Services.
Zookeeper HA ist standardmäßig aktiviert, wenn Flink-Jobs in einem Big Data Service-Cluster ausgeführt werden. Um ACLs auf dem erstellten znode zu erzwingen, aktualisieren Sie den Parameter HA Zookeeper Client ACL auf Creator (Standardwert ist auf Öffnen gesetzt). Weitere Informationen zu den ACLs finden Sie in der öffentlichen Flink-Dokumentation unter ZooKeeper HA-Services.
- Alle Apache Flink-Komponenten, einschließlich Job Manager und Task Manager, werden im YARN-Container ausgeführt.
- ODH unterstützt die Ausführung der Apache Flink-Anwendung als YARN-Anwendung (Anwendungsmodus) oder als Anhang zu einer vorhandenen Apache Flink YARN-Session (Sessionmodus).
- In einem sicheren High Availability-(HA-)Cluster ist Apache Flink vorkonfiguriert, um Job Manager HA während der Installation aufzunehmen, und es verwendet den Zookeeper, der mit ODH geliefert wird, um HA zu unterstützen.
Wichtig
Der Flink-Historienserver unterstützt Kerberos/AuthN nicht. Die Backend-Kommunikation vom Historienserver kann Kerberos verwenden, das über die Eigenschaften security.kerberos.login.keytab und security.kerberos.login.principal von flink-conf gesteuert wird.
Der Flink-Historienserver unterstützt Kerberos/AuthN nicht. Die Backend-Kommunikation vom Historienserver kann Kerberos verwenden, das über die Eigenschaften security.kerberos.login.keytab und security.kerberos.login.principal von flink-conf gesteuert wird.
Flink-Konfigurationseigenschaften
Flink-Konfigurationseigenschaften in Big Data Service 3.1.1 oder höher.
| Konfiguration | Eigenschaft | Beschreibung |
|---|---|---|
flink-env
|
flink_hadoop_classpath
|
Hadoop-Classpath flinken |
Benutzerdefinierte JAR in Apache Flink-Classpath verwenden
Bei der Installation von Apache Flink werden Bibliotheken während der Installation vorkonfiguriert.
-
Der Standardspeicherort für die Apache Flink-Librarys ist
/user/flink/libs/flink-libsvon Hadoop Distributed File System (HDFS). - Wenn Sie den Historienserver in der Apache Ambari-UI starten, werden diese Bibliotheken von lokal in HDFS geladen.
-
ODH-bereitgestellte Connector-Bibliotheken befinden sich in
/user/flink/lib/connector-libsvon HDFS. Von diesem Speicherort aus können Sie erforderliche Connector-Librarys zum Apache Flink-Klassenpfad hinzufügen. Aktualisieren Sie die Eigenschaftyarn.provided.lib.dirsinflink-confim Apache Ambari-Dashboard, um den spezifischen Library-Speicherort einzuschließen. -
Wenn eine benutzerdefinierte JAR-Datei vorhanden ist, laden Sie sie in
/user/flink/lib/user-libsvon HDFS hoch, und aktualisieren Sie dann die Eigenschaftyarn.provided.lib.dirsinflink-confaus dem Apache Ambari-Dashboard, um einen benutzerdefinierten JAR-Speicherort einzuschließen. -
Wenn Sie mehrere Werte für
yarn.provided.lib.dirsangeben, müssen die Werte durch ein Semikolon getrennt werden.
Apache Flink-Jobs anzeigen
ODH enthält zwei UIs zum Anzeigen von Apache Flink-Jobs.
Jobmanager/Apache Flink-UI
- Um ausgeführte Jobs zu verfolgen, gehen Sie zur YARN Resource Manager-UI, und wählen Sie die ausgeführte Apache Flink-Anwendung aus.
- Um auf die Flink-Jobmanager-UI zuzugreifen und den Fortschritt der ausgeführten Jobs zu verfolgen, wählen Sie Anwendungsmaster aus.
Apache Flink History Server-UI
- Um abgeschlossene Apache Flink-Jobs anzuzeigen, zugriff auf Apache Ambari.
- Wählen Sie in der seitlichen Symbolleiste unter Services die Option HDFS aus.
- Wählen Sie unter Quicklinks die Option Flink History Server-UI aus.