Uso di Apache Flink

Apache Flink è un motore di elaborazione per i calcoli su flussi di dati non limitati e limitati.

Nota

Zookeeper HA è abilitato per impostazione predefinita quando si eseguono job Flink in un cluster di servizi Big Data. Per applicare le ACL sullo znode creato, aggiornare il parametro ACL client Zookeeper HA all'autore (il valore predefinito è impostato su open). Per ulteriori informazioni sulle ACL, consultare questa sezione della documentazione pubblica Flink: ZooKeeper HA Services.

Tutti i componenti Apache Flink, inclusi Job Manager e Task Manager, vengono eseguiti nel contenitore YARN.
ODH supporta l'esecuzione dell'applicazione Apache Flink come applicazione YARN (modalità applicazione) o collegata a una sessione Apache Flink YARN (modalità sessione) esistente.
In un cluster sicuro HA (High Availability), Apache Flink è preconfigurato per includere HA di Job Manager durante l'installazione e utilizza il Zookeeper fornito con ODH per supportare HA.

Importante

Il server della cronologia Flink non supporta Kerberos/AuthN. La comunicazione backend eseguita dal server della cronologia può utilizzare Kerberos controllato mediante le proprietà security.kerberos.login.keytab e security.kerberos.login.principal di flink-conf.

Proprietà configurazione Flink

Proprietà di configurazione Flink incluse in Big Data Service 3.1.1 o versioni successive.


Configurazione	Property	Descrizione
`flink-env`	`flink_hadoop_classpath`	Classpath Flink Hadoop

Utilizzo di un file JAR personalizzato nel classpath di Apache Flink

L'installazione di Apache Flink preconfigura le librerie durante l'installazione.

La posizione predefinita per le librerie Apache Flink è /user/flink/libs/flink-libs di HDFS (Hadoop Distributed File System).
Quando si avvia il server della cronologia nell'interfaccia utente di Apache Ambari, queste librerie vengono caricate da locale a HDFS.
Le librerie di connettori fornite da OODH si trovano in /user/flink/lib/connector-libs di HDFS. È possibile aggiungere le librerie di connettori necessarie al percorso della classe Apache Flink da questa posizione. Aggiornare la proprietà yarn.provided.lib.dirs in flink-conf dal dashboard Apache Ambari per includere la posizione specifica della libreria.
Se si dispone di un file JAR personalizzato, caricarlo in /user/flink/lib/user-libs di HDFS, quindi aggiornare la proprietà yarn.provided.lib.dirs in flink-conf dal dashboard Apache Ambari per includere la posizione JAR personalizzata.
Quando si forniscono più valori per yarn.provided.lib.dirs, i valori devono essere separati da un punto e virgola.

Visualizzazione dei job Apache Flink

ODH include due interfacce utente per visualizzare i job di Apache Flink.

Interfaccia utente di Job Manager/Apache Flink

Per tenere traccia dei job in esecuzione, accedere all'interfaccia utente di Resource Manager di YARN, quindi selezionare l'applicazione Apache Flink in esecuzione.
Per accedere all'interfaccia utente di Flink Job Manager e tenere traccia dello stato di avanzamento dei job in esecuzione, selezionare Application Master.

Interfaccia utente server cronologia Flink Apache

Per visualizzare i job Apache Flink completati, accedere ad Apache Ambari.
Nella barra degli strumenti laterale, in Servizi selezionare HDFS.
In Collegamenti rapidi, selezionare Interfaccia utente del server Cronologia collegamenti.