Object Storage mit Flink konfigurieren
Flink verwendet Object Storage als Sink für persistente Daten, die mit dem HDFS-Connector erreicht werden können.
- Öffnen Sie Apache Ambari.
- Wählen Sie in der seitlichen Symbolleiste unter Services die Option HDFS aus.
- Wählen Sie Configs aus.
- Zeigen Sie die relevanten HDFS-Connector-Eigenschaften in core-site.xml an, und starten Sie HDFS neu.
-
Um Streamdaten in Object Storage zu schreiben, führen Sie Folgendes aus:
export HADOOP_CLASSPATH=`hadoop classpath`; sudo /usr/odh/current/flink/bin/flink run-application -t yarn-application -yD classloader.check-leaked-classloader=false -yD security.kerberos.login.keytab=/etc/security/keytabs/smokeuser.headless.keytab -yD security.kerberos.login.principal=<ambari-qa-principal> /usr/odh/current/flink/bin//../examples/streaming/WordCountStreaming.jar --input <object_storage_input_file_location> --output <object_storage_output_file_location> -
Um Object Storage als Sink im Batchmodus festzulegen, führen Sie Folgendes aus:
export HADOOP_CLASSPATH=`hadoop classpath`; sudo /usr/odh/current/flink/bin/flink run-application -t yarn-application -yD classloader.check-leaked-classloader=false -yD security.kerberos.login.keytab=/etc/security/keytabs/smokeuser.headless.keytab -yD security.kerberos.login.principal=<ambari-qa-principal> /usr/odh/current/flink/bin//../examples/batch/WordCount.jar --input <object_storage_input_file_location> --output <object_storage_output_file_location> -
Um Object Storage zum Speichern von Savepoints zu verwenden, konfigurieren Sie <object_storage_file_location> für den Parameter
state.savepoints.dir. - Um Object Storage zum Speichern von Checkpoints zu verwenden, konfigurieren Sie die Konfiguration im Client mit einem bestimmten Intervall und Pfad zu Object Storage.