Configuración de Object Storage con Flume
Configure Flume para almacenar datos de varios orígenes, como TCP, archivo, flujo, etc., para mantenerlos en Object Storage.
- Acceda a Apache Ambari.
- En la barra de herramientas lateral, en Servicios, seleccione Flume.
- Seleccione Configs (Configuración).
-
Actualice flume-conf con los siguientes parámetros:
#list hdfs sources hdfs_agent.sources = nc_source hdfs_agent.channels = memchannel hdfs_agent.sinks = hdfs_write # configure hdfs-agent source hdfs_agent.sources.nc_source.type = netcat hdfs_agent.sources.nc_source.bind = 0.0.0.0 hdfs_agent.sources.nc_source.port = 33333 # properties of hdfs-Cluster1-sink hdfs_agent.sinks.hdfs_write.type = hdfs hdfs_agent.sinks.hdfs_write.hdfs.path = oci://<compartment>@<tenancy>/new hdfs_agent.sinks.hdfs_write.hdfs.roll.Interval = 30 hdfs_agent.sinks.hdfs_write.hdfs.writeFormat = Text hdfs_agent.sinks.hdfs_write.hdfs..fileType = DataStream hdfs_agent.channels.memchannel.capacity = 100000 hdfs_agent.channels.memchannel.type = memory hdfs_agent.sources.hdfs_source.channels = memchannel hdfs_agent.sinks.hdfs_write.channel = memchannel hdfs_agent.sinks.hdfs_write.hdfs.kerberosPrincipal = flume/<hostname>@<realm> hdfs_agent.sinks.hdfs_write.hdfs.kerberosKeytab = /etc/security/keytabs/flume.service.keytab
-
Ejecución:
head -n 5 log.txt | nc <hostname> <hdfs_agent.sources.nc_source.port>
El volumen mantiene los datos del origen netcat en Object Storage en el nuevo cubo según la configuración.