Documentación de Oracle Cloud Infrastructure

Configuración de Object Storage con Flume

Configure Flume para almacenar datos de varios orígenes, como TCP, archivo, flujo, etc., para mantenerlos en Object Storage.

  1. Acceda a Apache Ambari.
  2. En la barra de herramientas lateral, en Servicios, seleccione Flume.
  3. Seleccione Configs (Configuración).
  4. Actualice flume-conf con los siguientes parámetros: 
    #list hdfs sources
hdfs_agent.sources = nc_source
hdfs_agent.channels = memchannel
hdfs_agent.sinks = hdfs_write
  
# configure hdfs-agent source
hdfs_agent.sources.nc_source.type = netcat
hdfs_agent.sources.nc_source.bind = 0.0.0.0
hdfs_agent.sources.nc_source.port = 33333
  
# properties of hdfs-Cluster1-sink
hdfs_agent.sinks.hdfs_write.type = hdfs
hdfs_agent.sinks.hdfs_write.hdfs.path = oci://<compartment>@<tenancy>/new
hdfs_agent.sinks.hdfs_write.hdfs.roll.Interval = 30
hdfs_agent.sinks.hdfs_write.hdfs.writeFormat = Text
hdfs_agent.sinks.hdfs_write.hdfs..fileType = DataStream
  
hdfs_agent.channels.memchannel.capacity = 100000
hdfs_agent.channels.memchannel.type = memory
  
hdfs_agent.sources.hdfs_source.channels = memchannel
hdfs_agent.sinks.hdfs_write.channel = memchannel
hdfs_agent.sinks.hdfs_write.hdfs.kerberosPrincipal = flume/<hostname>@<realm>
hdfs_agent.sinks.hdfs_write.hdfs.kerberosKeytab = /etc/security/keytabs/flume.service.keytab
  5. Ejecución: 
    head -n 5 log.txt | nc <hostname> <hdfs_agent.sources.nc_source.port>

    El volumen mantiene los datos del origen netcat en Object Storage en el nuevo cubo según la configuración.