Configuración de Object Storage con Flume

Configure Flume para almacenar datos de varios orígenes, como TCP, archivo, flujo, etc., para mantenerlos en Object Storage.

  1. Acceda a Apache Ambari.
  2. En la barra de herramientas lateral, en Servicios, seleccione Flume.
  3. Seleccione Configs (Configuración).
  4. Actualice flume-conf con los siguientes parámetros:
    #list hdfs sources
    hdfs_agent.sources = nc_source
    hdfs_agent.channels = memchannel
    hdfs_agent.sinks = hdfs_write
      
    # configure hdfs-agent source
    hdfs_agent.sources.nc_source.type = netcat
    hdfs_agent.sources.nc_source.bind = 0.0.0.0
    hdfs_agent.sources.nc_source.port = 33333
      
    # properties of hdfs-Cluster1-sink
    hdfs_agent.sinks.hdfs_write.type = hdfs
    hdfs_agent.sinks.hdfs_write.hdfs.path = oci://<compartment>@<tenancy>/new
    hdfs_agent.sinks.hdfs_write.hdfs.roll.Interval = 30
    hdfs_agent.sinks.hdfs_write.hdfs.writeFormat = Text
    hdfs_agent.sinks.hdfs_write.hdfs..fileType = DataStream
      
    hdfs_agent.channels.memchannel.capacity = 100000
    hdfs_agent.channels.memchannel.type = memory
      
    hdfs_agent.sources.hdfs_source.channels = memchannel
    hdfs_agent.sinks.hdfs_write.channel = memchannel
    hdfs_agent.sinks.hdfs_write.hdfs.kerberosPrincipal = flume/<hostname>@<realm>
    hdfs_agent.sinks.hdfs_write.hdfs.kerberosKeytab = /etc/security/keytabs/flume.service.keytab
  5. Ejecución:
    head -n 5 log.txt | nc <hostname> <hdfs_agent.sources.nc_source.port>

    El volumen mantiene los datos del origen netcat en Object Storage en el nuevo cubo según la configuración.