zoukankan      html  css  js  c++  java
  • 使用Flume

    实例1: 监听端口,把输入端口的信息以日志的形式输出到控制台中

    cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf
    vim example.conf
    # 命名此代理上的组件
    agent.sources = seqGenSrc   # sources的名称
    agent.channels = memoryChannel  # Channel的名称
    agent.sinks = loggerSink   # Sink的名称
    
    # 描述/配置源
    agent.sources.seqGenSrc.type = netcat  # 类型名称  seq
    agent.sources.seqGenSrc.bind = 0.0.0.0  # 绑定的ip
    agent.sources.seqGenSrc.port = 44444  # 绑定的端口
    
    # 描述接收器
    agent.sinks.loggerSink.type = logger   # 以日志的形式输出到控制台
    
    # 定义每个通道的类型
    agent.channels.memoryChannel.type = memory
    agent.channels.memoryChannel.capacity = 1000
    agent.channels.memoryChannel.transactionCapacity = 100
    
    # 指定接收器应该使用的通道
    agent.sinks.loggerSink.channel = memoryChannel
    agent.sources.seqGenSrc.channels = memoryChannel
    

    实例2: 监听文件,把输入文件变化的的信息以日志的形式输出到控制台中

    cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf
    vim example.conf
    # 命名此代理上的组件
    agent.sources = seqGenSrc   # sources的名称
    agent.channels = memoryChannel  # Channel的名称
    agent.sinks = loggerSink   # Sink的名称
    
    # 描述/配置源
    agent.sources.seqGenSrc.type = exec  # 命令行模式
    agent.sources.seqGenSrc.command = tail -F /root/nohup.log
    agent.sources.seqGenSrc.shell = /bin/sh -c  # 绑定的端口
    
    # 描述接收器
    agent.sinks.loggerSink.type = logger   # 以日志的形式输出到控制台
    
    # 定义每个通道的类型
    agent.channels.memoryChannel.type = memory
    agent.channels.memoryChannel.capacity = 1000
    agent.channels.memoryChannel.transactionCapacity = 100
    
    # 指定接收器应该使用的通道
    agent.sinks.loggerSink.channel = memoryChannel
    agent.sources.seqGenSrc.channels = memoryChannel
    

    实例3: 监听文件,把输入文件变化的信息传输到另外一台服务器中以日志的形式输出到控制台中

    cd /usr/local/flume/apache-flume-1.6.0-cdh5.9.0-bin/conf
    vim example.conf
    # 命名此代理上的组件
    agent.sources = seqGenSrc
    agent.channels = memoryChannel
    agent.sinks = loggerSink
    
    # 描述/配置源
    agent.sources.seqGenSrc.type = exec
    agent.sources.seqGenSrc.command = tail -F /root/nohup.log
    agent.sources.seqGenSrc.shell = /bin/sh -c
    
    # 描述接收器
    agent.sinks.loggerSink.type = avro
    agent.sinks.loggerSink.hostname = 192.168.104.94
    agent.sinks.loggerSink.port = 44444
    
    # 定义每个通道的类型
    agent.channels.memoryChannel.type = memory
    agent.channels.memoryChannel.capacity = 1000
    agent.channels.memoryChannel.transactionCapacity = 100
    
    # 指定接收器应该使用的通道
    agent.sinks.loggerSink.channel = memoryChannel
    agent.sources.seqGenSrc.channels = memoryChannel
    
    vim example.conf  # 这个心启动   这启动了端口开启  上面Sink开绑定这个端口
    # 命名此代理上的组件
    agent.sources = seqGenSrc
    agent.channels = memoryChannel
    agent.sinks = loggerSink
    
    # 描述/配置源
    agent.sources.seqGenSrc.type = avro
    agent.sources.seqGenSrc.bind = 0.0.0.0   # 绑定本机地址
    agent.sources.seqGenSrc.port = 44444
    
    # 描述接收器
    agent.sinks.loggerSink.type = logger
    
    # 定义每个通道的类型
    agent.channels.memoryChannel.type = memory
    agent.channels.memoryChannel.capacity = 1000
    agent.channels.memoryChannel.transactionCapacity = 100
    
    # 指定接收器应该使用的通道
    agent.sinks.loggerSink.channel = memoryChannel
    agent.sources.seqGenSrc.channels = memoryChannel
    

    4.启动Flume

    flume-ng agent --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/example.conf --name agent -Dflume.root.logger=INFO,console   # 启动   $FLUME_HOME: flume 路径
        --name: agent名称
        --conf: 制定flume conf路径
        --conf-file: 制定自己写的配置文件
        -Dflume.root.logger=INFO,console: log的参数
    
    telnet 192.168.107.216 44444  # 连接到主机
    

      

  • 相关阅读:
    Luogu1309 瑞士轮(分治,归并排序)
    HYSBZ(BZOJ) 4300 绝世好题(位运算,递推)
    Luogu 1220 关路灯(动态规划)
    HDU 2087 剪花布条(字符串匹配,KMP)
    HDU 1686 Oulipo / POJ 3461 Oulipo / SCU 2652 Oulipo (字符串匹配,KMP)
    HDU 1711 Number Sequence (字符串匹配,KMP算法)
    Luogu 3375 【模板】KMP字符串匹配(KMP算法)
    KMP算法(研究总结,字符串)
    CJOJ 1331 【HNOI2011】数学作业 / Luogu 3216 【HNOI2011】数学作业 / HYSBZ 2326 数学作业(递推,矩阵)
    Luogu 1349 广义斐波那契数列(递推,矩阵,快速幂)
  • 原文地址:https://www.cnblogs.com/yoyo1216/p/13337221.html
Copyright © 2011-2022 走看看