zoukankan      html  css  js  c++  java
  • flume+kafka+hdfs详解

    flume架构图

    wKiom1YPrdjguqxiAAJR5GnVzeg068.jpg

    单节点flume配置

    flume-1.4.0  启动flume

    bin/flume-ng agent --conf ./conf  -f conf/flume-conf.properties -Dflume.root.logger=DEBUG,console -n agent

    -n表示配置文件中agent的名字

    [java] view plain copy
     
    1. agent.sources = r1  
    2. agent.sinks = s1  
    3. agent.channels = c1  
    4. agent.sources.r1.channels = c1  
    5. agent.sinks.s1.channel = c1  
    6.   
    7. #Describe/configure the sources  
    8. agent.sources.r1.type = exec  
    9. agent.sources.r1.command = tail -F /home/flume/loginfo  
    10. #Use a channel which buffers events in memory  
    11. agent.channels.c1.type = memory  
    12. agent.channels.c1.capacity = 1000  #Event  
    13. agent.channels.c1.transactionCapacity = 100  
    14. agent.sinks.s1.type = logger  

    wKioL1YPs5XgkmmhAAIZ3G0tbb0587.jpg

    wKiom1YPs5jyA5Q9AANI-ME5zqU247.jpg

     

    flume-1.4.0 + kafka-0.7.2+hdfs   flume配置

    [xml] view plain copy
     
    1. agent.sources = r1  
    2. agent.sinks = s_kafka s_hdfs  
    3. agent.channels = c_kafka c_hdfs  
    4. agent.sources.r1.channels = c_kafka c_hdfs  
    5.   
    6. agent.sources.r1.type = exec  
    7. #下面这个脚本tail某个日志  
    8. agent.sources.r1.command = tail -F /home/flume/loginfo  
    9. agent.channels.c_kafka.type = memory  
    10. agent.channels.c_hdfs.type = memory  
    11.   
    12. agent.sinks.s_kafka.type = com.sink.FirstkafkaSink  
    13. agent.sinks.s_kafka.channel = c_kafka  
    14. #kafka需要连接zk,写入broker数据  
    15. agent.sinks.s_kafka.zkconnect = localhost:2181  
    16. agent.sinks.s_kafka.topic = test  
    17. agent.sinks.s_kafka.serializer.class = kafka.serializer.StringEncoder  
    18. agent.sinks.s_kafka.metadata.broker.list = localhost:9092 #配置文件server.properties  
    19. agent.sinks.s_kafka.custom.encoding = UTF-8  
    20.   
    21.   
    22. agent.sinks.s_hdfs.type = hdfs  
    23. agent.sinks.s_hdfs.channel = c_hdfs  
    24. #默认端口8020  
    25. agent.sinks.s_hdfs.hdfs.path = hdfs://localhost:9000/root/source  
    26. agent.sinks.s_hdfs.hdfs.filePrefix = events-  
    27. agent.sinks.s_hdfs.hdfs.fileType = DataStream  
    28. agent.sinks.s_hdfs.hdfs.writeFormat = Text  
    29. agent.sinks.s_hdfs.hdfs.rollCount = 30 #达到某一数值记录生成文件  
    30. agent.sinks.s_hdfs.hdfs.rollSize = 0  
    31. agent.sinks.s_hdfs.hdfs.rollInterval = 0  
    32. agent.sinks.s_hdfs.hdfs.useLocalTimeStamp = true  
    33. agent.sinks.s_hdfs.hdfs.idleTimeout = 51  
    34. agent.sinks.s_hdfs.hdfs.threadsPoolSize = 2  

    Flume内置channel,source,sink汇总

    http://www.iteblog.com/archives/948

    本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1700049

  • 相关阅读:
    struts2自定义拦截器之过滤不良言论---http500可能的问题所在
    bzoj4205[FJ2015集训] 卡牌配对
    bzoj1562[NOI2009] 变换序列
    bzoj1433[ZJOI2009] 假期的宿舍
    bzoj2150 部落战争
    从bzoj2463到bzoj1443和bzoj2437 博弈+二分图匹配
    bzoj4554[Tjoi2016&Heoi2016] 游戏
    bzoj1059[ZJOI2007] 矩阵游戏
    bzoj1143[CTSC2008] 祭祀river
    bzoj3175[Tjoi2013] 攻击装置
  • 原文地址:https://www.cnblogs.com/zzmmyy/p/7779050.html
Copyright © 2011-2022 走看看