zoukankan      html  css  js  c++  java
  • Flume数据采集准备

    flume的官网:http://flume.apache.org/

    flume的下载地址:http://flume.apache.org/download.html

    这里我们用的是apache版本的flume

     

     

     

    解压

    改下名字

     把不必要的文件删除

    flume用户指南官网地址:https://cwiki.apache.org//confluence/display/FLUME/Getting+Started

    把节点1的flume分发到节点2 和节点3上去

     通过noteap++连接到节点2上

    修改下名字

     修改配置文件

    因为这个配置文件比较乱

     我们直接把内容干掉然后自己重新配置

    我们可以参考官网 http://flume.apache.org/FlumeUserGuide.html

     

     画红线的地方是数据源的路径

     

    下面配置channel

     http://flume.apache.org/FlumeUserGuide.html#memory-channel

     

    下面配置sink

     http://flume.apache.org/FlumeUserGuide.html#avro-sink

     这里为什么sink的hostname是配置到节点1 呢,因为我们这里节点2 和节点3是各自通过一个flume初步收集数据,节点1再通过一个flume来合并数据

     

    为了方便我们看到配置文件知道是节点2,我们修改一下

    把weblogs.log文件分发给节点3 

    因为节点3的flume没有配置,我们现在就直接用节点2的flume把节点3的覆盖掉了

     

     这个是节点3的,现在看到的是保留了节点2的配置,因为刚刚从节点2复制过来的,现在我们需要修改一下

    这个是修改后的

  • 相关阅读:
    推荐几个不错的console调试技巧
    JS字符串截取函数slice(),substring(),substr()的区别
    ES6入门基础
    setTimeout的小尴尬
    Javascript自定义事件功能与用法实例分析
    JavaScript中函数定义的三种方法
    数组方法
    数组选择排序
    数组冒泡排序
    this指向问题(1)
  • 原文地址:https://www.cnblogs.com/braveym/p/8319122.html
Copyright © 2011-2022 走看看