Flume数据采集准备

，

flume的官网：http://flume.apache.org/

flume的下载地址：http://flume.apache.org/download.html

这里我们用的是apache版本的flume

 

 

 

解压

改下名字

 把不必要的文件删除

flume用户指南官网地址：https://cwiki.apache.org//confluence/display/FLUME/Getting+Started

把节点1的flume分发到节点2 和节点3上去

 通过noteap++连接到节点2上

修改下名字

 修改配置文件

因为这个配置文件比较乱

 我们直接把内容干掉然后自己重新配置

我们可以参考官网 http://flume.apache.org/FlumeUserGuide.html

 

 画红线的地方是数据源的路径

 

下面配置channel

 http://flume.apache.org/FlumeUserGuide.html#memory-channel

 

下面配置sink

 http://flume.apache.org/FlumeUserGuide.html#avro-sink

 这里为什么sink的hostname是配置到节点1 呢，因为我们这里节点2 和节点3是各自通过一个flume初步收集数据，节点1再通过一个flume来合并数据

 

为了方便我们看到配置文件知道是节点2，我们修改一下

把weblogs.log文件分发给节点3 

因为节点3的flume没有配置，我们现在就直接用节点2的flume把节点3的覆盖掉了

 

 这个是节点3的，现在看到的是保留了节点2的配置，因为刚刚从节点2复制过来的，现在我们需要修改一下

这个是修改后的