3、Flume

1、概述

　　Flume：收集、聚集，移动大量日志数据到指定位置

2、核心组件

　　基本单位：agent

　　source：收集

　　channel：聚集

　　sink：发送

       

      

3、一般写Flume配置文件能解决大部分问题

4、实战

　　1、从指定网络端口采集数据，输出到控制台

　　　　flume中：a1.sources.r1.type = netcat 是服务端

　　　　nc hostname  port 是客户端

　　2、监控一个文件实时变化，输出到控制台

　　　　a1.sources.r1.type = exec 

              a1.sources.r1.command = tail -F testexec.txt

　　3、将 A 服务器上的日志实时采集到 B 服务器上

　　　　夸节点时采集数据的传输方式：sources 是avro，sinks也是avro

　　　　配置两个agent，数据通过avro个数传输