日志采集框架 Flume
1 概述
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中。
一般的采集需求，通过对flume的简单配置即可实现。
Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景。
2 运行机制及组件
Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成。
每一个angent相当于一个数据传递员，内部有三个组件：
a) Source:采集源，用于对接数据源，以获取数据。
b) Sink:下沉地，采集数据的传送目的地，用于往下一级agent传递数据或者往最终存储系统传递数据。
c) Channel:angent内部的数据传输通道，用于将数据从Source传递到Sink。
Source到channel到Sink之间传递数据的形式是Event事件；Event事件是一个数据流单元。
3 Flume采集系统结构图
a)简单结构-单个angent采集数据
b)复杂结构-多级angent之间串联
4 Flume的安装部署
4.1 flume安装
a)前提是已有hadoop环境，上传安装包到数据源所在的节点,下载地址：http://archive.apache.org/dist/flume/1.6.0/；
b)然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME
c)根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)
d)指定采集方案配置文件，在相应的节点上启动flume angent
4.2 采集方案配置示例
4.2.1 采集目录到hdfs
需求：某服务器的特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到hdfs中去。
根据需求首先定义3大要素：
a)采集源，即Source--监控文件目录：spooldir
b)下沉目标，即Sink--hdfs文件系统：hdfs sink
c) source 和 sink之间的传递通道--channel,可用file channel 也可用内存channel
配置文件编写：
spooldir-hdfs.conf
#定义三大组件的名称 agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1 # 配置source组件 agent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /home/hadoop/logs/ agent1.sources.source1.fileHeader = false #配置拦截器 agent1.sources.source1.interceptors = i1 agent1.sources.source1.interceptors.i1.type = host agent1.sources.source1.interceptors.i1.hostHeader = hostname # 配置sink组件 agent1.sinks.sink1.type = hdfs agent1.sinks.sink1.hdfs.path =hdfs://hdp-node-01:9000/weblog/flume-collection/%y-%m-%d/%H-%M agent1.sinks.sink1.hdfs.filePrefix = access_log agent1.sinks.sink1.hdfs.maxOpenFiles = 5000 agent1.sinks.sink1.hdfs.batchSize= 100 agent1.sinks.sink1.hdfs.fileType = DataStream agent1.sinks.sink1.hdfs.writeFormat =Text agent1.sinks.sink1.hdfs.rollSize = 102400 agent1.sinks.sink1.hdfs.rollCount = 1000000 agent1.sinks.sink1.hdfs.rollInterval = 60 #agent1.sinks.sink1.hdfs.round = true #agent1.sinks.sink1.hdfs.roundValue = 10 #agent1.sinks.sink1.hdfs.roundUnit = minute agent1.sinks.sink1.hdfs.useLocalTimeStamp = true # Use a channel which buffers events in memory agent1.channels.channel1.type = memory agent1.channels.channel1.keep-alive = 120 agent1.channels.channel1.capacity = 500000 agent1.channels.channel1.transactionCapacity = 600 # Bind the source and sink to the channel agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1
Channel参数解释：
capacity：默认该通道中最大的可以存储的event数量
trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量
keep-alive：event添加到通道中或者移出的允许时间
Flume支持众多的source和sink类型，详细手册可参考官方文档
http://flume.apache.org/FlumeUserGuide.html
启动
bin/flume-ng agent -c conf -f conf/spooldir-hdfs.conf -n agent1