02_Flume1.6.0安装及单节点Agent实践

Flume1.6.0的安装
1、上传Flume-1.6.0-tar.gz到待部署的所有机器
     以我的为例： /usr/local/src/

2、解压得到flume文件夹
      # tar -xzvf flume-1.6.0-tar.gz

3、修改文件夹名称，属主，及权限
     # mv flume-1.6.0 flume
     # chown -R root:root flume
    # chmod 755 flume

4、安装完毕，解压后可以直接使用，通过flume/conf下的配置文件修改就可以各种调戏了~

实践1 - 单节点Agent

 

1、配置文件

# 01-flume-netcat-test
# agent name: a1
# source: netcat
# channel: memory
# sink: logger, local console

# 01 define source,channel,sink name
a1.sources = r1
a1.channels = c1
a1.sinks = k1

# 02 define source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost # ip地址也OK
a1.sources.r1.port = 4444

# 03 define sink
a1.sinks.k1.type = logger      # flume sink将拉取到的信息，event形式打印到自己被启动时的终端

# 04 define channel
a1.channels.c1.type = memory
# number of events in memory queue 内存队列中的最大event数值
a1.channels.c1.capacity = 1000 
# number of events for 1 commit(每次向memory queuet放入event,取出event的最大值)，所以肯定是比内存队列中的event小
a1.channels.c1.transactioncapacity = 100

# 05 bind source,sink to channel
a1.sources.r1.channels = c1 # 1个source可以有多个channel
a1.sinks.k1.channel = c1      # 1个sink只能从1个channel取数据

2、启动本节点上的flume agent

# bin/flume-ng agent --conf conf --conf-file ./conf/flume-netcat.properties --name a1 -Dflume.root.logger=INFO,console

 解读：使用conf目录下的flume-netcat.properties文件，启动agent, agent的名称为a1;
            flume向console打印INFO级别及以上的日志信息

3、观察Flume agent的启动

flume启动过程中会向当前console打印INFO及以上级别的日志，在日志的最后可以看到a1启动，并且netcat source启动了1个serversocket,监听本机的4444端口

4、测试该Agent

再开启1个到telnet到Agent所在机器的命令行窗口，连接建立后输入数据，查看flume是否向console打印出了输入数据

1) telnet输入

2) Flume输出event到console

3) telnet输入16个以上字符

4) Flume的logger sink, 输出event只有16个字符

telnet退出：ctrl+], 然后quit

通过flume的Git源码发现，默认情况下logger sink能够输出的最大字符数为16，该问题已经被提交修改，但flume-1.6.0版本并没有解决该问题

 

实践2 - 单节点Agent

exec source：执行配置文件中给定的命令，监听命令的输出，输出的每一行被作为一个event

1、停止前一个flume agent进程
# ps -aux | grep flume 找到该进程的pid
# kill pid 不要kill -9 pid

2、配置文件

3、在agent运行的主机上创建测试用log文件，和配置文件中的路径及名称保持一致：/root/flume_test/server.log

4、启动本节点上的flume agent

# bin/flume-ng agent --conf conf --conf-file ./conf/flume-exec.properties --name a1 -Dflume.root.logger=INFO,console

解读：
使用conf目录下的flume-exec.properties文件，启动agent, agent的名称为a1;
flume向console打印INFO级别及以上的日志信息

5、根据flume agent启动时的日志，判断exec agent是否正常启动，执行给定命令，并监听输出（一行为一个event)

6、向flume agent机器上的测试log日志，写入内容，查看flume是否将新的输出转换为event，最终输出到终端

1）管道追加方式向server.log文件写入数据

2）flume输出event到自身被启动时的终端

3）再追加一次

4）查看flume是否输出event到自身被启动时的终端

5）查看server.log的文件结构，验证是否一行数据对应一个event

管道方式追加，在文件中生成了2行记录，分别对应一个flume event (命令执行结果的每一行输出，对应一个event)

实践3 - 单节点Agent

1、停止前一个flume agent进程
# ps -aux | grep flume    找到该进程的pid
# kill pid                          不要kill -9 pid

2、配置文件

3、在HDFS上创建event落地的目录
# hadoop fs -mkdir /flume_hdfs_sink

4、启动本节点上的flume agent

# bin/flume-ng agent --conf conf --conf-file ./conf/flume-hdfs.properties --name a1 -Dflume.root.logger=INFO,console

解读：
使用conf目录下的flume-hdfs.properties文件，启动agent, agent的名称为a1;
flume向console打印INFO级别及以上的日志信息

5. 再开启1个到telnet到Agent所在机器的命令行窗口，连接建立后输入数据，查看flume是否在HDFS目录上生成文件，将event写入
1) telnet输入

 

2) Flume输出

 

HDFS上此时存在临时文件，数据还没有真正写入

3) telnet多次输入，第11次写入时，HDFS上落地生成新文件（rollCount=10此时满足）

 

查看HDFS文件的内容
落地到HDFS文件中的内容，将只保留实际数据，不再是event形式

 

HDFS Sink的配置项参考（来自flume官网用户手册）