铭文一级：
需求二：
Agent选型：exec source + memory channel + logger sink
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log
a1.sources.r1.shell = /bin/sh -c
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
启动agent
flume-ng agent
--name a1
--conf $FLUME_HOME/conf
--conf-file $FLUME_HOME/conf/exec-memory-logger.conf
-Dflume.root.logger=INFO,console
需求三：
技术选型：
exec source + memory channel + avro sink
avro source + memory channel + logger sink
exec-memory-avro.conf
exec-memory-avro.sources = exec-source
exec-memory-avro.sinks = avro-sink
exec-memory-avro.channels = memory-channel
exec-memory-avro.sources.exec-source.type = exec
exec-memory-avro.sources.exec-source.command = tail -F /home/hadoop/data/data.log
exec-memory-avro.sources.exec-source.shell = /bin/sh -c
exec-memory-avro.sinks.avro-sink.type = avro
exec-memory-avro.sinks.avro-sink.hostname = hadoop000
exec-memory-avro.sinks.avro-sink.port = 44444
exec-memory-avro.channels.memory-channel.type = memory
exec-memory-avro.sources.exec-source.channels = memory-channel
exec-memory-avro.sinks.avro-sink.channel = memory-channel
avro-memory-logger.conf
avro-memory-logger.sources = avro-source
avro-memory-logger.sinks = logger-sink
avro-memory-logger.channels = memory-channel
avro-memory-logger.sources.avro-source.type = avro
avro-memory-logger.sources.avro-source.bind = hadoop000
avro-memory-logger.sources.avro-source.port = 44444
avro-memory-logger.sinks.logger-sink.type = logger
avro-memory-logger.channels.memory-channel.type = memory
avro-memory-logger.sources.avro-source.channels = memory-channel
avro-memory-logger.sinks.logger-sink.channel = memory-channel
先启动avro-memory-logger
flume-ng agent
--name avro-memory-logger
--conf $FLUME_HOME/conf
--conf-file $FLUME_HOME/conf/avro-memory-logger.conf
-Dflume.root.logger=INFO,console
flume-ng agent
--name exec-memory-avro
--conf $FLUME_HOME/conf
--conf-file $FLUME_HOME/conf/exec-memory-avro.conf
-Dflume.root.logger=INFO,console
第四章：分布式发布订阅消息系统Kafka
Kafka概述
和消息系统类似
消息中间件：生产者和消费者
妈妈：生产者
你：消费者
馒头：数据流、消息
正常情况下： 生产一个 消费一个
其他情况：
一直生产，你吃到某一个馒头时，你卡主(机器故障)， 馒头就丢失了
一直生产，做馒头速度快，你吃来不及，馒头也就丢失了
拿个碗/篮子，馒头做好以后先放到篮子里，你要吃的时候去篮子里面取出来吃
篮子/框： Kafka
当篮子满了，馒头就装不下了，咋办？
多准备几个篮子 === Kafka的扩容
Kafka架构
producer：生产者，就是生产馒头(老妈)
consumer：消费者，就是吃馒头的(你)
broker：篮子
topic：主题，给馒头带一个标签，topica的馒头是给你吃的，topicb的馒头是给你弟弟吃
铭文二级：
需求二=>
监听某个文件实时采集新增的数据输出到控制台
Agent的选型(exec source：监听文件； avro sink：跨服务器节点):
配置文件一：exec-memory-avro.conf（运行时后启动）
配置文件二：avro-memory-logger.conf（运行时先启动）
步骤：
1、先创建一个文件=>
touch ~/app/data/data.log
2、修改配置文件=>
配置文件一（注意agent、source、channel、sink的名字需要修改，不可以跟前面配置的a1、r1、k1、c1一样）：
exec source：需要配置 type：exec 与command：tail -F /home/hadoop/data/data.log
avro sink：需要配置 type：avro 与hostname：hadoop000 和port：44444
配置文件二：
avro source：需要配置 type：avro 与bind：hadoop000 和port：44444
3、启动配置文件=>
开启两个终端：先启动后面有东西装的、再启动前面的
4、在第三个终端进入data文件夹：
echo "hello" >> data.log
echo "world" >> data.log
5、观察avro source终端可看到有内容输出（输入内容少时有一点点延迟是因为memory有大小与时间限制）
第四章：分布式发布订阅消息系统Kafka
Kafka四个核心概念：producer、consumer、broker、topic
三种模式：单节点单Broker、单节点多Broker、多节点多Broker
因为Kafka运行在zooKeeper上，所以需先装zooKeeper（wget CDH5即可）
1.创建临时文件目录 mkdir /home/hadoop/app/tmp/zk（如用默认的每次启动文件会丢失）
2.配置好环境变量后需修改conf文件夹下的配置文件：cp zoo.sample.cfg zoo.cfg
dataDir=/home/hadoop/tmp/zk
3.进入bin目录执行：./zkServer.sh start
4.联上客户端(在当前终端执行)：./zkCli.sh
然后执行可查所开启的进程：jps
执行：ls /(可查看详细目录与内容)