Flume+Kafka整合使用

一、背景

Flume和Kafka都是Apache的开源项目。

1.Flume的优点和适用场景

支持的数据源较多、可自定义网络请求的安全配置(filter)

适合下游数据消费者不多的情况（一个消费者开一个channel）
适合数据安全性要求不高的操作（数据没有备份、没有副本）
适合与Hadoop生态圈对接的操作（HDFS、Hbase等）

2.Kafka的优点和适用场景

高负载、高可用、数据安全性高

适合数据下游消费众多的情况（kafka从磁盘读，并且只找Leader读）
适合数据安全性要求较高的操作，支持replication（多副本）

3.Flume的缺点

(1) 没有提供高可用机制（整合ZooKeeper）。当然，可以自行实现，但增加了成本

(2) 多数场景是配置成把数据保存在内存，如果内存爆了或突然宕机，数据容易丢失

(3) 如果配置成把数据保存在硬盘，没有分区（Partition）和冗余副本（Replication），大数据场景不适合单独使用

4.Kafka的缺点

(1) 旧版本的Kafka的接收端性能比Flume差

(2) 支持接收的数据源没Flume多

(3) 没有内置的过滤器（filter），例如，请求的过滤器。当然，可以自行实现，但增加了成本

5.整合使用

大数据场景下有3种选择：

(1) 数据发送端 -> Flume -> Kafka -> HBase/Hive/Solr/ES

(2) 数据发送端 -> Flume -> Kafka -> Java程序 -> HBase/Hive/Solr/ES

(3) 数据发送端 -> Flume -> Kafka -> Spark/Storm/Flink -> HBase/Hive/Solr/ES

二、预安装和部署

1.硬件环境

假设有4台机，IP及主机名如下：

192.168.100.105 c1
192.168.100.110 c2
192.168.100.115 c3
192.168.100.120 c4

Flume只部署在c1机，Kafka在4台机都部署。

2.软件环境

操作系统：Ubuntu Server 18.04

JDK：1.8.0

3.Flume的安装与部署

https://www.cnblogs.com/live41/p/15554223.html

4.Kafka的安装与部署

https://www.cnblogs.com/live41/p/15522443.html

三、整合配置

* 先登录root账号再进行以下操作

1.修改Flume配置

vim /home/flume/conf/flume-conf

把原来的配置修改为：

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
# 如果是用Java通过Flume API发送数据，把netcat改成avro
a1.sources.r1.type = netcat
a1.sources.r1.bind = c1
a1.sources.r1.port = 44444

# Describe the sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = topic1
a1.sinks.k1.kafka.bootstrap.servers = c1:9092,c2:9092,c3:9092
a1.sinks.k1.serializer.class = kafka.serializer.StringEncoder

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

四、操作

1.启动ZooKeeper

* 在每台机都要执行

zkServer.sh start

2.启动Kafka

* 在每台机都要执行

kafka-server-start.sh -daemon /home/kafka/config/server.properties

3.创建topic并启动topic的监听

* 在c2机执行

这里topic的名字是topic1

kafka-topics.sh --create --bootstrap-server c1:9092 --topic topic1 --partitions 8 --replication-factor 2
kafka-console-consumer.sh --bootstrap-server c1:9092 --topic topic1

4.启动Flume

* 在c1机执行

flume-ng agent -c conf/ -f /home/flume/conf/flume-conf -n a1 -Dflume.root.logger=INFO,console

5.命令测试

* 在c3机执行

telnet c1 44444

然后输入任意内容，看到c1和c2的窗口显示对应消息，就是部署成功了。

6.代码测试

* 在c3机执行

用Flume和Kafka的安装与部署文章中的代码测试即可。