kafka集群搭建文档
一. 下载解压
从官网下载Kafka，下载地址http://kafka.apache.org/downloads.html
注意这里最好下载scala2.10版本的kafka，因为scala2.10版本的兼容性比较好和2.11版本差别太大
通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压
二．配置启动
配置config/server.properties
配置broker.id从0开始，后面其他节点配置1,2,3,4等等
事先启动zookeeper集群，这里配置zookeeper集群的地址
zookeeper.connect=master:2181,slave1:2181,slave2:2181
将集群分发到其他机器，比如
scp -r kafka_2.10-0.9.0.1 root@slave1:/opt/sxt/soft/
scp -r kafka_2.10-0.9.0.1 root@slave2:/opt/sxt/soft/
这里注意修改broker.id
修改完配置以后在每个节点启动kafka
bin/kafka-server-start.sh config/server.properties
三．测试
新建一个topic
./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -topic test -replication-factor 2 -partitions 5 –create
查看当前的topic
./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -list
在一个节点创建一个provider
./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test
在另外一个节点创建一个consumer
./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning -topic test
在provider输入信息，在consumer能接收到信息
