kafka集群搭建

1. 准备

搭建好zookeeper集群
准备好kafka安装包
官方下载：http://kafka.apache.org/downloads

2. 安装kafka

#rz上传包至/opt/install/
#解压
tar -zxvf kafka_2.12-0.10.2.1.tgz
#修改目录名称
mv kafka_2.12-0.10.2.1 kafka
#移动文件夹至/opt/software
mv kafka ../software/

3. 配置环境（同时操作三台）

vim /etc/profile
#文尾添加环境变量
 export KAFKA_HOME=/opt/software/kafka
 export PATH=$PATH:$KAFKA_HOME/bin
#让配置生效
source /etc/profile

4. 配置文件

cd /opt/software/kafka/config
vim server.properties
#配置 broker 的ID
 broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推
#打开监听端口
 listeners=PLAINTEXT://192.168.3.xx:9092 //尽量写ip地址，以免造成错误
#修改 log 的目录、在指定的位置创建好文件夹logs
 log.dirs=/usr/local/kafka/logs
#修改 zookeeper.connect
 zookeeper.connect=linux24:2181,linux25:2181,linux26:2181
#网络线程数量
 num.network.threads=3 (默认)
#Zookeeper每6秒监视kafka是否还活着
 zookeeper.connection.timeout.ms=6000（默认）

5. 启动kafka

#注意先启动zookeeper
zkServer.sh start
#kafka目录下
./bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties &  打印日志启动
./bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties & 不打印日志启动

6. 测试

#选择一个节点运行,创建一个topic:blb   注：localhost=》linux24
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic blb
#查看是否创建成功
kafka-topics.sh --list -zookeeper linux24:2181