Kafka集群安装

Kafka集群安装

一、安装环境

系统：centos7.6（192.168.47.188,192.168.47.189,192.168.47.190）

JDK版本：1.8

zookeeper：三台 【参考 https://www.cnblogs.com/hsyw/p/13208716.html】

Kafka：三台【参考 https://www.cnblogs.com/hsyw/p/13416311.html】

二、集群安装（便于方便管理用的也是独立部署的zk）

2.1、配置文件详解

​ zookeeper集群部署、Kafka单机部署请查看我上面的博客，下面我们就直接进入Kafka集群搭建了！

​ Kafka有很多配置文件，我们这次做集群部署，研究/app/kafka/config/下的server.properties就可以了

配置文件详解：https://www.cnblogs.com/hsyw/p/13416673.html

2.2、实际上我们要修改的选项

#broker.id=0  每台服务器的broker.id都不能相同
#hostname
host.name=192.168.47.xxx
#在log.retention.hours=168 下面新增下面三项
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#设置zookeeper的连接端口
zookeeper.connect=192.168.47.188:2181,192.168.47.189:2181,192.168.47.190:2181

2.3、启动集群

#启动Kafka得先启动zookeeper（三台都启动）
[root@t1 ~]# /app/zktst/bin/zkServer.sh restart
#可以先前台启动看看是否有报错
[root@t1 kafka]# /app/kafka/bin/kafka-server-start.sh /app/kafka/config/server.properties 

#后台启动
[root@t1 kafka]# /app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties 

[root@t3 ~]# ss -ntl|grep 9092
LISTEN     0      50          :::9092                    :::*        

三、测试集群健康

3.1、创建Topic

[root@t1 bin]# ./kafka-topics.sh --create --zookeeper 192.168.47.188:2181 --replication-factor 2 --partitions 1 --topic tzh
Created topic tzh.
#参数
--replication-factor 2   #复制两份
--partitions 1			 #创建1个分区
--topic 				 #主题为tzh

3.2、在一台服务器上创建一个发布者

[root@t1 bin]# ./kafka-console-producer.sh --broker-list 192.168.47.188:9092 --topic tzh
>ni hao

3.3、在一台服务器上创建一个订阅者

##订阅者成功收到信息说明Kafka成功搭建
[root@t3 bin]# ./kafka-console-consumer.sh --bootstrap-server 192.168.47.189:9092 --topic tzh --from-beginning
ni hao