zookeeper集群及kafka集群搭建

1.zookeeper集群搭建

1.1 上传安装包

官网推荐至少3个节点,我们这里也用三个节点192.169.2.18  192.169.1.82  192.169.1.95

准备好安装包,zookeeper的默认端口为2181

 

将安装包分别上传到3个节点的指定目录中 这里以/home/admin作为说明

运行命令 tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

然后进入到 解压后的目录  目录结构如图

 

1.2 编辑配置文件

进到conf 目录下  运行 cp zoo_sample.cfg zoo.cfg  如图

 

运行 vi zoo.cfg 修改如图

 

然后保存

说明一下

dataDir是存储内存中数据库快照的位置，除非另有说明，否则指向数据库更新的事务日志。注意：应该谨慎的选择日志存放的位置，使用专用的日志存储设备能够大大提高系统的性能，如果将日志存储在比较繁忙的存储设备上，那么将会很大程度上影像系统性能

2888是集群的通信端口  3888是集群的选举端口

1.3创建 myid文件

在上一步的 dataDir指定的目录下 创建 myid文件 然后写入指定的数字

数字是对应配置文件中的server.0 server.1 server.2

 

server.0的ip是192.169.1.95,那么在 192.169.1.95机器上的dataDir指定的目录下创建myid文件 写入0 保存  依次类推 server.1 写入1  server.2写入2

1.4启动zookeeper集群

运行bin目录下的sh bin/zkServer.sh start 启动zookeeper

 

每个节点都要运行

然后运行 sh bin/zkServer.sh status 查询节点状态如图 三个节点的状态如图

 

 

出现如图代表集群搭建成功  mode:follower代表从节点  mode:leader代表主节点

1.5命令补充

sh bin/zkServer.sh stop 停止命令

sh bin/zkServer.sh restart 重启命令

2.Kafka集群搭建

2.1 上传安装包

官网推荐3个节点, 我们这里也用三个节点192.169.2.18  192.169.1.82  192.169.1.95

准备好安装包, 默认端口是9092

 

上传到服务器的指定目录,以/home/admin做为说明

运行命令 tar -zxvf kafka_2.12-2.8.0.tgz 解压后的目录结构为

 

2.2 编辑配置文件

编辑config目录下的server.properties   vi config/server.properties

 

 

然后保存配置文件,每个节点的配置文件都要修改 

2.3启动kafka集群

在每个节点 运行命令 sh bin/kafka-server-start.sh -daemon config/server.properties

会在kafka的解压目录出现logs的目录  tail -f logs/server.log

出现这个即为启动成功

运行下面的查看topic详情的命令  有出现信息即可 kafka集群搭建完成

 

2.4命令补充

停止命令 sh bin/kafka-server-stop.sh

查看topic详情 sh bin/kafka-topics.sh --describe --zookeeper ip:port,ip:port,ip:port