本篇目的是在一台虚拟机上搭建一个3台zookeeper服务器的伪集群。
一、安装java环境,不再赘述。
二、下载、配置 Zookeeper
1、在 /opt 目录下创建 zookeeper/ 目录:
mkdir /opt/zookeeper/
2、进入 zookeeper 目录,创建集群的各台服务器的数据目录和日志目录。
cd /opt/zookeeper
mkdir zkdata_1 zkdatalog_1
mkdir zkdata_2 zkdatalog_2
mkdir zkdata_3 zkdatalog_3
3、在 zookeeper 目录下载 zookeeper 安装包。
wget https://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz
4、解压 zookeeper-3.4.11.tar.gz
tar -zxvf zookeeper-3.4.11.tar.gz
5、经过解压得到目录 zookeeper-3.4.11/,进入zookeeper-3.4.11/conf/ 目录
cd zookeeper-3.4.11/conf/
6、修改zookeeper配置文件,通常将zookeeper-3.4.11/conf/ 目录下 zoo_sample.cfg 修改为 zoo.cfg(zoo_sample.cfg这个文件是官方给的zookeeper配置的样板文件,zoo.cfg 是官方指定的配置文件的命名规则),这里我们要搭建3台zookeeper服务器,所以我将样板文件复制为zoo_1.cfg、zoo_2.cfg、zoo_3.cfg分别表示每台服务器各自的配置文件。
cp zoo_sample.cfg zoo_1.cfg
cp zoo_sample.cfg zoo_2.cfg
cp zoo_sample.cfg zoo_3.cfg
配置文件内容如下:
zoo_1.cfg: tickTime=2000 initLimit=10 syncLimit=5 dataDir=/opt/zookeeper/zkdata_1 clientPort=2181 dataLogDir=/opt/zookeeper/zkdatalog_1 server.1=192.168.10.128:2887:3887 server.2=192.168.10.128:2888:3888 server.3=192.168.10.128:2889:3889 zoo_2.cfg: tickTime=2000 initLimit=10 syncLimit=5 dataDir=/opt/zookeeper/zkdata_2 clientPort=2182 dataLogDir=/opt/zookeeper/zkdatalog_2 server.1=192.168.10.128:2887:3887 server.2=192.168.10.128:2888:3888 server.3=192.168.10.128:2889:3889 zoo_3.cfg: tickTime=2000 initLimit=10 syncLimit=5 dataDir=/opt/zookeeper/zkdata_3 clientPort=2183 dataLogDir=/opt/zookeeper/zkdatalog_3 server.1=192.168.10.128:2887:3887 server.2=192.168.10.128:2888:3888 server.3=192.168.10.128:2889:3889 说明: #tickTime: 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。 #initLimit: 这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeeper 服务器的客户端,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒 #syncLimit: 这个配置项标识 Leader 与Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是5*2000=10秒 #dataDir: 快照日志的存储路径 #dataLogDir: 事物日志的存储路径,如果不配置这个那么事物日志会默认存储到dataDir制定的目录,这样会严重影响zk的性能,当zk吞吐量较大的时候,产生的事物日志、快照日志太多 #clientPort: 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。 #server.1 这个1是服务器的标识也可以是其他的数字, 表示这个是第几号服务器,用来标识服务器,这个标识要写到快照目录下面myid文件里 #192.168.10.128 为集群里的IP地址,第一个端口是master和slave之间的通信端口,默认是2888,第二个端口是leader选举的端口,集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888
7、创建myid文件
#server1 echo "1" > /opt/zookeeper/zkdata_1/myid #server2 echo "2" > /opt/zookeeper/zkdata_2/myid #server3 echo "3" > /opt/zookeeper/zkdata_3/myid
8、重要配置说明
8.1、myid文件和server.myid 在快照目录下存放的标识本台服务器的文件,他是整个zk集群用来发现彼此的一个重要标识。
8.2、zoo.cfg 文件是zookeeper配置文件 在conf目录里。
8.3、log4j.properties文件是zk的日志输出文件 在conf目录里用java写的程序基本上有个共同点日志都用log4j,来进行管理。
# Define some default values that can be overridden by system properties zookeeper.root.logger=INFO, CONSOLE #日志级别 zookeeper.console.threshold=INFO #使用下面的console来打印日志 zookeeper.log.dir=. #日志打印到那里,是咱们启动zookeeper的目录 (建议设置统一的日志目录路径) zookeeper.log.file=zookeeper.log zookeeper.log.threshold=DEBUG zookeeper.tracelog.dir=. zookeeper.tracelog.file=zookeeper_trace.log # # ZooKeeper Logging Configuration # # Format is "<default threshold> (, <appender>)+ # DEFAULT: console appender only log4j.rootLogger=${zookeeper.root.logger} # Example with rolling log file #log4j.rootLogger=DEBUG, CONSOLE, ROLLINGFILE # Example with rolling log file and tracing #log4j.rootLogger=TRACE, CONSOLE, ROLLINGFILE, TRACEFILE # # Log INFO level and above messages to the console # log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender log4j.appender.CONSOLE.Threshold=${zookeeper.console.threshold} log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout log4j.appender.CONSOLE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n # Add ROLLINGFILE to rootLogger to get log file output # Log DEBUG level and above messages to a log file log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender log4j.appender.ROLLINGFILE.Threshold=${zookeeper.log.threshold} log4j.appender.ROLLINGFILE.File=${zookeeper.log.dir}/${zookeeper.log.file} # Max log file size of 10MB log4j.appender.ROLLINGFILE.MaxFileSize=10MB # uncomment the next line to limit number of backup files #log4j.appender.ROLLINGFILE.MaxBackupIndex=10 log4j.appender.ROLLINGFILE.layout=org.apache.log4j.PatternLayout log4j.appender.ROLLINGFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n # # Add TRACEFILE to rootLogger to get log file output # Log DEBUG level and above messages to a log file log4j.appender.TRACEFILE=org.apache.log4j.FileAppender log4j.appender.TRACEFILE.Threshold=TRACE log4j.appender.TRACEFILE.File=${zookeeper.tracelog.dir}/${zookeeper.tracelog.file} log4j.appender.TRACEFILE.layout=org.apache.log4j.PatternLayout ### Notice we are including log4j's NDC here (%x) log4j.appender.TRACEFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L][%x] - %m%n
4、zkEnv.sh和zkServer.sh文件
但是可以通过命令去定期的清理。
#!/bin/bash #snapshot file dir dataDir=/opt/zookeeper/zkdata/version-2 #tran log dir dataLogDir=/opt/zookeeper/zkdatalog/version-2 #Leave 66 files count=66 count=$[$count+1] ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f #以上这个脚本定义了删除对应两个目录中的文件,保留最新的66个文件,可以将他写到crontab中,设置为每天凌晨2点执行一次就可以了。 #zk log dir del the zookeeper log #logDir= #ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f
9、启动zookeeper服务
9.1 启动服务
#进入到Zookeeper的bin目录下 cd /opt/zookeeper/zookeeper-3.4.11/ #启动服务(3台都需要操作) bin/zkServer.sh start conf/zoo_1.cfg bin/zkServer.sh start conf/zoo_2.cfg bin/zkServer.sh start conf/zoo_3.cfg
9.2检查服务状态
bin/zkServer.sh status conf/zoo_1.cfg JMX enabled by default Using config: /opt/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg #配置文件 Mode: follower #他是不为领导
zk集群一般只有一个leader,多个follower,主一般是相应客户端的读写请求,而从主同步数据,当主挂掉之后就会从follower里投票选举一个leader出来。