zookeeper单机模式实现分布式，开发部署测试模式机器有限情况

ZooKeeper的部署和测试

一背景

zookeeper是一个开源的分布式应用程序协调服务，是Apache Hadoop 的一个子项目。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。其原理是基于google发表的《The Chubby lock service for loosely-coupled distributed systems》论文。网上关于zookeeper的博客也很多，但很多讲的不细致，如如何测试部署成功。在学习别人的博客进行部署的过程中遇到了一些问题。所以写这篇博客主要是总结zookeeper的部署方法及在这过程中遇到的问题，提供更加详细的部署方案，希望能为其他初学者提供一些参考。

二所需环境和包

1. JDK 环境：

java JDK包可以到官网下载（这里提供所有版本的JDK下载地址：http://www.oracle.com/technetwork/java/archive-139210.html） 
JDK安装可参考： 
tar.gz方式：http://blog.csdn.net/zhangxh1013/article/details/7320860 
rpm方式： http://alan-hjkl.iteye.com/blog/1527179

JDK 环境是必须的，zookeeper是用java开发的，所以需要在JDK环境下运行。所以建议首先安装JDK,本人就是因为以为自己电脑上已经安装JDK,就直接部署zookeeper，在测试时并不成功，结果各种排错。

2. zookeeper 包：

下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper/

三单机部署

1.创建工作目录

mkdir /usr/lib/zookeeper

• 1

2.创建data,logs文件

data :下存放节点ID  
logs:用于下存放相关日志文件

mkdir/usr/lib/zookeeper/data

mkdir/usr/lib/zookeeper/logs

• 1
• 2

3.解压zookeeper到工作目录下

下载zookeeper的安装包之后, 解压到工作目录下(本文解压到/usr/lib/zookeeper).

tar -zxvf zookeeper-3.4.6.tar.gz/usr/lib/zookeeper

• 1

4.创建zoo.cfg

进入zookeeper目录下的conf子目录, 复制zoo_sample.cfg 并命名为zoo.cfg。

zookeeper服务器启动默认加载zoo.cfg文件，当然也可以命名为其他文件，但是在运行是需要指定cfg文件名。如命名为zk1.cfg时，启动zookeeper命令为：./zkServer.sh start zk1.cfg 。如果是zoo.cfg 启动时命令为：./zkServer.sh start

打开zoo.cfg 并修改相关配置

sudovi /usr/lib/zookeeper/zookeeper-3.4.6/conf/zoo.cfg

• 1

设置配置文件中的相关参数：

tickTime=2000

initLimit=10   

syncLimit=5  

dataDir=/usr/lib/zookeeper/data   

dataLogDir=/usr/lib/zookeeper/logs    

clientPort=2181   

参数说明：

• tickTime: zookeeper中使用的基本时间单位, 毫秒值
• initLimit： Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许Follower在initLimit时间内完成这个工作
• syncLimit：在运行过程中，Leader负责与ZK集群中所有机器进行通信，如果L发出心跳包在syncLimit之后，还没有从F那里收到响应，那么就认为这个F已经不在线了。
• dataDir: 数据目录. 可以是任意目录.本文制定/usr/lib/zookeeper/data 
• dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
• clientPort: 监听client连接的端口号

更多参数信息参考：http://www.cnblogs.com/ggjucheng/p/3352591.html

在某些博客中还会涉及设置环境变量这一步。 
在/etc/profile 文件中加入如下的内容：

#Set ZooKeeper Enviroment

exportZOOKEEPER_HOME=/usr/lib/zookeeper/zookeeper-3.4.6/

exportPATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

但我经过尝试后发现，其实并不需要进行环境的设置就可以部署成功。单机部署就到此完成了，接下来就是验证下是否部署成功了。

五测试

这一步就是检验之前所部署的zookeeper是否能够成功运行。

1.启动服务：

首先进入到zookeeper-3.4.6的bin文件夹下，再启动zkServer.sh

 cd/usr/lib/zookeeper/zookeeper-3.4.6/bin

./zkServer.sh start

或

 /usr/lib/zookeeper/zookeeper-3.4.6/bin/zkServer.shstart

运行结果：

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# ./zkServer.sh start

JMXenabled by default

Usingconfig:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg

Startingzookeeper ... STARTED.

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# 

这里需要注意的是启动时命令为./zkServer.sh start。如果是启动zkServer.sh start的话会报错找不到命令错误。这点初学者需要小心。

2.检查运行状态

通过./zkServer.sh status来检查服务器运行状态

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# ./zkServer.sh status

JMXenabled by default

Usingconfig:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg

Mode:standalone

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# 

Mode:standalone 表明当前是单机模式，也表明部署成功。如果出现下面的情况说明部署不成功：

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# ./zkServer.sh status

JMXenabled by default

Usingconfig:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg

Errorcontacting service. Itis probablynotrunning.

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# 

如果出现这种情况检查以下几个方面： 
1.JDK环境是否搭建好 
2.检查zoo.cfg中的dataDir，dataLogDir路径是否有错误

3.启动客户端

如果确认没错的话，便可启动客户端进行交互测试。 
运行bin下的zkCli.sh 文件， 
具体指令：./zkCli.sh -server localhost:2181 
localhost 表示指向本地地址（服务器地址） 
2181 即是在配置文件zoo.cfg 中设置的clientPort端口号 
意思是要建立与地址为localhost，端口号为2181的服务进行通信。如果运行该指令显示的结果如下，说明以及链接成功（即光标停止不动或最后一行显示[zk: localhost:2181(CONNECTED) 0] ）

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# ./zkCli.sh -server localhost:2181

Connecting tolocalhost:2181

2015-08-0709:39:06,957[myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on02/20/201409:09GMT

2015-08-0709:39:06,961[myid:] - INFO  [main:Environment@100] - Client environment:host.name=jaylon

2015-08-0709:39:06,961[myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.7.0_80

2015-08-0709:39:06,965[myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation

2015-08-0709:39:06,965[myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.7.0_80/jre

2015-08-0709:39:06,965[myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/usr/lib/zookeeper/zookeeper-3.4.6/bin/../build/classes:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../build/lib/*.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../conf:

2015-08-0709:39:06,966[myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/i386:/lib:/usr/lib

2015-08-0709:39:06,966[myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp

2015-08-0709:39:06,966[myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>

2015-08-0709:39:06,967[myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux

2015-08-0709:39:06,967[myid:] - INFO  [main:Environment@100] - Client environment:os.arch=i386

2015-08-0709:39:06,967[myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.13.0-32-generic

2015-08-0709:39:06,968[myid:] - INFO  [main:Environment@100] - Client environment:user.name=root

2015-08-0709:39:06,968[myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root

2015-08-0709:39:06,968[myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/usr/lib/zookeeper/zookeeper-3.4.6/bin

2015-08-0709:39:06,972[myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181sessionTimeout=30000watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@e01430

Welcome toZooKeeper!

2015-08-0709:39:07,015[myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@975] - Opening socket connection toserver localhost/127.0.0.1:2181.Will notattempt toauthenticate usingSASL (unknown error)

JLine support isenabled

2015-08-0709:39:07,034[myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@852] - Socket connection established tolocalhost/127.0.0.1:2181, initiating session

[zk: localhost:2181(CONNECTING)0] 2015-08-0709:39:07,065[myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@1235] - Session establishment complete onserver localhost/127.0.0.1:2181, sessionid = 0x14f05cde0f10001, negotiated timeout = 30000

 

WATCHER::

 

WatchedEvent state:SyncConnected type:None path:null

4 进行通信

现在进行客户端与服务端的通信，该步在3步基础上进行。在命令行输入help 会显示一些常用的通信指令：

[zk: localhost:2181(CONNECTED) 0] help

ZooKeeper -server host:port cmd args

   connect host:port

   getpath [watch]

   ls path [watch]

   setpath data [version]

   rmr path

   delquota [-n|-b] path

   quit 

   printwatches on|off

   create [-s] [-e] path data acl

   stat path [watch]

   close 

   ls2 path [watch]

   history 

   listquota path

   setAcl path acl

   getAcl path

   sync path

   redo cmdno

   addauth scheme auth

   delete path [version]

   setquota -n|-b val path

[zk: localhost:2181(CONNECTED) 1]

查看文件列表：

[zk: localhost:2181(CONNECTED) 1] ls/

[zookeeper]

新建文件：

[zk: localhost:2181(CONNECTED) 4] create/node node

Created /node

获取文件：

[zk: localhost:2181(CONNECTED) 5] get /node

node

cZxid= 0x100000008

ctime= Fri Aug 07 09:51:40 CST 2015

mZxid= 0x100000008

mtime= Fri Aug 07 09:51:40 CST 2015

pZxid= 0x100000008

cversion= 0

dataVersion= 0

aclVersion= 0

ephemeralOwner= 0x0

dataLength= 4

numChildren= 0

其他操作可以查看help。到这里已经完成了单机下的部署与测试了。接下就是要关闭服务。

5.关闭服务

操作完成记得关闭服务，不然端口一直被占用。在没有关闭服务的情况下再重启开启则会显示该服务正在运行。关闭代码如下：

root@jaylon:/usr/lib/zookeeper/zookeeper-3.4.6/bin# ./zkServer.sh stop

JMXenabled by default

Usingconfig:/usr/lib/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg

Stoppingzookeeper ... STOPPED

四伪集群模式部署

简单的说伪集群是指在单台机器中启动多个zookeeper进程, 并组成一个集群来模拟多台机器上的集群操作. 本文以启动3个zookeeper进程（节点）为例.

节点个数最好是奇数个，zookeeper集群是以宕机个数过半才会让整个集群宕机的，所以奇数个集群更佳。你可以设置3,5,7 个，原理上说节点越多越稳定。

1.创建虚拟节点

在本地建立三个节点，即三个文件夹来存放不同的节点配置

mkdir /usr/lib/zk/

mkdir /usr/lib/zk/server1

mkdir /usr/lib/zk/server2

mkdir /usr/lib/zk/server3

并在每个节点文件夹下建立data，logs文件夹，类似单机模式。将zookeeper软件包分别解压到三文件夹下（server1，server2，server3）。和单模式下一样，在每个节点的zookeeper-3.4.6/conf下创建zoo.cfg 。做法与单机模式一样。

2.配置不同节点的zoo.cfg

现在有3个节点，有三个配置文件（zoo.cfg）。所以需要对三个配置文件分别进行配置。

节点1 
/usr/lib/zk/server1/zookeeper-3.4.6/conf/zoo.cfg

tickTime=2000

initLimit=10   

syncLimit=5  

dataDir=/usr/lib/zk/server1/data    #注意这边路劲的不同

dataLogDir=/usr/lib/zk/server1/logs #注意这边路劲的不同

clientPort=2181  #端口号每个节点不同

 

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:2889:3889

server.3=127.0.0.1:2890:3890

与单机模式不同的是底下加入了三行配置：

server.服务号=服务地址:服务端口：通信端口

• 1

服务号：为每个节点分配对应的id 
服务地址：服务所在地址，因为现在用的是单机所以地址都是本地 
服务端口：和clientPort端口是不同的 
在设置过程中服务端口和通信端口应该不同，每个节点的服务端口和通信端口也不同，以防止端口冲突。 
其他文件节点zoo.cfg配置基本一样，不同的在于dataDir，dataLogDir和clientPort

节点2 
/usr/lib/zk/server2/zookeeper-3.4.6/conf/zoo.cfg

tickTime=2000

initLimit=10   

syncLimit=5  

dataDir=/usr/lib/zk/server2/data    #注意这边路劲的不同server2

dataLogDir=/usr/lib/zk/server2/logs #注意这边路劲的不同server2

clientPort=2182  #端口号每个节点不同2182

 

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:2889:3889

server.3=127.0.0.1:2890:3890

节点3 
/usr/lib/zk/server3/zookeeper-3.4.6/conf/zoo.cfg

tickTime=2000

initLimit=10   

syncLimit=5  

dataDir=/usr/lib/zk/server3/data    #注意这边路劲的不同server3

dataLogDir=/usr/lib/zk/server3/logs #注意这边路劲的不同server3

clientPort=2183  #端口号每个节点不同2183

 

server.1=127.0.0.1:2888:3888

server.2=127.0.0.1:2889:3889

server.3=127.0.0.1:2890:3890

3.配置不同节点上的myid

在每个节点的data文件夹下分别创建myid文件（没有后缀）。并在每个myid文件里只写上该节点的id如： 
server1/data/myid 里写1 
server2/data/myid 里写2 
server3/data/myid 里写3

4.启动 

与单机模式不同，集群模式需要同时启动所有节点上的服务 
建议在/root 下建立一个start.sh 文件到时只需要启动该文件则可以将三个服务同时启动，则不用分别进入每个文件夹下启动zkServer.sh 。 
start.sh 文件内容如下：

/usr/lib/zk/server1/zookeeper-3.4.6/bin/zkServer.shstart

/usr/lib/zk/server2/zookeeper-3.4.6/bin/zkServer.shstart

/usr/lib/zk/server3/zookeeper-3.4.6/bin/zkServer.shstart

启动服务：

root@jaylon:~# gedit start.sh

root@jaylon:~# ./start.sh 

JMX enabled by default

Using config: /usr/lib/zk/server1/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ...STARTED

JMX enabled by default

Using config: /usr/lib/zk/server2/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ...STARTED

JMX enabled by default

Using config: /usr/lib/zk/server3/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ...STARTED

5.测试 

检查服务是否正常启动。我们可以写一个指令文件status.sh 内容如下(和start.sh 不同的在于将start改成status)：

/usr/lib/zk/server1/zookeeper-3.4.6/bin/zkServer.sh status

/usr/lib/zk/server2/zookeeper-3.4.6/bin/zkServer.sh status

/usr/lib/zk/server3/zookeeper-3.4.6/bin/zkServer.sh status

启动检查：

root@jaylon-Lenovo-G460:~# ./status.sh 

JMX enabled bydefault

Usingconfig: /usr/lib/zk/server1/zookeeper/bin/../conf/zoo.cfg

Mode: leader

JMX enabled bydefault

Usingconfig: /usr/lib/zk/server2/zookeeper/bin/../conf/zoo.cfg

Mode: follower

JMX enabled bydefault

Usingconfig: /usr/lib/zk/server3/zookeeper/bin/../conf/zoo.cfg

Mode: follower

从mode中可以看到每个节点的状态。节点1 是leader 其他两个节点是follower。 

ZooKeeper需要在所有的服务（可以理解为服务器）中选举出一个Leader，然后让这个Leader来负责管理集群。此时，集群中的其它服务器则成为此Leader的Follower。并且，当Leader故障的时候，需要ZooKeeper能够快速地在Follower中选举出下一个Leader 

6.通信

从任意节点下启动一个客户端链接任意节点的服务端口。 
如启动节点3的客户端链接节点2的服务：

cd/usr/lib/zk/server3/zookeeper-3.4.6/bin

./zkCli.sh -server localhost:2182

链接成功后的通信与链接失败的问题解决也可以参考单机模式。

7.关闭服务

root@jaylon:/usr/lib/zk/server1/zookeeper-3.4.6/bin/zkServer.sh stop

root@jaylon:/usr/lib/zk/server2/zookeeper-3.4.6/bin/zkServer.sh stop

root@jaylon:/usr/lib/zk/server3/zookeeper-3.4.6/bin/zkServer.sh stop

四问题总结

安装过程中常遇到的问题就是部署完如何检验部署成功，这也是很多博文没有提供的。另外就是部署不成功，问题如何解决。以下总结自己遇到的问题，及觉得容易忽略的问题：

• JDK没有安装好就启动了zookeeper服务
• 配置文件zoo.cfg 中的路径写错了，与具体文件没对应上
• 每个节点的clientPort 设置相同了
• 每个节点的myid文件的内容是否和对应节点id一样
• zoo.cfg 的服务端口和通信端口设置是否正确，端口是否被占用

五参考资料

http://coolxing.iteye.com/blog/1871009 
http://blog.chinaunix.net/uid-20498361-id-3184380.html 
http://blog.csdn.net/cuiran/article/details/8509429

另一种集群配置方式：http://blog.fens.me/hadoop-zookeeper-intro/