zookeeper集群搭建

 

Zookeeper集群搭建步骤及相关知识点深入了解

1、zookeeper概念

zookeeper是一个分布式协调服务：

     a:zookeeper是为别的分布式程序服务的

     b:zookeeper本身就是一个分布式程序（只要半数以上节点存活，zookeeper就能正常服务。）

     c:zookeeper的服务范围：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务...

     d:zookeeper底层其实只提供了两个功能：

          1）管理（存储、读取）用户程序提交的数据

          2）为用户程序提交数据节点监听服务

 

2、zookeeper集群机制

半数机制：集群中半数以上机器存活，集群可用。

zookeeper集群适合搭建在奇数台机器上。

3、zookeeper特性

• Zookeeper：一个leader，多个follower组成的集群
• 全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的
• 分布式读写，更新请求转发，由leader实施
• 更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行
• 数据更新原子性，一次数据更新要么成功，要么失败
• 实时性，在一定时间范围内，client能读到最新数据

4、zookeeper数据结构

• 层次化的目录结构，命名符合常规文件系统规范(见下图)

• 每个节点在zookeeper中叫做Znode,并且其有一个唯一的路径标识

• 节点Znode可以包含数据和子节点（但是EPHEMERAL类型的节点不能有子节点）

• 客户端应用可以在节点上设置监视器

•  节点类型：

　　　　　　1、Znode有两种类型：

　　　　　　　　短暂（ephemeral）（断开连接自己删除）

　　　　　　　　持久（persistent）（断开连接不删除）

　　　　　　2、Znode有四种形式的目录节点（默认是persistent ）

　　　　　　　　PERSISTENT

　　　　　　　　PERSISTENT_SEQUENTIAL（持久序列/test0000000019 ）

　　　　　　　　EPHEMERAL

　　　　　　　　EPHEMERAL_SEQUENTIAL

　　　　　　3、创建znode时设置顺序标识，znode名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护

　　　　　　4、在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

5、zookeeper原理及内部选举机制

原理：zookeeper在配置文件中并没有指定master和slave，但是，zookeeper在工作时，只有一个节点为leader，其余节点为follower，leader是通过内部的选举机制临时产生的。

 选举机制：（两种情况）

（1）全新集群paxos

假设有五台服务器组成的zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么.
　　1) 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态
　　2) 服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1,2还是继续保持LOOKING状态.
　　3) 服务器3启动,根据前面的理论分析,服务器3成为服务器1,2,3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的leader.
　　4) 服务器4启动,根据前面的分析,理论上服务器4应该是服务器1,2,3,4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了.
　　5) 服务器5启动,同4一样,当小弟.

（2）非全新集群（数据恢复）

初始化的时候，是按照上述的说明进行选举的，但是当zookeeper运行了一段时间之后，有机器down掉，重新选举时，选举过程就相对复杂了。

需要加入数据id、leader id和逻辑时钟。

　　数据id：数据新的id就大，数据每次更新都会更新id。

　　Leader id：就是我们配置的myid中的值，每个机器一个。

　　逻辑时钟：这个值从0开始递增,每次选举对应一个值,也就是说:  如果在同一次选举中,那么这个值应该是一致的 ;  逻辑时钟值越大,说明这一次选举leader的进程更新.

选举的标准就变成：

　　1、逻辑时钟小的选举结果被忽略，重新投票

　　2、统一逻辑时钟后，数据id大的胜出

　　3、数据id相同的情况下，leader id大的胜出

根据这个规则选出leader。

6、zookeeper集群的搭建(博主亲手成功搭建步骤，经得起考验！)

（1）准备三台机器：hadoop1(172.25.1.16)、hadoop2(172.25.1.17)、hadoop3(172.25.1.18)。

　　　　这三台机器是在之前安装好常用软件（jdk）的机器克隆来的，克隆来了以后，要分别对其中的物理地址和ip进行修改：

　　　　　　　　ifconfig   　　　　　　　　---查看物理设备名称（eth1）

　　　　　　　　setup     　　　　　　　　---修改里面的设备名称为eth1，并将修改ip地址，保存退出

　　　　　　　　service network restart   ---重启网卡

　　　　　　　　ifconfig   　　　　　　　　---查看是否配置成功

（2）将zookeeper安装包上传到hadoop1的/usr/local中。

　　　　上传方式：使用上传工具或者使用lrzsz

 　　　　lrzsz是一款在linux里可代替ftp上传和下载的程序。

　　　　 要想使用lrzsz进行上传rz(也可直接鼠标拖拽)和下载sz，则必须安装lrzsz。可以使用yum install lrzsz自动安装，必须有网络。没有网络，可以制作yum本地源。

[root@config-zk1 ~]# yum install lrzsz

[root@config-zk2 ~]# yum install lrzsz

[root@config-zk3 ~]# yum install lrzsz

（3）解压　　  tar -zxvf /usr/local/zookeeper-3.4.14.tar.gz

　　 重命名　　mv zookeeper-3.4.14.tar.gz zookeeper

config-zk1配置：

[root@config-zk1 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

[root@config-zk1 ~]# mkdir /data

[root@config-zk1 ~]# tar xf zookeeper-3.4.14.tar.gz -C /data/

[root@config-zk1 ~]# mv /data/zookeeper-3.4.14/ /data/zookeeper

config-zk2配置：

[root@config-zk2 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

[root@config-zk2 ~]# mkdir /data

[root@config-zk2 ~]# tar xf zookeeper-3.4.14.tar.gz -C /data/

[root@config-zk2 ~]# mv /data/zookeeper-3.4.14/ /data/zookeeper

config-zk3配置：

[root@config-zk3 ~]# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

[root@config-zk3 ~]# mkdir /data

[root@config-zk3 ~]# tar xf zookeeper-3.4.14.tar.gz -C /data/

[root@config-zk3 ~]# mv /data/zookeeper-3.4.14/ /data/zookeeper

 （4）修改环境变量

　　　　　　vi /etc/profile

　　　　　　添加内容：export ZOOKEEPER_HOME=/data/zookeeper

　　　　　　　　　　　export PATH=.:$ZOOKEEPER_HOME/bin....

　　　刷新环境变量

　　　　　　source /etc/profile

　　注意：3台机器都要修改

config-zk1配置：

[root@config-zk1 ~]# vim /etc/profile

export ZOOKEEPER_HOME=/data/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@config-zk1 ~]# source /etc/profile

 config-zk2配置：

[root@config-zk2 ~]# vim /etc/profile

export ZOOKEEPER_HOME=/data/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@config-zk2 ~]# source /etc/profile

config-zk3配置：

[root@config-zk3 ~]# vim /etc/profile

export ZOOKEEPER_HOME=/data/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@config-zk3 ~]# source /etc/profile

（5）修改配置文件

　　　　　　cd /data/zookeeper/conf

　　　　　　mv zoo_sample.cfg zoo.cfg

config-zk1配置

[root@config-zk1 ~]# cd /data/zookeeper/conf
[root@config-zk1 conf]# mv zoo_sample.cfg zoo.cfg

 config-zk2配置

[root@config-zk2 ~]# cd /data/zookeeper/conf
[root@config-zk2 conf]# mv zoo_sample.cfg zoo.cfg

 config-zk3配置

[root@config-zk3 ~]# cd /data/zookeeper/conf
[root@config-zk3 conf]# mv zoo_sample.cfg zoo.cfg

　　　　

　　vi zoo.cfg

　　　　　　添加内容：　

　　　　　　　　　　dataDir=/data/zookeeper/data  （不能放在临时文件夹中，需新建data文件夹）

　　　　　　　　　　dataLogDir=/data/zookeeper/logs（新建logs文件夹，可不要！！！）

　　　　　　　　　　server.1=172.25.1.16:2888:3888 (主机名, 心跳端口、数据端口)

　　　　　　　　　　server.2=172.25.1.17:2888:3888（都是默认端口）

　　　　　　　　　　server.3=172.25.1.18:2888:3888（2888是leader和follow之间通信，3888是投票选举时用的端口）

[root@config-zk1 conf]# vim zoo.cfg

# The number of milliseconds of each tick
# 每个刻度的毫秒数
tickTime=2000
# The number of ticks that the initial
# 初始的刻度数
# synchronization phase can take
# 同步阶段可能需要
initLimit=10
# The number of ticks that can pass between
# 可以在之间传递的刻度数
# sending a request and getting an acknowledgement
# 发送请求并获得确认
syncLimit=5
# the directory where the snapshot is stored.
# 存储快照的目录。
# do not use /tmp for storage, /tmp here is just
# 不要使用/tmp存储，这里只是/tmp
# example sakes.
# 例子。
dataDir=/data/zookeeper/data
# the port at which the clients will connect
# 客户端将连接的端口
clientPort=2181
# the maximum number of client connections.
# 客户端连接的最大数量。
# increase this if you need to handle more clients
# 如果你需要处理更多的客户，增加这个
maxClientCnxns=0
#
# Be sure to read the maintenance section of the
# 请务必阅读的维护部分
# administrator guide before turning on autopurge.
# 打开自动催促前的管理员指南。
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
# 要保留在数据目录中的快照数量
autopurge.snapRetainCount=7
# Purge task interval in hours
# 清除任务间隔(小时)
# Set to "0" to disable auto purge feature
# 设置为“0”禁用自动清除功能
autopurge.purgeInterval=24

dataLogDir=/data/zookeeper/logs
server.1=172.25.1.16:2888:3888
server.2=172.25.1.17:2888:3888
server.3=172.25.1.18:2888:3888

创建文件夹

[root@config-zk1 conf]# mkdir /data/zookeeper/{data,logs} -p

[root@config-zk2 conf]# mkdir /data/zookeeper/{data,logs} -p

[root@config-zk3 conf]# mkdir /data/zookeeper/{data,logs} -p

在data文件夹中新建myid文件，myid文件的内容为1（一句话创建：echo 1 > myid）

config-zk1配置：

[root@config-zk1 conf]# cd /data/zookeeper/data/
[root@config-zk1 data]# echo 1 > myid

以上配置填写的是ip，第六点可以忽略

（6）把zookeeper目录复制到hadoop2和hadoop3中

　　在这之前要三台机器都要设置映射文件：

　　　　　　vi /etc/hosts

　　　　　　　　　　172.25.1.16 hadoop1

　　　　　　　　　　172.25.1.17 hadoop2

　　　　　　　　　　172.25.1.18 hadoop3

　　设置三个机器的本机免密登录（三台机器配置一样）：

　　　　　　ssh-keygen -t rsa   ---一直回车即可

　　　　　　cd /root/.ssh/    ---生成了公钥和私钥

　　　　　　cat id_rsa.pub >> authorized_keys   ---将公钥追加到授权文件中

　　　　　　more authorized_keys   ---可以查看到里面追加的公钥

　　　　　　ssh hadoop1

　　配置两两之间的免密登录：

　　　　　　将hadoop1中的公钥复制到hadoop2中ssh-copy-id -i hadoop2         验证一下：ssh hadoop2  

　　　　　   将hadoop3中的公钥复制到hadoop2中ssh-copy-id -i hadoop2　　　验证一下：ssh hadoop2

　　　　　　这样hadoop2中的授权文件就有三个机器的公钥，再把hadoop2中的授权文件复制给hadoop1和hadoop3

　　　　　　　　scp /root/.ssh/authorized_keys hadoop1:/root/.ssh/

　　　　　　　　scp /root/.ssh/authorized_keys hadoop3:/root/.ssh/

　　　　　　这样就ok了！

（7）把hadoop2中相应的myid的值改为2

config-zk2配置：

[root@config-zk2 conf]# cd /data/zookeeper/data/
[root@config-zk2 data]# echo 2 > myid

       把hadoop3中相应的myid的值改为3

config-zk3配置：

[root@config-zk3 conf]# cd /data/zookeeper/data/
[root@config-zk3 data]# echo 3 > myid

（8）将三台机器的防火墙关闭掉，service iptables stop ，查看service iptables status

　　 启动，在三个节点上分别都要执行命令zkServer.sh start
　　　　cd /data/zookeeper/bin
　　　　ls
　　　　zkServer.sh start

config-zk1配置：

[root@config-zk1 data]# cd /data/zookeeper/bin/
[root@config-zk1 bin]# ls
README.txt zkCli.cmd zkEnv.cmd zkServer.cmd zkTxnLogToolkit.cmd
zkCleanup.sh zkCli.sh zkEnv.sh zkServer.sh zkTxnLogToolkit.sh
[root@config-zk1 bin]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

config-zk2配置：

[root@config-zk2 data]# cd /data/zookeeper/bin/
[root@config-zk2 bin]# ls
README.txt zkCli.cmd zkEnv.cmd zkServer.cmd zkTxnLogToolkit.cmd
zkCleanup.sh zkCli.sh zkEnv.sh zkServer.sh zkTxnLogToolkit.sh
[root@config-zk2 bin]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

config-zk3配置：

[root@config-zk3 data]# cd /data/zookeeper/bin/
[root@config-zk3 bin]# ls
README.txt zkCli.cmd zkEnv.cmd zkServer.cmd zkTxnLogToolkit.cmd
zkCleanup.sh zkCli.sh zkEnv.sh zkServer.sh zkTxnLogToolkit.sh
[root@config-zk3 bin]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

 启动完了之后，在bin目录下多了一个zookeeper.out

　　　　　　　　　　小技巧：（怎么对三台机器同时执行一个命令？）

　　　　　　　　　　　　　　在CRT中，菜单栏View-->Command Window勾选上，工具下面会出现一个窗口，在窗口中点击鼠标右键，选择all session。这样在窗口中执行一个命令，就会对所有session起作用！

　　　　　　　　　　　　　　

（9）检验，jps查看进程，会出现进程QuorumPeerMain

　　　在三个节点上依次执行命令zkServer.sh status(可以看到MODE，谁是leader，谁是follower)

　　　hadoop1：follower 

　　　hadoop2:leader

　　　hadoop3:follower

config-zk1配置：

[root@config-zk1 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: follower

config-zk2配置：

[root@config-zk2 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: leader

config-zk3配置：

[root@config-zk3 bin]# zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /data/zookeeper/bin/../conf/zoo.cfg
Mode: follower