4. Zookeeper 实战
4.1 分布式安装部署
集群思路:先搞定一台服务器,再克隆出两台,形成集群!
4.1.1 安装zookeeper
详情见:Learning Zookeeper systematically - part 2 - install
4.1.2 配置服务器编号
-
在/opt/zookeeper/zkData创建myid文件
[root@localhost zkData]# vim myid
-
在文件中添加与server对应的编号:1
-
其余两台服务器分别对应2和3
4.1.3 配置zoo.cfg文件
打开zoo.cfg文件,增加如下配置
#######################cluster##########################
server.1=192.168.204.141:2888:3888
server.2=192.168.204.142:2888:3888
server.3=192.168.204.143:2888:3888
配置参数解读 server.A=B:C:D
- A:一个数字,表示第几号服务器集群模式下配置的/opt/zookeeper/zkData/myid文件里面的数据就是A的值
- B:服务器的ip地址
- C:与集群中Leader服务器交换信息的端口
- D:选举时专用端口,万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
4.1.4 配置其余两台服务器
- 在虚拟机数据目录vms下,创建zk02
- 将本台服务器数据目录下的.vmx文件和所有的.vmdk文件分别拷贝zk02下
- 虚拟机->文件->打开 (选择zk02下的.vmx文件)
- 开启此虚拟机,弹出对话框,选择“我已复制该虚拟机”
- 进入系统后,修改linux中的ip,修改/opt/zookeeper/zkData/myid中的数值为2
- 第三台服务器zk03,重复上面的步骤
4.1.5 集群操作
-
每台服务器的防火墙必须关闭
[root@localhost bin]# systemctl stop firewalld.service
-
启动第1台
[root@localhost bin]# ./zkServer.sh start
-
查看状态
[root@localhost bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default Using config: /opt/zookeeper/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Error contacting service. It is probably not running
注意:因为没有超过半数以上的服务器,所以集群失败 (防火墙没有关闭也会导致失败)
-
当启动第2台服务器时
- 查看第1台的状态:Mode: follower
- 查看第2台的状态:Mode: leader
4.2 客户端命令行操作
-
启动客户端
[root@localhost bin]# ./zkCli.sh
-
显示所有操作命令
help
-
查看当前znode中所包含的内容
ls /
-
查看当前节点详细数据
zookeeper老版本使用 ls2 / ,现在已经被新命令替代
ls -s /
- cZxid:创建节点的事务
- 每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。
- 事务ID是ZooKeeper中所有修改总的次序。
- 每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生
- ctime:被创建的毫秒数(从1970年开始)
- mZxid:最后更新的事务zxid
- mtime:最后修改的毫秒数(从1970年开始)
- pZxid:最后更新的子节点zxid
- cversion:创建版本号,子节点修改次数
- dataVersion:数据变化版本号
- aclVersion:权限版本号
- ephemeralOwner:如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。
- dataLength:数据长度
- numChildren:子节点数
- cZxid:创建节点的事务
-
分别创建2个普通节点
-
在根目录下,创建中国和美国两个节点
create /china create /usa
-
在根目录下,创建俄罗斯节点,并保存“普京”数据到节点上
create /ru "pujing"
-
多级创建节点
-
在日本下,创建东京 “热”
-
japan必须提前创建好,否则报错 “节点不存在”
create /japan/Tokyo "hot"
-
-
-
获得节点的值
get /japan/Tokyo
-
创建短暂节点:创建成功之后,quit退出客户端,重新连接,短暂的节点消失
create -e /uk ls / quit ls /
-
创建带序号的节点
-
在俄罗斯ru下,创建3个city
create -s /ru/city # 执行三次 ls /ru [city0000000000, city0000000001, city0000000002]
-
如果原来没有序号节点,序号从0开始递增。
-
如果原节点下已有2个节点,则再排序时从2开始,以此类推
-
-
修改节点数据值
set /japan/Tokyo "too hot"
-
监听 节点的值变化 或 子节点变化(路径变化)
- 在server3主机上注册监听/usa节点的数据变化
addWatch /usa
-
在Server1主机上修改/usa的数据
set /usa "telangpu
-
Server3会立刻响应
WatchedEvent state:SyncConnected type:NodeDataChanged path:/usa
-
如果在Server1的/usa下面创建子节点NewYork
create /usa/NewYork
-
Server3会立刻响应
WatchedEvent state:SyncConnected type:NodeCreatedpath:/usa/NewYork
-
删除节点
delete /usa/NewYork
-
递归删除节点 (非空节点,节点下有子节点)
deleteall /ru
不仅删除/ru,而且/ru下的所有子节点也随之删除
4.3 zookeeper-API
4.3.1 IDEA环境搭建
-
创建一个Maven工程
-
添加pom文件
<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </dependency> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.6.0</version> </dependency> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> </dependencies>
-
在resources下创建log4j.properties
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/zk.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
4.3.2 创建ZooKeeper客户端
public class TestZk()
//集群ip
private String connStr ="192.168.249.81:2181,192.168.249.82:2181,192.168.249.83:2181";
/*
session超时 60秒:一定不能太少,因为连接zookeeper和加载集群环境会因为性能原因延迟略高 如果时间太少,还没有创建好客户端,就开始操作节点,会报错的
*/
private int sessionTimeout = 60*1000;
//zk客户端对象
private Zookeeper zkClient;
@Test
public void init() throws Exception{
zkClient = new Zookeeper(connStr,sessionTimeout,new Watcher(){
public void process(WatchedEvent watchedEvent){
System.out.println("监听器正在工作");
}
})
}
}
4.3.3 创建节点
-
一个ACL对象就是一个Id和permission对
-
表示哪个/哪些范围的Id(Who)在通过了怎样的鉴权(How)之后,就允许进行那些操作
(What):Who How What;
-
permission(What)就是一个int表示的位码,每一位代表一个对应操作的允许状态。
-
类似linux的文件权限,不同的是共有5种操作:CREATE、READ、WRITE、DELETE、ADMIN(对应更改ACL的权限)
- OPEN_ACL_UNSAFE:创建开放节点,允许任意操作 (用的最少,其余的权限用的很少)
- READ_ACL_UNSAFE:创建只读节点
- CREATOR_ALL_ACL:创建者才有全部权限
-
@Before
public void init() throws IOException{
// 省略...
}
@Test
public void createNode() throws Exception {
String nodeCreated = zKcli.create("/lagou", "laosun".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
// 参数1:要创建的节点的路径
// 参数2:节点数据
// 参数3:节点权限
// 参数4:节点的类型
System.out.println("nodeCreated = " + nodeCreated);
}
4.3.4 查询节点的值
@Test
public void find() throws Exception{
byte[] bs = zKcli.getData("/lagou", false, new Stat()); // 路径不存在时会报错
String data = new String(bs);
System.out.println("查询到数据:"+data);
}
4.3.5 修改节点的值
@Test
public void update() throws Exception{
//先查看节点详 情,获得dataVersion = 0
Stat stat = zKcli.setData("/lagou", "laosunA".getBytes(), 0);
System.out.println(stat);
}
4.3.6 删除节点
@Test
public void delete() throws Exception{
zKcli.delete("/lagou", 1); // 先查看节点详情,获得dataVersion = 1
System.out.println("删除成功!");
}
4.3.7 获取子节点
@Test
public void getChildren() throws Exception{
List<String> children = zKcli.getChildren("/",false); // false:不监听
for (String child : children) {
System.out.println(child);
}
}
4.3.8 监听子节点的变化
@Test
public void getChildren() throws Exception{
List<String> children = zKcli.getChildren("/", true); // true:注册监听
for (String child : children) {
System.out.println(child);
}
// 让线程不停止,等待监听的响应
System.in.read();
}
- 程序在运行的过程中,我们在linux下创建一个节点
- IDEA的控制台就会做出响应:NodeChildrenChanged--/
4.3.9 判断Znode是否存在
@Test
public void exist() throws Exception{
Stat stat = zKcli.exists("/lagou", false);
System.out.println(stat == null ? "不存在" : "存在");
}