zoukankan      html  css  js  c++  java
  • hadoop知识整理(4)之zookeeper

    一、介绍

      一个分布式协调服务框架;

      一个精简的文件系统,每个节点大小最好不大于1MB;

      众多hadoop组件依赖于此,比如hdfs,kafka,hbase,storm等;

      旨在,分布式应用中,提供一个可靠的、可拓展的、分布式的、可配置的协调机制来管理整个集群的状态;

      主要角色有:leader、follower、observer。

    二、简单使用配置

      安装很简单。一个tar包解压即可。

      启动所需的配置文件为:zk安装目录/conf/zoo.cfg(需将安装包中原zoo_sample.cfg改名为zoo.cfg)

      配置文件中,需指定dataDir,这个参数可以自定义,其意义为存放zk集群环境配置信息的。

      clientport为客户端连接zk端口,默认为2181

      此外,分布式集群zk,需增加配置,指定集群中每一个节点的ip。

      因为我用的是3.4.7版本,集群中本机ip必须指定为0.0.0.0。

      此外,还需要在指定的dataDir的数据目录下,创建一个myid文件,此中只需要写本zk的id。

      我这里的集群是3台zk。每台配置基本都是如此,其他都是默认配置。

      启动命令:./zkServer.sh start ----->>>观察zk状态:./zkServer.sh status可以观察当前zk服务状态,启动会显示zk的角色。

      启动zk客户端可以进行一些简单对于zk的操作:./zkCli.sh

    三、基本运行原理

      1、zk结构

        

      1)zk有一个根节点------>>>"/";

      2)每个节点都叫znode节点;

      3)每个znode都会有自己的子节点;

      4)每个子节点的路径都是唯一的;

      5)不可用zk节点存储海量数据,第一与其使用场景不符合,第二zk对节点的存储基于内存,容易撑爆内存,且多台zk存储的属于都一致;

      6)zk持久化目录就在于传说中的,配置文件中指定的dataDir目录;

      7)zk回为每一个操作,除读之外的,分配一个全局递增的事务id;

      8)zk可以创建临时顺序节点,基于此,主节点服务器可以对应一个临时节点,备用服务器监控此临时节点,当主节点挂了时,此备用节点也会消失,从而备用节点可以顶上,从而zk可以管理集群中节点的服务状态。

       2、zk选举

      zk本身是支持HA的,在集群中会存在一个leader,其他都是follower,leader和follower之间会存在心跳访问,当leader挂了之后,zk集群接下一步的操作为重新选举新的leader;

      1)如果并非leader挂了的情况,而是新启动zk集群,那么zk集群会先从本地指定的dataDir中恢复本节点数据,找到本方最大的事务id,即是最新的事务,此阶段为数据恢复阶段;

      2)选举过程,集群中的每台zk都会向彼此提交选举协议,希望成为leader;

        选举协议中包含本节点最新的事务id,自己在集群中的id,逻辑时钟值(确保是在同一轮选举中);

        这时候zk节点会多出一个状态为looking状态;

      3)PK原则,先比较事务id,谁的事务id最大谁是leader;

        如果zxid比较不出,那就比选举id,此时需满足过半性原则,01、02、03为02,01、03、02为03,02、03,01为03,03、02、01为03

        简单总结,进行id比较,从先向后启动顺序比较,谁满足了一半同意,谁就是leader。

         zk的选举机制可以保证崩溃恢复,当leader挂了之后,如果集群数量满足过半性,那么就会从剩下的follower中选出薪的leader。

      3、zk分布式一致性算法

       先了解分布式一致性算法有哪些:

      2PC算法-------->>>二阶段提交算法:

      阶段一:leader向follower询问是否可以进行事务提交操作,follower进行预执行,如果都成功,先不提交,返回成功ack给leader;

      阶段二:若所有follower都是成功ack,那么leader通知所有follower进行事务提交操作,事务完成;

          若有follower有返回失败ack或者超时响应,leader通知所有follower进行回滚操作,follower给leader返回回滚ack。事务失败。

       优点是简单,方便实现。

      缺点是同步阻塞,leader在1阶段后一致在等待,造成时间浪费;

      leader会存在单点问题,事务中leader挂了的话,那么整个事务将无法继续运行。

       ZK使用的是改进后Paxos算法,也是改进后的二阶段提交算法:ZAB协议:

      1)进行消息原子广播,保证数据一致性;

      2)崩溃恢复,解决了2PC算法的单点问题。

      简单说明ZAB协议:

      1)zk通过原子(消息)广播的方式进行通信;

      2)zk有一个单一的leader接收并处理所有client的事务请求,然后将数据状态的更新,通过广播的方式通知到所有的follower或者Observer中;

      3)每一个事务请求都有一个全局唯一的id,此id为zxid,递增;

      4)通过消息的广播的方式,每个follower接收到事务请求后,处理事务后,返回ack,只要follower收到半数以上的成功ack事务即成功。

      但说到这里,并未解决leader的单点问题,并且只是半数ack即确认事务成功,虽然提高了效率,但是事务一致性可疑;

      所以,zk更加详细的ZAB协议应该为:

      1)leader将所有的事务分配一个递增的全局事务id;

      2)leader在进行原子广播事务操作时,为每一个follower单独创建一个propersal(提案)队列,队列遵循fifo的策略,将事务操作放入,然后原子广播出去;

      3)follower也有一个先入先出的事务队列,收到事务操作后,将事务操作写入事务日志中,然后反馈给leader,ack,leader收到半数以上的follower的ack后,会再次发出原子广播指挥所有的follower进行事务提交操作;

      这个时候,假如有的follower没有返回ack,但是收到了commit指令,那么将直接执行完事务后提交事务;

      如果这个follower挂掉了,那么当他重启时会进入数据恢复阶段,与follower进行数据一致性的同步,由这一点可见过半性原则的重要性;

      当leader挂了之后,进入到崩溃恢复阶段;

      1)整个zk集群假如仍有半数以上活着,先进行leader的选举操作;

      2)如果所有的follower事务id都是一致的,从来没有接受过之前的事务操作,那么此事务就当没执行过,飘到外星宇宙去了(因为leader极端的在一瞬间进行原子广播时,失去了所有的follower);

      3)那么根据zk的选举原则,新leader的事务id一定是最新的,对于刚才的事务,要不已经提交,要不未进行提交操作,对于未进行提交操作的,新的leader复制继续完成此事务,进行事务操作;

      4)zk集群进入广播模式,新来的节点进行数据恢复。当原leader恢复了之后,会废掉自己的porpersal,从而成为follower。

    参考:https://www.jianshu.com/p/400a44edee88

      

  • 相关阅读:
    第一个ADO.NET连接SQl server数据库
    Mysql编码
    SNMP协议报文分析
    物理层计算
    随机产生数组
    c#排序
    c#计算一段代码的时间复杂度
    jwt认证
    drf三大组件之频率认证组件
    drf三大组件之认证组件与权限组件
  • 原文地址:https://www.cnblogs.com/qfxydtk/p/11227436.html
Copyright © 2011-2022 走看看