hadoop——高可用集群搭建的原理与方法

一、首先谈一谈zookeeper的选举机制

注:高可用集群中有两台机器作为namenode,无论在任何时候，集群中只能有一个namenode作为active状态，而另一个是standby状态,为了达到namenode快速容错的目的，引入zookeeper后，hadoop-ha可以在active的namenode出问题时由standby自动切换为active状态

特征
leader 　　 投票发起和决议，更新系统状态(只能有一个，否则出现脑裂现象)
follower    参与选举，处理并反馈客户请求

　　为了保证zookeeper的可用性，集群中至少由3个zookeeper节点组成(确保某一节点死亡可以由选举机制从另外两个节点选出一个作为leader，对外继续提供服务，它的存活条件为半数以上的节点存活)

选举机制如此例：

预设5台：
　　1、2分别启动后因为未过半都处于观望
　　3启动后，1、2、3都选择3，数量过半因此3为leader，1、2为follower
　　4、5启动后因为领导已经产生，则自动沦为follower

二、zookeeper的配置

# 需要提前准备好jdk环境
# 解压步骤省略
# 创建目录：
mkdir zookeeper
# 建立软连接：
ln -s zookeeper345/ zookeeper/
# 创建数据目录：
mkdir zookeeper/zkdata
# 修改zookeeper配置文件：
cd /opt/bigdata/hadoop/zookeeper345/conf

zoo.sample.cfg zoo.cfg--配置信息
tickTime=2000	毫秒，服务器和客户端之间，服务器之间心跳间隔，最小超时为2倍
initLimit=10	follower启动后与leader之间同步数据，并且确定可以对外服务状态的最大时限为10*tickTime
syncLimit=5	follower和leader之间如果在syncLimit*tickTime时间内无法通过心跳确认，则leader判定该follower死亡，移出服务列表
dataDir=/opt/bigdata/hadoop/zookeeper/zkdata
clientPort=2181
server.1=vwmaster:2888:3888
server.2=vwslave01:2888:3888
server.3=vwslave02:2888:3888
server.4=vwslave03:2888:3888

# 在zkdata目录中创建myid文件，并将当前host下对应的服务器编号1/2/3/4存在其中
# 配置环境变量：
export ZK_HOME=/opt/bigdata/hadoop/zookeeper345
export PATH=$ZK_HOME/bin:$ZK_HOME/sbin:$PATH

# 激活环境变量：
source /etc/profile
[root@vwslave01 ~]# zkServer.sh start

三、高可用原理

　　在高可用集群中有两个namenode,其中一个为active,另一个作为standby,active的namenode负责集群中所有的客户端操作，而原来的secondaryNamenode也不需要了，数据交互由轻量级进程journalNode完成，对于任何由主namenode的修改操作，standby的namenode监测到之后会同步journalnode里面的修改log,当active namenode挂了后会读取journalnode里面的修改日志,接替它的位置并保证数据的同步。

　　而namenode的健康状态的判定由zookeeper决定，在每个namenode启动时，会在zookeeper上注册一个持久化节点，而zookeeper提供一个znode(独占锁)获取master的功能，两个namenode谁得到谁就是active状态，另一个保持standby,实际工作中hadoop会提供一个ZKFailoverControl角色在每个主节点周期性的探测namenode的健康状态，当它出问题了独占锁将会给备份的namenode代替原来的主机负责其职责

 四、搭建方法

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml

关于ResourceManager高可靠需要配置的文件有yarn-site.xml

时间同步

　　本地时钟服务器搭建

　　　　rmp -qa|grep ntp

　　　　yum -y remove ntpdate-4.2.6p5-29.e17.centos.x86_64

　　安装ntp　　yum -y install ntp

　　修改所有节点的/etc/ntp.conf

　　　　restrict 20.0.0.100 nomodify notrap nopeer noquery　　//当前节点ip

　　　　restrict 20.0.0.2 mask 255.255.255.0 nomodify notrap　　//集群所在网段网关Gateway,子网掩码Netmask

　　主节点

　　#server 0.centos.pool.ntp.org iburst

　　#server 1.centos.pool.ntp.org iburst

　　#server 2.centos.pool.ntp.org iburst

　　#server 3.centos.pool.ntp.org iburst

　　server 127.127.1.0

　　Fudge 127.127.1.0 stratum 10

　　从节点

　　#server 0.centos.pool.ntp.org iburst

　　#server 1.centos.pool.ntp.org iburst

　　#server 2.centos.pool.ntp.org iburst

　　#server 3.centos.pool.ntp.org iburst

　　server 20.0.0.100　　　　//主节点ip

　　Fudge 20.0.0.100 stratum 10

　　启动ntp服务　　service ntpd start

　　设置开机启动　　chkconfig ntpd on

　　查看　　ntpstat

以下配置均为hadoop260/etc/hadoop目录下

注:提前在hadoop260下建目录data(cd data, mkdir pids journalnode)

　　hadoop core-site.xml配置

<configuration>
  <!--设定集群访问路径：kbcluster-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://kbcluster</value>
  </property>
  <!--设定临时目录-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260/data/tmp</value>
  </property>
  <!--设定zookeeper集群目录-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>vwmaster:2181,vwslave01:2181,vwslave02:2181,vwslave03:2181</value>
  </property>
</configuration>

　　hadoop hdfs-site.xml

<configuration>
  <!--设定文件块备份数-->
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <!--设定集群服务名称：kbcluster-->
  <property>
    <name>dfs.nameservices</name>
    <value>kbcluster</value>
  </property>
  <!--设定集群kbcluster的namenode自定义名称列表-->
  <property>
    <name>dfs.ha.namenodes.kbcluster</name>
    <value>nn1,nn2</value>
  </property>
  <!--分别设定所有namenode名称列表的rpc访问地址-->
  <property>
    <name>dfs.namenode.rpc-address.kbcluster.nn1</name>
    <value>vwmaster:9000</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.kbcluster.nn2</name>
    <value>vwslave01:9000</value>
  </property>
  <!--分别设定所有namenode名称列表的http访问地址-->
  <property>
    <name>dfs.namenode.http-address.kbcluster.nn1</name>
    <value>vwmaster:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.kbcluster.nn2</name>
    <value>vwslave01:50070</value>
  </property>
  <!--设定所有节点的共享编辑日志journal地址列表-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://vwmaster:8485;vwslave01:8485;vwslave02:8485;vwslave03:8485/kbcluster</value>
  </property>
  <!--设定隔离方法名称：即同一时刻只能有一台服务器对外响应--->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <!--使用隔离机制是需要私钥进行无秘访问-->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <!--设定journal节点存储目录-->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/bigdata/hadoop/hadoop260/data/journalnode</value>
  </property>
  <!--关闭权限检查-->
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  <!--启动client访问失败动态代理-->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!--设置client访问失败自动切换代理-->
  <property>
    <name>dfs.client.failover.proxy.provider.kbcluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
</configuration>

　　hadoop yarn-site.xml

<configuration>
  <!--设置nodemanager附属服务-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!--启用resourcemanager的高可用(ha)集群-->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <!--启用resourcemanager的集群标识-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>kbcluster-yarn</value>
  </property>
  <!--启用resourcemanager(ha)集群的resoucemanager名称列表-->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <!--分别设置resourcemanager(ha)集群的resoucemanager名称的hostname-->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>vwmaster</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>vwslave01</value>
  </property>
  <!--设置resourcemanager(ha)集群的zookeepr集群地址列表-->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>vwmaster:2181,vwslave01:2181,vwslave02:2181,vwslave03:2181</value>
  </property>
  <!--启用resourcemanager(ha)集群可恢复功能-->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>
  <!--指定resourcemanager(ha)集群的状态信息存储在zookeepr集群-->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>
</configuration>

　　初始化hadoop ha集群

　　分别启动所有节点上的journalnode服务　　 hadoop-daemon.sh start journalnode

　　nn1上格式化　　hdfs namenode -format　　hadoop-daemon.sh start namenode(启动主节点)

　　nn2上同步nn1上的元数据信息　　 hdfs namenode -bootstrapStandby　　hadoop-daemon.sh start namenode #启动后通过网页测试

　　nn1上启动hadoop ha集群　　start-all.sh

　　单独启动nn2上的resourcemanager　　yarn-daemon.sh start resourcemanager

　　网页上可查状态　　ip:50070

图片来源博客：https://cloud.tencent.com/developer/article/1121864