3.11-3.15 HDFS HA

一、背景

1、

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。对于只有一个NameNode的集群，
若NameNode机器出现故障，则整个集群将无法使用，直到NameNode重新启动。

NameNode主要在以下两个方面影响HDFS集群
    >NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启
    >NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA功能通过配置Active/Standby 两个NameNodes 实现在集群中对NameNode的热备来解决上述问题。
如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

2、配置HA要点

*share edits 
    JournalNode

*NameNode 
    Active，standby

*Client E 
    Proxy

*fence
    同一时刻仅仅有一个NameNode对外提供服务

解释：

1、在HA中，如图会部署两台NameNode节点，一台为active状态，一台为 standby状态。
在正常情况下，由active节点向外提供服务。当active节点挂掉有，standby节点就会切换成active状态并向外提供服务。

2、NameNode active节点和standby节点是通过JounalNode集群实时同步数据的。
JounalNode是一个日志集群，相当于NameNode active里的所有操作日志editlog都会同步到JounalNode里面去，
然后standby节点实时从JounnalNode里面取这些操作日志并写入到自己的节点中，使自己的元数据和active节点保持一致。
这样，当active节点挂掉时，standby节点可以立即切换为active节点。
JounalNode一般部署2n+1个。(生产一般3-5台)

3、DataNode节点在HA架构中，会向NameNode active和standby节点同时发送心跳包和块报告。

4、对于两个NameNode节点，是通过zkfc(zookeeperFailoverController)来控制谁来做active。zkfc是单独的进程，
它负责监控NameNode的状态。NameNode会定期向zookeeper发送心跳，使得自己可以被选举，当其中一个被zk选举为主的时候，
zkfc进程通过RPC调用使得被选举的NameNode状态变为active，对外提供服务。

在典型的HA集群中，Active Namenode响应客户端的操作请求，而Standby Namenode作为一个slave执行，
只是保持跟Active Namenode的状态一致。Active namenode和Standby namenode为了保持一致，
他们都与JournalNodes(JNs)进行通信。每当Active node修改namespace时，都会将修改日志计入JNs中，
Standby node从JNs读取edit logs，并时刻监控JNs（只要Edit Logs有改动就同步），因为Standy node在时刻监控，
就可以保证在故障转移发生时，Standby node的edit Logs与Active node完全一致，从而直接切换成Active状态。

为了实现快速故障转移，Standby node必须清楚集群中数据块的位置，为datanodes配置这2个Namenods（Active/Standby），
并且datanodes同时向两个namenodes发送块信息和心跳。

在HDFS HA集群中，必须保证只有一个Active节点，否则会造成错误和混乱。

JournalNode daemon是轻量级的，可以和其他hadoop daemons（namenode，resourcemanager等）共同运行在一台主机。
JournalNode主机和Zookeeper主机很相似，必须要有奇数个（2N+1）主机（最少3个），其中N代表可以宕机的数量，
如果宕机的数量超过了N，JournalNode集群就不可用了。

Standby namenode不可以代替Secondary Node的作用。

二、部署

1、节点规划

HA 架构不需要secondaryNode了；

master	slave1	slave2
namenode	namenode
JournalNode	JournalNode	JournalNode
datanode	datanode	datanode

2、备份目录

##############master#################
#备份配置文件
[root@master etc]# pwd
/opt/app/hadoop-2.5.0/etc

[root@master etc]# cp -r hadoop/ dist-hadoop
[root@master etc]# ls
bak-hadoop  dist-hadoop  hadoop

#备份data/tmp
[root@master data]# pwd
/opt/app/hadoop-2.5.0/data

[root@master data]# mv tmp/ dist-tmp
[root@master data]# mkdir tmp


##############slave1#################
[root@slave1 zookeeper-3.4.5]# cd /opt/app/hadoop-2.5.0/etc/
[root@slave1 etc]# cp -r hadoop dist-hadoop
[root@slave1 etc]# cd ..
[root@slave1 hadoop-2.5.0]# cd data/
[root@slave1 data]# mv tmp/ dist-tmp
[root@slave1 data]# mkdir tmp


##############slave2#################
[root@slave2 zookeeper-3.4.5]# cd /opt/app/hadoop-2.5.0/etc/
[root@slave2 etc]# cp -r hadoop dist-hadoop
[root@slave2 etc]# cd ..
[root@slave2 hadoop-2.5.0]# cd data/
[root@slave2 data]# mv tmp/ dist-tmp
[root@slave2 data]# mkdir tmp

3、编辑配置文件

core-site.xml

<configuration>

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop-2.5.0/data/tmp</value>
    </property>
    
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
    
</configuration>

hdfs-site.xml

#sshfence方式的fence，两个namenode之间必须可以免密登陆；

<configuration>

    <!-- namenode HA -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>

    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>master:8020</value>
    </property>
    
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>slave1:8020</value>
    </property>
    
    <!-- namenode http web -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>master:50070</value>
    </property>
    
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>slave1:50070</value>
    </property>
    
    <!-- journalnode -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/ns1</value>
    </property>
    
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/app/hadoop-2.5.0/data/dfs/jn</value>
    </property>
    
    <!-- proxy client-->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    
    <!-- namenode fence-->
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>

    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
    </property>
    
</configuration>

4、同步配置文件

[root@master hadoop]# pwd
/opt/app/hadoop-2.5.0/etc/hadoop

[root@master hadoop]# scp -r core-site.xml hdfs-site.xml slaves root@slave1:/opt/app/hadoop-2.5.0/etc/hadoop/

[root@master hadoop]# scp -r core-site.xml hdfs-site.xml slaves root@slave2:/opt/app/hadoop-2.5.0/etc/hadoop/

5、QJM HA启动

1、启动journalnode，每个节点都要逐一启动
[root@master hadoop-2.5.0]# sbin/hadoop-daemon.sh start journalnode

[root@slave1 hadoop-2.5.0]# sbin/hadoop-daemon.sh start journalnode

[root@slave2 hadoop-2.5.0]# sbin/hadoop-daemon.sh start journalnode

可以jps看一下；


2、在[nn1]上初始化文件系统，启动namenode(nn1)
[root@master hadoop-2.5.0]# bin/hdfs namenode -format

[root@master hadoop-2.5.0]# sbin/hadoop-daemon.sh start namenode

可以jps看一下；


3、在[nn2]上，同步nn1的元数据信息,启动namenode(nn2)
[root@slave1 hadoop-2.5.0]# bin/hdfs namenode -help    #查看帮助

[root@slave1 hadoop-2.5.0]# bin/hdfs namenode -bootstrapStandby        #同步

[root@slave1 hadoop-2.5.0]# sbin/hadoop-daemon.sh start namenode

现在master和slave1都是namenode了，可以用web查看，
现在两个都是standby；


4、上启动所有DataNode，每个节点都要逐一启动
[root@master hadoop-2.5.0]# sbin/hadoop-daemon.sh start datanode

[root@slave1 hadoop-2.5.0]# sbin/hadoop-daemon.sh start datanode

[root@slave2 hadoop-2.5.0]# sbin/hadoop-daemon.sh start datanode


5、将nn1变为Active
[root@master hadoop-2.5.0]# bin/hdfs haadmin        #查看帮助
Usage: DFSHAAdmin [-ns <nameserviceId>]
    [-transitionToActive <serviceId> [--forceactive]]
    [-transitionToStandby <serviceId>]
    [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]
    [-getServiceState <serviceId>]
    [-checkHealth <serviceId>]
    [-help <command>]

#将nn1变为Active
[root@master hadoop-2.5.0]# bin/hdfs haadmin -transitionToActive nn1
19/04/17 17:45:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

#查看nn1的状态，可见已经是active了
[root@master hadoop-2.5.0]# bin/hdfs haadmin -getServiceState nn1    
19/04/17 17:45:30 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
active

#查看nn2的状态，是standby
root@master hadoop-2.5.0]# bin/hdfs haadmin -getServiceState nn2
19/04/17 17:46:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
standby

三、HA集群测试

1、创建目录

[root@master hadoop-2.5.0]# bin/hdfs dfs -mkdir -p /user/root/

[root@master hadoop-2.5.0]# bin/hdfs dfs -mkdir -p /user/root/conf/

[root@master hadoop-2.5.0]# bin/hdfs dfs -ls -R /user
19/04/17 17:54:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x   - root supergroup          0 2019-04-17 17:54 /user/root
drwxr-xr-x   - root supergroup          0 2019-04-17 17:54 /user/root/conf

2、上传测试文件

[root@master hadoop-2.5.0]# bin/hdfs dfs -put etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml /user/root/conf/

[root@master hadoop-2.5.0]# bin/hdfs dfs -ls -R /user
19/04/17 17:58:16 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x   - root supergroup          0 2019-04-17 17:54 /user/root
drwxr-xr-x   - root supergroup          0 2019-04-17 17:58 /user/root/conf
-rw-r--r--   3 root supergroup       1075 2019-04-17 17:58 /user/root/conf/core-site.xml
-rw-r--r--   3 root supergroup       2140 2019-04-17 17:58 /user/root/conf/hdfs-site.xml

3、读取文件，看是否可以读取

[root@master hadoop-2.5.0]# bin/hdfs dfs -text /user/root/conf/core-site.xml

四、active和standby手动切换

#把nn1变成standby
[root@master hadoop-2.5.0]# bin/hdfs haadmin -transitionToStandby nn1

#把nn2变成active
[root@master hadoop-2.5.0]# bin/hdfs haadmin -transitionToActive nn2

此时可以查看一下状态，也可以在web中查看；