HA结构图
HA是用来解决单点故障问题
- DN: DataNode，启动时会往所有的NameNode汇报
- NN: NameNode(主 Active(一个) 备 Standby(可以有多个))
- JournalNodes:JournalNodes就是用来存储元数据的,是一个集群，节点数量必须为奇数个。
- 如果主NameNode的元数据存在本地磁盘中的fsimage及edits文件中，如果主挂掉了，那么备用NameNode将无法从主NameNode获取元数据文件，所以元数据文件不能存储在主NameNode的本地了，而是存储在JournalNodes中
- 所有的NameNode，不管是主还是备，读写元数据都是在JournalNodes中进行的。
- 主NameNode 挂掉后，备NameNode自动从JournalNodes中加载到元数据，然后进行工作。
- FailoverController: 控制NameNode切换的一个服务，还对NameNode进行心跳检查，判断是否挂掉，挂掉后要切换到另外一个NameNode
- ZooKeeper:主要工作是做高可用，任何一个服务的高可用都可以用ZooKeeper来做，节点数量必须为奇数个
- 客户端不指定IP地址访问NameNode，客户端去请求ZooKeeper，ZooKeeper知道哪个NameNode是Active的，然后ZooKeeper返回给客户端真正工作的NameNode
- 自动：ZooKeeper会对所有的NameNode进行心跳检测，检测有没有挂掉，可通过FailoverController对NameNode进行切换
- 手动：正常情况下，如果想对某个Active NameNode进行修改配置，可手动将其闲置下来，变成Standby,将另一个Standby的NameNode变成Active
HA优点
- 主备NameNode
- 解决单点故障
- 主NameNode对外提供服务，备NameNode同步主NameNode元数据，以待切换
- 所有DataNode同时向两个NameNode汇报数据块信息
- 两种切换选择
- 手动切换：通过命令实现主备之间的切换，可以用HDFS升级等场合
- 自动切换：基于ZooKeeper实现
- 基于ZooKeeper自动切换方案
- ZooKeeper FailoverController : 监控NameNode健康状态
- 并向Zookeeper注册NameNode
- NameNode挂掉后，ZKFC为NameNode竞争锁，获得ZKFC锁的NameNode变为active
主NameNode挂掉后，Standby竞争锁，每个NameNode对应的FailoverController在Zookeeper上竞争锁，获得锁之后就可以把该NameNode变成Active了
任何一个NameNode都要对应一个FailoverController
Zookeeper必须是奇数个，否则将不会得到一个锁，Zookeeper内部使用的是一个投票机制，竞争锁算法用的是投票机制
NFS网络文件系统（了解）
NFS 网络文件系统，相当于一个共享目录，找一台机器专门共享文件，让所有NameNode读写元数据都在那台共享机器上操作，读写在共享的目录中。（也会有单点故障问题）