zoukankan      html  css  js  c++  java
  • HDFS——数据可靠性设计实现(转)

    1. 安全模式

    HDFS 刚刚启动时,NameNode 会进入安全模式(safe mode)。处于安全模式的NameNode不能做任何的文件操作,甚至内部的副本创建也是不允许的。NameNode 此时需要和各个DataNode 通信,获得DataNode 保存的数据块信息,并对数据块信息进行检查。只有通过了NameNode 的检查,一个数据块才被认为是安全的。当认为安全的数据块所占的比例达到了某个阈值(可配置),NameNode 才会退出。

    2. SecondaryNameNode

    Hadoop 中使用SecondaryNameNode 来备份NameNode 的元数据,以便在NameNode 失效时能从SecondaryNameNode 恢复出NameNode 上的元数据。SecondaryNameNode 充当NameNode 的一个副本,它本身并不处理任何请求,因为处理这些请求都是NameNode 的责任。

    NameNode 中保存了整个文件系统的元数据,而SecondaryNameNode 的作用就是周期性(周期的长短也是可以配置的)保存NameNode 的元数据。这些元数据中包括文件镜像数据FsImage 和编辑日志数据EditLog。FsImage 相当于HDFS 的检查点,NameNode 启动时候会读取FsImage 的内容到内存,并将其与EditLog 日志中的所有修改信息合并生成新的FsImage;在NameNode 运行过程中,所有关于HDFS 的修改都将写入EditLog。这样,如果NameNode 失效,可以通过Secondary NameNode 中保存的FsImage 和EditLog 数据恢复出NameNode 最近的状态,尽量减少损失。

    3. 心跳包(HeartBeats)和副本重新创建(re-replication)

    如果HDFS 运行过程中,一部分DataNode 因为崩溃或是掉线等原因,离开了HDFS 系统,怎么办?为了保证NameNode 和各个DataNode 的联系,HDFS 采用了心跳包(Heartbeat)机制。位于整个HDFS 核心的NameNode,通过周期性的活动来检查DataNode 的活性,就像跳动的心脏一样,所以,这里把这些包就叫做心跳包。NameNode 周期性向管理的各个DataNode 发送心跳包,而收到心跳包的DataNode 则需要回复。因为心跳包总是定时发送的,所以NameNode 就把要执行的命令也通过心跳包发送给DataNode,而DataNode收到心跳包,一方面回复NameNode,另一方面就开始了与用户或者应用的数据传输。

    如果侦测到了DataNode 失效,那么之前保存在这个DataNode 上的数据就变成不可用的。那么,如果有的副本存储在失效的DataNode 上,则需要重新创建这个副本,放到另外可用的地方。其他需要创建副本的情况包括数据块校验失败等。

    4. 数据一致性

    一般来讲,DataNode 与应用数据交互的大部分情况都是通过网络进行的,而网络数据传输带来的一大问题就是数据是否能原样到达。为了保证数据的一致性,HDFS 采用了数据校验和(CheckSum)机制。创建文件时,HDFS 会为这个文件生成一个校验和,校验和文件和文件本身保存在同一空间中。传输数据时会将数据与校验和一起传输,应用收到数据后可以进行校验,如果两个校验的结果不同,则文件肯定出错了,这个数据块就变成了无效的。如果判定数据无效,就需要从其他DataNode 上读取副本。

    5. 租约

    在Linux 中,为了防止出现多个进程向同一个文件写数据的情况,采用了文件加锁的机制。而在HDFS 中,同样也需要一种机制来防止同一个文件被多个人写入数据。这种机制就是租约(Lease)。每当写入文件之前,一个客户端必须要获得NameNode 发放的一个租约。NameNode 保证同一个文件只会发放一个允许写的租约,那么就可以有效防止出现多人写入的情况。

    不过,租约的作用不止于此。如果NameNode 发放租约之后崩溃了,怎么办?或者如果客户端获得租约之后崩溃了,又怎么办?第一个问题可以通过前面提到的恢复机制解决。而第二个问题,则通过在租约中加入时间限制来解决。每当租约要到期时,客户端需要向NameNode申请更新租约,NameNode“审核”之后,重新发放租约。如果客户端不申请,那就说明客户端不需要读写这一文件或者已经崩溃了,NameNode 收回租约即可。

    6. 回滚

    HDFS 与Hadoop 一样处于发展阶段。而某个升级可能会导致BUG 或者不兼容的问题,这些问题还可能导致现有的应用运行出错。这一问题可以通过回滚回到旧版本解决。HDFS 安装或者升级时,会将当前的版本信息保存起来,如果升级之后一段时间内运行正常,可以认为这次升级没有问题,重新保存版本信息,否则,根据保存的旧版本信息,将HDFS 恢复至之前的版本。

    转自http://book.51cto.com/art/201408/449345.htm

  • 相关阅读:
    Gym
    Gym 100712H
    CodeForces
    CodeForces
    P1103 书本整理(DP)
    P1435 回文子串(最长公共子序列)
    P1095 守望者的逃离(线性DP)
    P1077 摆花(背包)
    P1832 A+B Problem(再升级)
    P1757 通天之分组背包(分组背包)
  • 原文地址:https://www.cnblogs.com/gisorange/p/4328786.html
Copyright © 2011-2022 走看看