zoukankan      html  css  js  c++  java
  • HDFS NameNode和SecondaryNameNode

    一、工作机制

    1、原理

    NameNode元数据储存在内存中,存在断电及消失的特性,因此产生磁盘备份元数据FsImage,但是当NameNode元数据更新时,若要时刻备份元数据到FsImage,效率会低下,因此使用Edites文件,当元数据更新时,对Edits文件进行追加操作,当发生断电时,FsImage和Edits的内容等于断电器内存中的元数据。

    一直向Edits文件追加操作记录,会导致,追加效率变低,合并FsImage时间变长,因此产生2NN来管理操作

    2、2NN的作用

    负责FsImage和Edits文件合并成新的FsImage

    流程:

    1)、请求是否需要CheckPoint,执行CheckPoint的条件(a、定时时间到;b、Edits数据满了)

    2)、执行CheckPoint,将Edits文件,切割

    3)、将切割后的文件和FsImage,拷贝到Secondary NameNode,合并到内存

    4)、将内存生成新的FsImage -> NameNode,并重命名

  • 相关阅读:
    Java 分支结构
    Java 循环结构
    Java 运算符
    Java 修饰符
    Alpha冲刺——Day 6
    Alpha冲刺——Day 5
    Alpha冲刺——Day 4
    Alpha冲刺——Day 3
    Alpha冲刺——Day 2
    Alpha冲刺——Day 1
  • 原文地址:https://www.cnblogs.com/wt7018/p/13592477.html
Copyright © 2011-2022 走看看