zoukankan      html  css  js  c++  java
  • NameNode和SecondaryNameNode工作机制

    1.NameNode启动
     
    (1)首次启动需要格式化NameNode,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
     
    (2)客户端对元数据进行增删改的请求。
     
    (3)NameNode记录操作日志,更新滚动日志。
     
    (4)NameNode在内存中对元数据进行增删改。
     
    2.SecondaryNameNode工作
     
    (1)SecondaryNameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。
     
    (2)SecondaryNameNode请求执行CheckPoint。
     
    (3)NameNode滚动正在写的Edits日志。
     
    (4)将滚动前的编辑日志和镜像文件拷贝到SecondaryNameNode。
     
    (5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。
     
    (6)生成新的镜像文件fsimage.chkpoint。
     
    (7)拷贝fsimage.chkpoint到NameNode。
     
    (8)NameNode将fsimage.chkpoint重新命名成fsimage。
     
    名词解释:
     
    Fsimage:NameNode内存中元数据序列化后形成的文件。
     
    Edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。
     
    3.详细工作机制
     
    NameNode启动时,先滚动Edits并生成一个空的edits.inprogress,然后加载Edits和Fsimage到内存中,此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求,这些请求的操作首先会被记录到edits.inprogress中(查询元数据的操作不会被记录在Edits中,因为查询操作不会更改元数据信息),如果此时NameNode挂掉,重启后会从Edits中读取元数据的信息。然后,NameNode会在内存中执行元数据的增删改的操作。
     
    由于Edits中记录的操作会越来越多,Edits文件会越来越大,导致NameNode在启动加载Edits时会很慢,所以需要对Edits和Fsimage进行合并(所谓合并,就是将Edits和Fsimage加载到内存中,照着Edits中的操作一步步执行,最终形成新的Fsimage)。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。
     
    SecondaryNameNode首先会询问NameNode是否需要CheckPoint(触发CheckPoint需要满足两个条件中的任意一个,定时时间到和Edits中数据写满了)。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作,首先会让NameNode滚动Edits并生成一个空的edits.inprogress,滚动Edits的目的是给Edits打个标记,以后所有新的操作都写入edits.inprogress,其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地,然后将拷贝的Edits和Fsimage加载到内存中进行合并,生成fsimage.chkpoint,然后将fsimage.chkpoint拷贝给NameNode,重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可,因为合并过的Edits中的元数据信息已经被记录在Fsimage中。
     
    本文来源于:奈学开发者社区 ,如有侵权请联系我删除
  • 相关阅读:
    IDEA中快速排除maven依赖
    Maven构建war项目添加版本号
    运行shell脚本报/bin/bash^M: bad interpreter错误排查方法
    Shell杀tomcat进程
    根据URL下载文件
    关闭Centos的自动更新
    CentOS下建立本地YUM源并自动更新
    为Linux服务器伪装上Windows系统假象
    ServerInfo.INI解密
    请教给终端推销域名的邮件该怎么写?
  • 原文地址:https://www.cnblogs.com/Jss-forever/p/13393135.html
Copyright © 2011-2022 走看看