zoukankan      html  css  js  c++  java
  • [HDFS_add_2] SecondaryNameNode 滚动 NameNode 数据流程


    0. 说明

      在 将 SecondaryNameNode 配置到 s105 节点上 的基础上进行 SecondaryNameNode 滚动 NameNode 数据流程 分析


    1. SecondaryNameNode 滚动 NameNode 数据流程

      【1.1 HDFS 节点说明】

      NameNode:存储路径、权限等等元数据

        fsimage //存储整个文件系统的树形结构

        edits //存储文件操作步骤

      DataNode:存储真实数据

      SecondaryNameNode:检查点,负责周期性的滚动 NameNode 的 fsimage 和 edits ,周期为1小时

      【1.2   2NN 滚动 NameNode数据流程】


      每隔一小时
      1)2NN 通知 NameNode 将 edits 文件进行滚动
      2)2NN 将 NameNode 中的 edits 文件和 fsimage 文件通过 http GET 发送到自己的文件夹下
      3)将 fsimage 文件与 edits 文件进行融合,通过旧的 fsimage 文件重现 edits 文件的操作步骤,生成新的 fsimage 文件(.ckpt)
      4)2NN 将融合后的检查点文件传给 NameNode (http post)
      5)NameNode 将检查点文件进行重命名为新的 fsimage 文件


  • 相关阅读:
    NetworkInterface网速监测
    动态编译
    JSON C# Class Generator
    Cookie中的HttpOnly
    webapi session
    没有为扩展名“.html”注册的生成提供程序
    转 C# 使用openssl
    openssl jia adress
    扩展JS
    bootstrap 模态
  • 原文地址:https://www.cnblogs.com/share23/p/9878224.html
Copyright © 2011-2022 走看看