zoukankan      html  css  js  c++  java
  • [HDFS_add_2] SecondaryNameNode 滚动 NameNode 数据流程


    0. 说明

      在 将 SecondaryNameNode 配置到 s105 节点上 的基础上进行 SecondaryNameNode 滚动 NameNode 数据流程 分析


    1. SecondaryNameNode 滚动 NameNode 数据流程

      【1.1 HDFS 节点说明】

      NameNode:存储路径、权限等等元数据

        fsimage //存储整个文件系统的树形结构

        edits //存储文件操作步骤

      DataNode:存储真实数据

      SecondaryNameNode:检查点,负责周期性的滚动 NameNode 的 fsimage 和 edits ,周期为1小时

      【1.2   2NN 滚动 NameNode数据流程】


      每隔一小时
      1)2NN 通知 NameNode 将 edits 文件进行滚动
      2)2NN 将 NameNode 中的 edits 文件和 fsimage 文件通过 http GET 发送到自己的文件夹下
      3)将 fsimage 文件与 edits 文件进行融合,通过旧的 fsimage 文件重现 edits 文件的操作步骤,生成新的 fsimage 文件(.ckpt)
      4)2NN 将融合后的检查点文件传给 NameNode (http post)
      5)NameNode 将检查点文件进行重命名为新的 fsimage 文件


  • 相关阅读:
    02数值类型
    01开班第一节
    oracle 课堂笔记
    错题整理
    多线程下的单例模式
    线程的同步和异步
    九大内置对象!!!
    jsp前三章测试
    Jav开发中的23种设计模式详解(转载)
    java IO 学习笔记
  • 原文地址:https://www.cnblogs.com/share23/p/9878224.html
Copyright © 2011-2022 走看看