zoukankan      html  css  js  c++  java
  • 2020年暑假 (5)

    hdfs的核心工作原理--namenode元数据管理要点

    1.什么是元数据?

      hdfs的目录结构及每一个文件块的信息(块的id,块的副本数量,块的存放位置datanode)

    2.元数据由namenode负责管理

    3.namenode把元数据记录在哪里?

      namenode的实时的完整的元数据存储在内存中

      namenode还会在磁盘中存储内存元数据在某个时间点上的镜像文件

      namenode会把引起元数据变化的客户端操作记录在edits日志文件中

    4.secondarynamenode的作用

      secondarynamenode会定期从namenode上下载fsimage镜像和新生成的edits日志,然后加载fsimage镜像到内存中,然后书序解析edits文件,对内存中的元数据对象进行整合,整合完成后,将内存单元元数据许可后成一个新的fsimage,并将这个fsimage镜像文件上传个namenode,叫做"checkpoint"

  • 相关阅读:
    星空雅梦
    星空雅梦
    星空雅梦
    星空雅梦
    深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)请自取
    Map遍历法则
    c.toArray might (incorrectly) not return Object[]
    JavaGuide
    NIO入门
    Docker应用安装
  • 原文地址:https://www.cnblogs.com/ywqtro/p/13528075.html
Copyright © 2011-2022 走看看