zoukankan      html  css  js  c++  java
  • Hadoop——NameNode的职责

    2019-11-27

     

     

    主节点:NameNode

    NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在的数据节点信息,但它并不永久保存块的位置信息,因为这些信息在系统启动时由数据节点重建。 
    (*)职责:管理HDFS 
    接收客户端的请求:上传数据、下载数据 
    管理和维护日志(edits文件)和元信息(指的是:数据块的位置信息:fsimage文件) (
    (*)HDFS的日志:edits文件 
    举例: 创建目录 ---> 产生日志 
    hdfs dfs -mkdir /mydemo1 
    查找edits文件:find . -name edits* 
    (1) edits_inprogress_0000000000000000105是二进制文件 
    (2)HDFS提供一个工具:edits viewer 日志查看器,转换成一个XML文件 
    hdfs oev -i edits_inprogress_0000000000000000105 -o ~/a.xml 
    (*)HDFS的元信息:fsimage文件:记录数据块的位置信息、冗余信息等等 
    查找fsimage文件:find . -name fsimage* 
    也是二进制的 
    HDFS也提供了一个工具:image viewer ,把fsimage文件转成文本、XML的文件

  • 相关阅读:
    js字符串截取函数slice()、substring()、substr()
    js获取字符串最后一位方法
    支持xhr浏览器:超时设定、加载事件、进度事件
    深入理解ajax系列第一篇——XHR对象
    MySQL命令行操作
    nodejs中mysql用法
    大衍数列
    牌型种数
    加法变乘法
    三羊献瑞
  • 原文地址:https://www.cnblogs.com/JasonPeng1/p/11946342.html
Copyright © 2011-2022 走看看