zoukankan      html  css  js  c++  java
  • Hadoop——NameNode的职责

    2019-11-27

     

     

    主节点:NameNode

    NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在的数据节点信息,但它并不永久保存块的位置信息,因为这些信息在系统启动时由数据节点重建。 
    (*)职责:管理HDFS 
    接收客户端的请求:上传数据、下载数据 
    管理和维护日志(edits文件)和元信息(指的是:数据块的位置信息:fsimage文件) (
    (*)HDFS的日志:edits文件 
    举例: 创建目录 ---> 产生日志 
    hdfs dfs -mkdir /mydemo1 
    查找edits文件:find . -name edits* 
    (1) edits_inprogress_0000000000000000105是二进制文件 
    (2)HDFS提供一个工具:edits viewer 日志查看器,转换成一个XML文件 
    hdfs oev -i edits_inprogress_0000000000000000105 -o ~/a.xml 
    (*)HDFS的元信息:fsimage文件:记录数据块的位置信息、冗余信息等等 
    查找fsimage文件:find . -name fsimage* 
    也是二进制的 
    HDFS也提供了一个工具:image viewer ,把fsimage文件转成文本、XML的文件

  • 相关阅读:
    重定向与转发比较
    servlet_5
    servlet_4
    servlet_3
    字符串的操作以及格式化的操作
    2019的Python
    函数2
    函数
    文件操作
    集合 set
  • 原文地址:https://www.cnblogs.com/JasonPeng1/p/11946342.html
Copyright © 2011-2022 走看看