zoukankan      html  css  js  c++  java
  • HDFS NameNode与DataNode介绍

        NameNode启动后,会在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/本地文件系统下生成in_use.lock文件。
    该文件存在则为本机已启动NameNode进程。该文件内容是:进程号@主机名。表示已经在本机上启动了某个进程号,该进程号是NameNode进程。这在hadoop1.x版本中是空内容。

        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个VERSION文件,该文件中有个namespaceID=xxx。该namespaceID是在首次格式
    化hdfs时生成,它表示了当前hdfs文件系统的版本。且每个DataNode上的与NameNode交互时会验证该ID,如果一致时才可以成功交互。如果多次格式化,NameNode的namespaceID
    会被改掉,而DataNode的namespaceID不会改掉,当DataNode持有首次格式化的namespaceID与多次格式化后的NameNode的namespaceID匹配时不相同则无法正常通信。namespaceID
    在需要hdfs联盟时会用到。

        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个seen_taid,该文件是事务ID,文件内容是数字。
        
        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有edits和fsimage两个文件。
       

  • 相关阅读:
    python中的os
    文件系统的简单操作
    文件与目录管理
    用户与用户组管理
    基础命令的操作
    linux开机流程
    ansible源码安装、普通用户实现批量控制
    python3中得数据类型
    判断一个字符串中得大写字母,小写字母,数字出现得次数
    Elasticsearch 如何安全加固
  • 原文地址:https://www.cnblogs.com/mengyao/p/4865606.html
Copyright © 2011-2022 走看看