zoukankan      html  css  js  c++  java
  • HDFS NameNode与DataNode介绍

        NameNode启动后,会在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/本地文件系统下生成in_use.lock文件。
    该文件存在则为本机已启动NameNode进程。该文件内容是:进程号@主机名。表示已经在本机上启动了某个进程号,该进程号是NameNode进程。这在hadoop1.x版本中是空内容。

        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个VERSION文件,该文件中有个namespaceID=xxx。该namespaceID是在首次格式
    化hdfs时生成,它表示了当前hdfs文件系统的版本。且每个DataNode上的与NameNode交互时会验证该ID,如果一致时才可以成功交互。如果多次格式化,NameNode的namespaceID
    会被改掉,而DataNode的namespaceID不会改掉,当DataNode持有首次格式化的namespaceID与多次格式化后的NameNode的namespaceID匹配时不相同则无法正常通信。namespaceID
    在需要hdfs联盟时会用到。

        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个seen_taid,该文件是事务ID,文件内容是数字。
        
        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有edits和fsimage两个文件。
       

  • 相关阅读:
    Day1:T1 模拟 T2 拓扑排序
    vijos1060 隔板法
    字符串处理:kmp算法
    vijos1004 博弈论
    vijos1009:扩展欧几里得算法
    有关浮点数的精度问题
    C++构造 下一个排列 的函数
    vijos1053 用spfa判断是否存在负环
    SPFA和FLOYD算法如何打印路径
    细节MARK
  • 原文地址:https://www.cnblogs.com/mengyao/p/4865606.html
Copyright © 2011-2022 走看看