zoukankan      html  css  js  c++  java
  • HDFS NameNode与DataNode介绍

        NameNode启动后,会在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/本地文件系统下生成in_use.lock文件。
    该文件存在则为本机已启动NameNode进程。该文件内容是:进程号@主机名。表示已经在本机上启动了某个进程号,该进程号是NameNode进程。这在hadoop1.x版本中是空内容。

        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个VERSION文件,该文件中有个namespaceID=xxx。该namespaceID是在首次格式
    化hdfs时生成,它表示了当前hdfs文件系统的版本。且每个DataNode上的与NameNode交互时会验证该ID,如果一致时才可以成功交互。如果多次格式化,NameNode的namespaceID
    会被改掉,而DataNode的namespaceID不会改掉,当DataNode持有首次格式化的namespaceID与多次格式化后的NameNode的namespaceID匹配时不相同则无法正常通信。namespaceID
    在需要hdfs联盟时会用到。

        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有一个seen_taid,该文件是事务ID,文件内容是数字。
        
        在dfs.namenode.name.dir的值file://${hadoop.tmp.dir/}/dfs/name/current文件夹下有edits和fsimage两个文件。
       

  • 相关阅读:
    547. Friend Circles
    399. Evaluate Division
    684. Redundant Connection
    327. Count of Range Sum
    LeetCode 130 被围绕的区域
    LeetCode 696 计数二进制子串
    LeetCode 116 填充每个节点的下一个右侧节点
    LeetCode 101 对称二叉树
    LeetCode 111 二叉树最小深度
    LeetCode 59 螺旋矩阵II
  • 原文地址:https://www.cnblogs.com/mengyao/p/4865606.html
Copyright © 2011-2022 走看看