zoukankan      html  css  js  c++  java
  • hadoop源代码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置

    点击browserFilesystem,和命令查看结果一样

    当我们查看hadoop源代码时,我们看到hdfs下的hdfs-default.xml文件信息


    我们查找${hadoop.tmp.dir}这是引用变量,肯定在其它文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:

    就是不要改动此文件。但能够复制信息到core-site.xml和hdfs-site.xml中改动


    usr/local/hadoop 是我存放hadoop目录的地方


    几个关于namenode的关键文件


    这里的in_use.lock本身没什么东西,可是它标记着这个namenode被使用。不准其它进程调用

    current下存放了重要信息。尤其是fsimage,是namenode核心信息


    edits用于事务处理


    HA措施之中的一个就是备份多个文件信息,能够用逗号隔开多个文件夹保存,注:不能在hdfs-default.xml中直接改动,而应该拷贝到hdfs-site下改动


    dfs下的data文件决定datanode存储位置


    HA措施之二:secondary用于辅助namenode,合并edits到fsimage。从secondary恢复数据可能存在部分丢失(类似windows备份点)。但我觉得这里的信息可能储存到了硬盘,而namenode储存的信息可能还包含内存中的信息


    HA措施之三:replication,在配置文件里设置副本个数,存在不同datanode上

  • 相关阅读:
    项目开发目录
    语法 部分
    time模块
    文件 部分
    二分法
    函数 部分
    递归
    模块 部分
    稀疏数组
    Java中使用foreach遍历数组
  • 原文地址:https://www.cnblogs.com/blfshiye/p/5124017.html
Copyright © 2011-2022 走看看