zoukankan      html  css  js  c++  java
  • hdfs之NameNode故障处理的两种方式

    NameNode故障后,可以采用如下两种方法恢复数据。

    方法一:将SecondaryNameNode数据拷贝到NameNode存储数据的目录;

    1. kill -9 NameNode进程

    2. 删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)

    [atguigu@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

    3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录

    [atguigu@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/

    4. 重新启动NameNode

    [atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

    方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录

    1. 修改hdfs-site.xml中
    vi etc/hadoop/hdfs-site.xml 
    <!--检查点的时间设置-->
    <property>
      <name>dfs.namenode.checkpoint.period</name>
      <value>120</value>
    </property>
    <!--namenode的进一步路劲设置-->
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
    </property>

    2.  kill -9 NameNode进程

    3. 删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)

    [atguigu@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

    4. 如果SecondaryNameNode不和NameNode一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录并删除in_use.lock文件

    [atguigu@hadoop102 dfs]$ scp -r atguigu@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
    [atguigu@hadoop102 namesecondary]$ rm -rf in_use.lock
    [atguigu@hadoop102 dfs]$ pwd
    /opt/module/hadoop-2.7.2/data/tmp/dfs
    
    [atguigu@hadoop102 dfs]$ ls
    data  
    name
    namesecondary

    5. 导入检查点数据(等待一会ctrl+c结束掉)

    [atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint

    6. 启动NameNode

    [atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

  • 相关阅读:
    图解修改mysql的默认数据库存放目录
    使用IHTMLDocument2解决弹出"为了让该网站给你提供个人化信息,是否允许在你计算机放置cookie?"
    HTML解析器HtmlAgilityPack的一些使用总结(C#)
    VS2013使用滚动条缩略图、双击选中高亮、配色方案、代码竖虚线(缩进标尺)
    css疑难汇总
    MySQL字段数据类型表
    修改Windows Server 2008密码策略,设置简单密码
    成功进行了一次UDP打洞
    c语言指针疑惑[转载]
    一个转子
  • 原文地址:https://www.cnblogs.com/KdeS/p/13691396.html
Copyright © 2011-2022 走看看