zoukankan      html  css  js  c++  java
  • 利用SecondaryNameNode文件恢复Namenode-实践可行

    二、 namenode故障恢复(importCheckpoint)
    *注意事项:
    (1) 为了便于将随便一台datanode临时用作namenode,datanode和namenode配置需要一模一样包括conf目录下的所有文件、目录结构、环境变量
    (2) 新namenode的主机名要与原namenode保持一致,主机名若是在hosts写死,需要批量替换datanode hosts文件 (用内部域名服务最好,改下域名指向即可)
    (3) fs.checkpoint.dir的内容非常重要,无法保证secondnamenode不出故障,所以需要定期对secondnamenode fs.checkpoint.dir的内容做备份
    (4) 最近一次check至故障发生这段时间的内容将丢失,fs.checkpoint.period参数值需要权衡,既不太频繁又尽可能保证数据完整,默认1小时
    恢复步骤:
    (0) 可选,当namenode主机名发生变化时(为了不影响应用,最好不好发生变化),需修改:
        [core-site.xml] fs.default.name = 新namenode
        [hdfs-site.xml] dfs.http.address = 新namenode
        [mapred-site.xml]mapred.job.tracker = 新jobtracker, 如果jobtracker与namenode在同一台机器上
    (1) 确保新namenode ${dfs.name.dir}目录存在,且清空其内容
    (2) 把SecondaryNameNode节点中 ${fs.checkpoint.dir} 的所有内容拷贝到新的NameNode节点的 ${fs.checkpoint.dir} 目录中
    (3) 在新机器上执行 
            hadoop namenode -importCheckpoint 
         该步会从${fs.checkpoint.dir}中恢复${dfs.name.dir},并请动namenode
    (4) 检查文件block完整性
            hadoop fsck /
    (5) 停止namenode,使用crrl+C或者会话结束
    (6) 删除新namenode ${fs.checkpoint.dir}目录下的文件(保持干净)
    (7) 正式启动namenode,恢复工作完成
            sh $HADOOP_HOME/bin/hadoop_daemon.sh start namenode
  • 相关阅读:
    PDA固定资产条码管理系统软件-解决固定资产实物清查的瓶颈问题,大大提高清查效率
    互联网+下PDA移动智能手持POS超市收银开单软件
    搭建免费代理池
    解析库beautifulsoup
    爬取汽车之家新闻
    请求库之requests库
    网络状态码301与302
    正向代理与反向代理
    垃圾回收机制详解
    HTTP协议详解
  • 原文地址:https://www.cnblogs.com/zlingh/p/4307682.html
Copyright © 2011-2022 走看看