zoukankan      html  css  js  c++  java
  • 利用SecondaryNameNode文件恢复Namenode-实践可行

    二、 namenode故障恢复(importCheckpoint)
    *注意事项:
    (1) 为了便于将随便一台datanode临时用作namenode,datanode和namenode配置需要一模一样包括conf目录下的所有文件、目录结构、环境变量
    (2) 新namenode的主机名要与原namenode保持一致,主机名若是在hosts写死,需要批量替换datanode hosts文件 (用内部域名服务最好,改下域名指向即可)
    (3) fs.checkpoint.dir的内容非常重要,无法保证secondnamenode不出故障,所以需要定期对secondnamenode fs.checkpoint.dir的内容做备份
    (4) 最近一次check至故障发生这段时间的内容将丢失,fs.checkpoint.period参数值需要权衡,既不太频繁又尽可能保证数据完整,默认1小时
    恢复步骤:
    (0) 可选,当namenode主机名发生变化时(为了不影响应用,最好不好发生变化),需修改:
        [core-site.xml] fs.default.name = 新namenode
        [hdfs-site.xml] dfs.http.address = 新namenode
        [mapred-site.xml]mapred.job.tracker = 新jobtracker, 如果jobtracker与namenode在同一台机器上
    (1) 确保新namenode ${dfs.name.dir}目录存在,且清空其内容
    (2) 把SecondaryNameNode节点中 ${fs.checkpoint.dir} 的所有内容拷贝到新的NameNode节点的 ${fs.checkpoint.dir} 目录中
    (3) 在新机器上执行 
            hadoop namenode -importCheckpoint 
         该步会从${fs.checkpoint.dir}中恢复${dfs.name.dir},并请动namenode
    (4) 检查文件block完整性
            hadoop fsck /
    (5) 停止namenode,使用crrl+C或者会话结束
    (6) 删除新namenode ${fs.checkpoint.dir}目录下的文件(保持干净)
    (7) 正式启动namenode,恢复工作完成
            sh $HADOOP_HOME/bin/hadoop_daemon.sh start namenode
  • 相关阅读:
    关闭ThinkPHP Runtime Log
    Robots协议的写法
    Getif工具获取 交换机的OID/Zabbix设置
    命令方式启动 vmware 虚拟机
    wireshark 抓包使用教程
    Sniffer 交换机端口抓包
    H3C 开启ssh/snmp
    Apache Superset BI
    洛谷5588 小猪佩奇爬树
    luogu5536 核心城市
  • 原文地址:https://www.cnblogs.com/zlingh/p/4307682.html
Copyright © 2011-2022 走看看