zoukankan      html  css  js  c++  java
  • hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2

    升级前准备:

    如果是 centos6.x的系统得升级glibc和pam包

    在/etc/ld.so.conf 文件里添加 /usr/src/jdk1.6.0_23/jre/lib/amd64/server,然后运行ldconfig命令

    配置好新的hadoop-2.7.2到各个集群服务器上

    配置好新的环境变量备用

    开始升级:

    1.停止hive、hbase、zookeeper等相关服务

    2.检查文件(如果文件太多太费时间可以不做)

    hadoop dfsadmin -safemode enter

    检查元数据块(过滤所有以小圆点开始的行):

    hadoop fsck / -files -blocks -locations |grep -v -E '^.' > old-fsck.log
    hadoop dfsadmin -safemode leave
    

    3.停止hadoop集群

    $HADOOP_HOME/bin/stop-all.sh
    

    4.修改环境变量

    source /etc/profile 各个集群都执行
    echo $HADOOP_HOME 看是否是新的hadoop目录了

    5.开始升级

    hadoop-daemon.sh start namenode -upgrade 启动namenode升级

    hadoop-daemons.sh start datanode 启动各个数据节点

    打开日志文件观察有误错误,如果报内存溢出,修改hadoop-env.sh 文件的export HADOOP_HEAPSIZE,HADOOP_CLIENT_OPTS参数值和yarn-env.sh文件JAVA_HEAP_MAX参数值

    打开50070端口web页面观察升级过程

    等所有数据节点全部升级完成后,检查数据完整性(此过程根据集群数量得等一段时间)

    hadoop fsck /
    

     

    有问题回滚命令:

    hadoop-daemon.sh start namenode -rollback 

    hadoop-daemons.sh start datanode –rollback

    6.提交升级

    运行一段时间后,观察没有问题,可以提交升级

    hdfs dfsadmin -finalizeUpgrade
    

     

  • 相关阅读:
    蓝桥杯 网络寻路
    ny33 蛇形填数
    集合运算 蓝桥杯 set容器
    蓝桥杯 回形取数
    bam/sam格式说明--转载
    samtools一些文档
    Linux批量更改文件后缀-转载
    GATK--使用转载
    Linux下wget下载整个FTP目录(含子目录)--转载
    CRLF line terminators导致shell脚本报错:command not found --转载
  • 原文地址:https://www.cnblogs.com/wsl222000/p/5409110.html
Copyright © 2011-2022 走看看