zoukankan      html  css  js  c++  java
  • CentOS7安装CDH 第十一章:离线升级CDH版本

    相关文章链接

    CentOS7安装CDH 第一章:CentOS7系统安装

    CentOS7安装CDH 第二章:CentOS7各个软件安装和启动

    CentOS7安装CDH 第三章:CDH中的问题和解决方法

    CentOS7安装CDH 第四章:CDH的版本选择和安装方式

    CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0

    CentOS7安装CDH 第六章:CDH的管理-CDH5.12

    CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置

    CentOS7安装CDH 第八章:CDH中对服务和机器的添加与删除操作

    CentOS7安装CDH 第九章:CDH中安装Kafka

    CentOS7安装CDH 第十章:CDH中安装Spark2

    CentOS7安装CDH 第十一章:离线升级CDH版本

    CentOS7安装CDH 第十二章:YARN的资源调优

    CentOS7安装CDH 第十三章:CDH资源池配置

    CentOS7安装CDH 第十四章:CDH的优化

    1. 升级概述

    1、CM(cloudera manager)升级概述:

      CM的安装是使用rpm包的安装,详情请看上述CM的安装,所以升级的时候也是rpm包的升级即可。

    2、CDH升级概述:

      CDH的安装是使用离线的Parcel包安装的,所以也使用Parcel来升级,需要先将Parcel包离线下载下来。

    2. 升级中需要注意的地方

    1.在生产环境中升级一定要注意记得备份数据库HDFS

    2.当对python进行升级时候会发现yum源不能使用,可以进行如下操作:

      a) 当对python升级之后,是因为没有一个模块module,所以导致yum不能使用(即当前python里找不到yum源模块),此时可以将python重新指向升级之前的文件,就可以使用了。

      b) 具体操作如下:

        

        修改如下位置:

        

        执行清理yun源的操作就可以正常使用了:yum clean all

    3.在升级过程中,有可能遇到文件没有下载失败(即在下载、分配那一个界面失败)的情况,如下图所示,此时可以采取如下操作(以升级CDH5.16为例):

      

      a) 找到对应机器,执行如下命令,进入到相应的文件夹中,再查看该目录下的所有文件(包括隐藏文件),可以看到一个.flood文件夹,这是下载和解压所用的文件夹,根据具体情况对其中的CDH5.16的包进行删除:

        cd /opt/cloudera/parcels

        ll -a

      

      b) 执行如下命令,要保证磁盘空间充足,在对CDH5.16进行升级时,磁盘至少需要7G以上的空间,不然会失败,有如下异常,以后根据CDH的版本更新,有可能需要的空间更多(这方面可以询问运维):

        异常:Src file /opt/cloudera/parcels/.flood/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel does not exist

        查看磁盘的命令:df -h

      c) 可以查找flood进程,然后kill掉,重启agent服务,去web界面安装:

        ps -ef | grep flood

        kill -9 进程号(可以直接使用如下命令解决:kill -9 $(pgrep -f flood))

        service cloudera-scm-agent restart

      d) 查看日志方式:

        cd /var/log/cloudera-scm-agent/

        tail -f cloudera-scm-agent.log

        也可以先清空日志(echo "" > xxx.log),然后运行服务,看报什么错,

        再直接使用sz命令,将日志发送到windows中进行查看

    3. CM(cloudera manager)升级

    1.下载cm的tar包和CDH的parcels包,并将这些包上传到/var/www/html目录下,此过程可以参考上述CDH离线安装中的过程,完成之后能在浏览器上看到如下界面:

      

    2.检查 /etc/yum.repos.d/cloudera-manager.repo 中的yum源是否设置正确,如果其中最后是5,就不需要修改,因为在解压的cm包中有软连接,如下图:

      

       

      请注意:上述的yum源,是所有机器都要检查,都要一致,保证其它机器能从cm机器上下载到CM的安装包。

      此时将parcels的地址配置到CDH的Parcel配置中,会出现如下错误:

        

      这时需要先将CM升级之后,才能升级CDH,直接去升级CM就可以了。

    3.关闭CDH集群中各个服务和CM服务

      

    4.关闭集群中各个机器的server和agent服务和数据库服务

      # 停止服务命令

      service cloudera-scm-agent stop

      service cloudera-scm-server stop

      service mysqld stop(由于本集群是使用mysql数据库,所以关闭mysql)

      # 数据库备份命令,以下以cmf数据库为例,其它数据库也要备份

      mysqldump -uroot -p123456 cmf > /tmp/cmf20171015.sql

      mysql -uroot -p  cmf < /tmp/cmf20171015.sql

    5.升级cm机器的server+agent

      [root@bigdata01 ~]# yum clean all

      [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

      [root@bigdata01 ~]# yum upgrade 'cloudera-*'

      [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

    6.升级集群其他机器的agent

      [root@bigdata01 ~]# yum clean all

      [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

      [root@bigdata01 ~]# yum upgrade 'cloudera-*'

      [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

    7.启动集群机器的 db,server,agent

      service mysqld start

      service cloudera-scm-agent start

      service cloudera-scm-server start

    8.登录web的7180界面,进行CM服务的启动操作:

      登录页面之后发现如下页面显示,点击运行Host Inspector进行主机检查,检查之后点击显示检查结果,会发现有大页面的提示,此时参照上述CDH安装章节的大页面解决方案,解决完大页面。

      

      解决大页面之后发现如下界面,点击启动CM的服务:

      

      启动CM服务之后会进入升级向导界面,依次点击下一步即可:

      

    9.CM升级成功:

      

    4. CDH集群升级

    1、检查Parcel中的本地url是否配置好:

      

    2、在CDH的主界面的Cluster上点击升级集群按钮:

      

    3、选择已配置好的离线Parcel的版本,并进行主机检查(主机检查可能会有大页面和swap等警告,可以参照上述CDH安装章节处理或百度),然后勾选已执行上述的复选框,再点击继续按钮:

      

      

    4、会进行下载,分配和解压等操作,等执行完点击继续按钮:

      

    5、选择完整集群重启升级,但此操作会重启集群上所有服务:

      

    6、会对集群上的所有服务进行安装和启动:

      

    7、升级成功:

      

    8、在升级CDH之后有可能出现oozie的内部版本和共享库版本不匹配,此时可以在oozie服务上重新安装共享版本,如下所示:

      

      停止oozie服务:

      

      安装oozie共享库:

      

      重新启动oozie:

      

  • 相关阅读:
    1209.3——选择排序算法
    1209.2——直接插入排序算法
    1209.1——快速排序算法
    1208.1——猜数字小游戏
    1207.1——C语言 函数
    1207--ATM自动取款机的实现
    Mac搭建本地svn服务器,并用Cornerstone连接服务器
    iOS textField 和textView的一些用法
    iOS button 文字图片上下/左右排布
    iOS 代理的具体使用
  • 原文地址:https://www.cnblogs.com/yangshibiao/p/10869806.html
Copyright © 2011-2022 走看看