相关文章链接
CentOS7安装CDH 第二章:CentOS7各个软件安装和启动
CentOS7安装CDH 第四章:CDH的版本选择和安装方式
CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0
CentOS7安装CDH 第六章:CDH的管理-CDH5.12
CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置
CentOS7安装CDH 第八章:CDH中对服务和机器的添加与删除操作
1. 升级概述
1、CM(cloudera manager)升级概述:
CM的安装是使用rpm包的安装,详情请看上述CM的安装,所以升级的时候也是rpm包的升级即可。
2、CDH升级概述:
CDH的安装是使用离线的Parcel包安装的,所以也使用Parcel来升级,需要先将Parcel包离线下载下来。
2. 升级中需要注意的地方
1.在生产环境中升级一定要注意记得备份数据库和HDFS。
2.当对python进行升级时候会发现yum源不能使用,可以进行如下操作:
a) 当对python升级之后,是因为没有一个模块module,所以导致yum不能使用(即当前python里找不到yum源模块),此时可以将python重新指向升级之前的文件,就可以使用了。
b) 具体操作如下:
修改如下位置:
执行清理yun源的操作就可以正常使用了:yum clean all
3.在升级过程中,有可能遇到文件没有下载失败(即在下载、分配那一个界面失败)的情况,如下图所示,此时可以采取如下操作(以升级CDH5.16为例):
a) 找到对应机器,执行如下命令,进入到相应的文件夹中,再查看该目录下的所有文件(包括隐藏文件),可以看到一个.flood文件夹,这是下载和解压所用的文件夹,根据具体情况对其中的CDH5.16的包进行删除:
cd /opt/cloudera/parcels
ll -a
b) 执行如下命令,要保证磁盘空间充足,在对CDH5.16进行升级时,磁盘至少需要7G以上的空间,不然会失败,有如下异常,以后根据CDH的版本更新,有可能需要的空间更多(这方面可以询问运维):
异常:Src file /opt/cloudera/parcels/.flood/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel does not exist
查看磁盘的命令:df -h
c) 可以查找flood进程,然后kill掉,重启agent服务,去web界面安装:
ps -ef | grep flood
kill -9 进程号(可以直接使用如下命令解决:kill -9 $(pgrep -f flood))
service cloudera-scm-agent restart
d) 查看日志方式:
cd /var/log/cloudera-scm-agent/
tail -f cloudera-scm-agent.log
也可以先清空日志(echo "" > xxx.log),然后运行服务,看报什么错,
再直接使用sz命令,将日志发送到windows中进行查看
3. CM(cloudera manager)升级
1.下载cm的tar包和CDH的parcels包,并将这些包上传到/var/www/html目录下,此过程可以参考上述CDH离线安装中的过程,完成之后能在浏览器上看到如下界面:
2.检查 /etc/yum.repos.d/cloudera-manager.repo 中的yum源是否设置正确,如果其中最后是5,就不需要修改,因为在解压的cm包中有软连接,如下图:
请注意:上述的yum源,是所有机器都要检查,都要一致,保证其它机器能从cm机器上下载到CM的安装包。
此时将parcels的地址配置到CDH的Parcel配置中,会出现如下错误:
这时需要先将CM升级之后,才能升级CDH,直接去升级CM就可以了。
3.关闭CDH集群中各个服务和CM服务
4.关闭集群中各个机器的server和agent服务和数据库服务
# 停止服务命令
service cloudera-scm-agent stop
service cloudera-scm-server stop
service mysqld stop(由于本集群是使用mysql数据库,所以关闭mysql)
# 数据库备份命令,以下以cmf数据库为例,其它数据库也要备份
mysqldump -uroot -p123456 cmf > /tmp/cmf20171015.sql
mysql -uroot -p cmf < /tmp/cmf20171015.sql
5.升级cm机器的server+agent
[root@bigdata01 ~]# yum clean all
[root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'
[root@bigdata01 ~]# yum upgrade 'cloudera-*'
[root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'
6.升级集群其他机器的agent
[root@bigdata01 ~]# yum clean all
[root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'
[root@bigdata01 ~]# yum upgrade 'cloudera-*'
[root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'
7.启动集群机器的 db,server,agent
service mysqld start
service cloudera-scm-agent start
service cloudera-scm-server start
8.登录web的7180界面,进行CM服务的启动操作:
登录页面之后发现如下页面显示,点击运行Host Inspector进行主机检查,检查之后点击显示检查结果,会发现有大页面的提示,此时参照上述CDH安装章节的大页面解决方案,解决完大页面。
解决大页面之后发现如下界面,点击启动CM的服务:
启动CM服务之后会进入升级向导界面,依次点击下一步即可:
9.CM升级成功:
4. CDH集群升级
1、检查Parcel中的本地url是否配置好:
2、在CDH的主界面的Cluster上点击升级集群按钮:
3、选择已配置好的离线Parcel的版本,并进行主机检查(主机检查可能会有大页面和swap等警告,可以参照上述CDH安装章节处理或百度),然后勾选已执行上述的复选框,再点击继续按钮:
4、会进行下载,分配和解压等操作,等执行完点击继续按钮:
5、选择完整集群重启升级,但此操作会重启集群上所有服务:
6、会对集群上的所有服务进行安装和启动:
7、升级成功:
8、在升级CDH之后有可能出现oozie的内部版本和共享库版本不匹配,此时可以在oozie服务上重新安装共享版本,如下所示:
停止oozie服务:
安装oozie共享库:
重新启动oozie: