体验Hadoop3.0生态圈-CDH6.1时代的来临
作者:尹正杰
版权声明:原创作品,谢绝转载!否则将追究法律责任。
我在公司使用的是CDH5.15.1这个发行版本,具体的部署文档之前也有给大家分享过。Cloudera成立于2008年,在企业和大型机构在寻求解决棘手的大数据问题时,往往会使用开源软件基础架构Hadoop的服务。2018年10月,均为开源平台的Cloudera与Hortonworks公司宣布他们以52亿美元的价格合并。
由于最近在学习DBA相关的知识技能,托更了关于CDH6.0的实战部署笔记。不过没关系,我会把CDH6.X的一些新特性和整个部署过程娓娓道来。其实部署方法和之前分享的笔记大同小异~安装部署笔记,可参考官网:https://www.cloudera.com/documentation/enterprise/6/6.1/topics/installation_reqts.html#pre-install。
一.CDH6.1的新特性
1>.支持两个以上的NameNode;
2>.
3>.
4>.
5>.
6>.
7>.
二.下载CDH和CM
1>.CDH的选择
下载地址:https://archive.cloudera.com/cdh6/6.1.0/parcels/。
2>.CM的选择
下载地址:https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/。
3>.cdh中的hadoop组件
cdh6.1中的组件 : https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/.
cdh5.15中的组件:https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.1/RPMS/x86_64/
三.安装前准备
准备一台服务器10G内存左右即可。