CDH的介绍和部署

CDH：全称Cloudera’s Distribution Including Apache Hadoop。

CDH版本衍化

hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。

Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution Hadoop)。

Apache Hadoop 不足之处：

版本管理混乱
部署过程繁琐、升级过程复杂
兼容性差
安全性低

Hadoop 发行版：

Apache Hadoop
Cloudera’s Distribution Including Apache Hadoop（CDH）
Hortonworks Data Platform (HDP) 
MapR
EMR

Cloudera's Distribution, including Apache Hadoop（CDH）：

是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面

CDH的优点：

版本划分清晰
版本更新速度快
支持Kerberos安全认证
文档清晰
支持多种安装方式（Cloudera Manager方式）

安装方式有：

Cloudera Manager
Yum
Rpm
Tarball

网址：

CDH5.4
http://archive.cloudera.com/cdh5/
 
Cloudera Manager5.4.3：
http://www.cloudera.com/downloads/manager/5-4-3.html

安装：

首先准备三台虚拟机：

这给出的内存已经很少了，因为只是模拟，在公司里面，都是物理，内存都是64以上的。。
还有：
首先得在你安装的磁盘中空闲出最少50g的内存，如：

我现在三台虚拟机什么都没装，也没启动，先启动，

它会先开辟预存12g占位，这还算少的了。。。。
 
启动后配置好静态IP，这个以前的文章有，然后开始SSH免密钥登录。
三台虚拟机，先把ssh给打理出来。

然后在node07上自己免密自己，在08上免密07.
最后拷贝公钥文件到06和08：
scp authorized_keys node06:`pwd`

然后配置好后安装JDK：

https://www.cnblogs.com/underwing/p/linux-an-zhuang-rpm-dejdk.html

然后记得对上ntp时间。

在安装mysql：

安装完成之后启动：

复制刚才那个路径；设置密码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

之后三台虚拟机的~下执行命令：

yum install -y chkconfig python bind-utils psmisc libxsltzlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

安装Cloudera Manager Server、Agent

所有节点创建：

然后上传文件：

文件：

链接：https://pan.baidu.com/s/19KSjEflWqYuDKN13ZVbklA

提取码：wm3b

上传后解压：

解压后：

之后给所有节点创建用户：

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建Parcel目录，Server节点（node06）：

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

Agent节点（所有节点）：

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置CM Server数据库：

拷贝mysql jar文件到目录 /usr/share/java/（没有就创建）

导入mysql，注意jar包名称要修改为mysql-connector-java.jar

连接mysql，创建一个用户:

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node06 -utemp -ptemp --scm-host node06 scm scm scm

启动CM Server、Agent:

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start

Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装

然后在所有节点上启动agent：

./cloudera-scm-agent start

格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

启动时间，短至几分钟，长至十几二十分钟，看电脑配置而定

出现这个端口代表你可以访问了，

然后就可以安装你想要安装的了，

模拟的话我们就只安装几个就好了，我内存也不大，就16g，上面很多都直接能把我安蹦的

这是根据你节点分配的，没什么要改的（在公司不一样），一直继续，

如果其中失败了，就去诊断看原因，去首页，找到安装那个配置，去看下。