CDH安装详细测试正确

1. CDH简介

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

2.cloudera manager的功能

1) 管理：对集群进行管理，如添加、删除节点等操作。

2) 监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。

3) 诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

4) 集成：多组件进行整合。

 

3.cloudera manager的架构

1) Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。

2) Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。

3) Management Service：由一组执行各种监控，警报和报告功能角色的服务。

4) Database：存储配置和监视信息。

5) Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）

6) Clients：是用于与服务器进行交互的接口（API和Admin Console）

 

4. 版本介绍

CDH版本：CDH 5.9.0

找对应版本下载即可：

http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz

http://archive.cloudera.com/cdh5/parcels/5.9.0/

manifest.json

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

 

 可自行去官网查看CDH中相对相应大数据组件版本号，开发时在maven上添加对应依赖

JDK版本：  1.8

Mysql版本: 5.6.42

Mysql链接包：mysql-connector-java-5.1.46.jar

5. centos环境准备

配置ip

配置免密

防火墙关闭

Selinux关闭

Hostname配置：节点名称  /etc/hostname

添加hosts名称：/etc/hosts

192.168.3.200 node200

192.168.3.201 node201

192.168.3.202 node202

192.168.3.203 node203

内存分配：

1.内存分配

CPU尽量调高，如我机器是16G内存，1T硬盘，三个节点各 200M 

内存是：主节点10个G  副节点是4G

 

2.节点全部配置 JDK1.8环境

1.解压jdk-8u191-linux-x64.tar.gz

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module    

2.配置环境变量 

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

export JAVA_HOME=/opt/module/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

source  /etc/profile

3.安装配置mysql

1.查看centos版本

　　cat /etc/redhat-release

2.卸载MariaDB （centos7默认自带）

　　查看当前安装的mariadb包： rpm -qa | grep mariadb

　　强制卸载： rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

3. 查看是否已经安装了MySQL

　　rpm -qa | grep -i mysql

4.查看是否存在mysql残党

  find / -name mysql

   删除分散mysql文件

   find / -name mysql / # whereis mysql

   删除配置文档

   rm -rf /etc/my.cnf

   再次查找机器是否安装mysql

   rpm -qa|grep -i mysql

5.mysql 在centos7下的依赖

yum -y install autoconf 

yum -y install perl

6.依次安装rpm包

rpm -ivh MySQL-devel-5.6.42-1.el7.x86_64.rpm

rpm -ivh MySQL-server-5.6.42-1.el7.x86_64.rpm

rpm -ivh MySQL-client-5.6.42-1.el7.x86_64.rpm

7.更改密码刷新权限

* cat /root/.mysql_secret 查看默认密码 oHH9dLpWrvWzRcG7

* service mysql start 启动mysql

* chkconfig mysql on    mysql开机启动

* mysql -uroot -p 使用默认密码登录

* SET PASSWORD=PASSWORD('000000'); 修改密码

* use mysql; 修改用户权限

* select User, Host, Password from user; 修改user表，把Host表内容修改为%

* update user set host='%' where host='localhost';

* 删除root用户的其他host

* mysql>delete from user where Host='u1';

* mysql>delete from user where Host='127.0.0.1';

* mysql>delete from user where Host='::1';

* 更新权限 grant all privileges on . to 'root'@'%' identified by '123456' with grant option;

* 刷新权限 flush privileges;

配置完整CDH系统

下载第三方依赖:

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

yum install perl perl-devel --nogpgcheck(跳过公钥)

创建CM用的数据库：

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（2）hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（3）oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（4）hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CDH安装

导入/opt/software相关的安装包：

mysql-connector-java-5.1.46.jar

mysql-connector-java.jar

manifest.json

CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel.sha1

cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

1、在主节点解压CM安装包至/opt默认目录

tar xvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz  -C /opt

配置CM的数据库

拷贝mysql jar文件到目录 /usr/share/java/

[root@hadoop102 share]# mkdir /usr/share/java/

[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

2、将mysql jdbc driver放入CM的lib中

cp mysql-connector-java-5.1.46.Jar  /opt/cm-5.16.1/share/cmf/lib/

3、在主节点（cdh-master)初始化CM数据库

/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

4.配置Agnet

修改agnet的配置文件config.ini中的server_host为主节点的主机名（u1-master）

vim/opt/cm-5.14.3/etc/cloudera-scm-agent/config.ini

5.同步Agent到slave[1..3]节点

scp -r /opt/cm-5.16.1/ root@192.168.2.140:/opt/

scp -r /opt/cm-5.16.1/ root@192.168.2.141:/opt/

scp -r /opt/cm-5.16.1/ root@192.168.2.142:/opt/

 在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

6.把CM文件拷贝到parcel-repo下

[root@hadoop102 cm-5.16.1]# mv /opt/software/CDH-5.16.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/

[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

7.在Agent 节点（hadoop102，hadoop103，hadoop104）创建目录/opt/cloudera/parcels节点的安装目录

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

注：如果报以下错误，需要yum 对应的命令    which    psmic

      yum install which --nogpgcheck

8.分发cloudera文件目录

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

9.开启服务 必须先启动  Agent   再启动server

1.依次开启 Agent

/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start

2.主节点开启server

/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop102 init.d]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

查看被占用则表示安装成功了！！！

访问http://hadoop102:7180，（用户名、密码：admin）

安装界面化界面:

详情请见同目录  3.★配置安装界面化CM安装Hadoop生态圈

安装完CDH的组件：

默认配置文件路径：

Hadoop: /etc/hadoop/conf

hbase: /etc/hadoop/conf

hive: /etc/hive/conf

如果hdfs  报错  nn启动不起来，

第一格式化的错误， 需要把hdfs服务停止，然后删除服务，

第二，需要把 /dfs 所有节点的服务都删除掉，然后重新在CDH上创建hdfs

启动完成

缺依赖   报parl   common on  ，   

yum install perl perl-devel --nogpgcheck

 安装时：hive hue hbase连接报错多为mysqlconnector 连接jar包未放入lib下