搭建CDH大数据平台（CentOS7+CDH5.7）

集群环境：

集群架构：3台

node1-192.168.174.201 master datanode namenode

node2-192.168.174.202 datanode

node3-192.168.174.203  datanode

安装包准备：

cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz

mysql-connector-java-5.1.41-bin.jar

jdk-8u171-linux-x64.tar.gz

CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel

CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1

manifest.json

基础环境配置 

1.安装系统

查看系统发行版本

cat /etc/redhat-release

2.设置网络

BOOTPROTO=static  
ONBOOT=yes
IPADDR=192.168.174.201 
NETMASK=255.255.255.0 
GATEWAY=192.168.174.2 

重启网络

/etc/init.d/network restart

ping www.baidu.com

连通表示正常

3.修改hostname

/etc/hostname

4.修改hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.174.201 node1
192.168.174.202 node2
192.168.174.203 node3

修改完后重启

5.安装上次下载工具lrzsz

yum install lrzsz

6.关闭防火墙和SELINUX

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config

重启服务器使selinux的配置生效
reboot

查询状态

getenforce

sestatus -v

7. 安装NPT服务

yum -y install ntp

更改配置文件/etc/ntp.conf

在master节点namenode节点

注释掉原有的server指向把时间服务器的域名地址指向一个靠谱可连的时间服务器，我选择的是ntp.api.bz.

server ntp.api.gz iburst

在其余的节点上，把时间服务器的server指向master namenode节点

server 192.168.174.201 iburst

同步下时间

ntpdate -u cn.pool.ntp.org

所有节点重启下服务

systemctl start ntpd

systemctl enable ntpd

 

安装psmisc

yum -y install psmisc

 

 

8.配置SSH无密码登录

配置master namenode节点无密码登陆到其他节点

在master namenode节点：

ssh-keygen -t rsa

不输入密码，一路回车

ssh-copy-id 192.168.174.202
ssh-copy-id 192.168.174.203

最后ssh '192.168.174.202'测试连通性

9.安装JDK1.8

mkdir /usr/java/

tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java/

配置环境变量

vi /etc/profile

在最后面追加内容：

export JAVA_HOME=/usr/java/jdk1.8.0_171
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使/etc/profile生效（使用hadoop账号）

source /etc/profile

检测安装是否成功

　　java -version

10.安装MySQL数据库

 所有节点

mkdir  /usr/share/java/

复制驱动jar包放到java目录下

cp mysql-connector-java-5.1.41-bin.jar /usr/share/java/mysql-connector-java.jar  

master namenode节点

yum -y install mariadb-server

vi /etc/my.cnf

 

[mysqld]

datadir=/var/lib/mysql

socket=/var/lib/mysql/mysql.sock

symbolic-links=0

character-set-server=utf8     \添加的行

[mysqld_safe]

log-error=/var/log/mariadb/mariadb.log

pid-file=/var/run/mariadb/mariadb.pid

!includedir /etc/my.cnf.d

 

启动服务查看状态

systemctl start mariadb

systemctl enable mariadb 

 

安全安装

mysql_secure_installation

一路yes（y）

数据库只是安装了一下，并没有做一些详细的配置。如果有需求可以另行配置。

 

创建数据库

mysql -uroot -p

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

grant all on *.* to root@"%" Identified by "密码";

exit

 

安装CDH

tar zxvf cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz -C /opt/

 

Cloudera Manager需要外部的数据库存储一些元数据信息，配置信息，系统和任务的运行信息等。在PATH B的方式下，用户需要自己安装生产环境的数据库并配置成Cloudera Manager和Hive Metadata所使用的库。 
当安装完数据库后，可以通过以下代码设置CM Server使用自定义的生产环境数据库

命令格式：scm_prepare_database.sh database-type [options] database-name username password

示例：/opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

 

创建用户

所有节点

useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

制作本地源

master namenode节点执行

cp CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/

 cd /opt/cloudera/parcel-repo/

mv CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha

 

更改配置

mkdir /opt/cm-5.7.0/run/cloudera-scm-agent

sed -i "s/server_host=localhost/server_host=192.168.174.201/" /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini

启动服务

master namenode节点

/opt/cm-5.7.0/etc/init.d/cloudera-scm-server start

除了master namenode节点

scp -r 192.168.174.201:/opt/cm-5.7.0 /opt

所有节点

/opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start

 

浏览页面开始安装

1）登陆

打开浏览器，访问maser namenode节点的7180端口

http://192.168.174.201:7180

输入用户名和密码admin、admin