CDH Hadoop安装

一、统一配置系统环境

(除了特别提醒之外，所有步骤三台都需要安装)

配置说明

CDH需要内存要求比较高，本教程在在家用台式家16G VMware虚拟机情况下安装。

hadoop-master 8G 
hadoop-node01 2G
hadoop-node02 2G

编辑hosts文件

echo -e '10.0.102.218 hadoop-master 
10.0.102.133 hadoop-node01 
10.0.102.136 hadoop-node02 ' >>/etc/hosts
echo -e '' >>/etc/hosts

查看hosts文件

cat /etc/hosts

关闭centos7防火墙

systemctl stop firewall
systemctl disable firewall

临时关闭selinux

setenforce 0
getenforce 0

永久关闭selinux
SELINUX=enforcing 改为 SELINUX=disabled

安装常用软件

yum -y install lrzsz nmap nc tree htop wget vim bash-completion rsync ntp sysstat telnet dos2unix unzip mlocate

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

配置时间同步
(这里不详细说明，可以找网上的相关文档进行操作)

echo '#同步时间' >> /var/spool/cron/root
echo '*/5 * * * * /usr/sbin/ntpdate -u 10.0.61.4 >/dev/null 2>&1' >>/var/spool/cron/root

修改hostname

设置免密登录互通

ssh-keygen -t rsa
ssh-copy-id root@10.0.102.218
ssh-copy-id root@10.0.102.133
ssh-copy-id root@10.0.102.136

ssh-copy-id root@hadoop-node01
ssh-copy-id root@hadoop-node02
ssh-copy-id root@hadoop-master

查询是否安装jdk

rpm -qa openjdk

将原来的jdk卸载

rpm -e --nodeps #找到的jdk版本

安装jdk环境
推荐rpm包安装，不需要配置环境变量
二进制包配置环境变量

将java添加环境变量

sudo vim /etc/profile

# 在该文件末尾添加以下行
export JAVA_HOME=/usr/java/jdk1.8.0_162 
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

检查java版本
[root@Hadoop-node01 share]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

二、安装mysql5.6（仅master需要安装）

https://blog.csdn.net/qq_35873847/article/details/78710266

创建数据库(也可以在后面根据安装的需求来创建)

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

grant all on *.* to root@"%" Identified by "123456";

三、配置CDH环境

安装Cloudera-Manager
解压cm tar包到指定目录所有服务器都要(或者在主节点解压好，然后通过scp到各个节点同一目录下)

tar -axvf cloudera-manager-centos7-cm5.7.6_x86_64.tar.gz -C /opt/cloudera-manager

将CM拷贝到其它节点

scp -r /opt/cm-5.7.6/ root@hadoop-node01:/opt/
scp -r /opt/cm-5.7.6/ root@hadoop-node02:/opt/

创建cloudera-scm用户（所有节点）

useradd --system --home=/opt/cm-5.7.6/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

配置从节点cloudera-manger-agent指向主节点服务器

vim /opt/cm-5.7.6/etc/cloudera-scm-agent/config.ini
将server_host改为CMS所在的主机名即Hadoop-master

主节点中创建parcel-repo仓库目录并制作本地源

mkdir -p /opt/cloudera/parcel-repo
chown -R cloudera-scm:cloudera-scm /opt/cloudera/
cp CDH-5.7.6-1.cdh5.7.6.p0.18-el7.parcel CDH-5.7.6-1.cdh5.7.6.p0.18-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo
注意：其中CDH-5.7.6-1.cdh5.7.6.p0.18-el5.parcel.sha1 后缀要把1去掉

修改cm-5.7.6文件夹属主数组

chown -R cloudera-scm:cloudera-scm /opt/cm-5.7.6

所有节点创建parcels目录

mkdir -p /opt/cloudera/parcels
chown -R cloudera-scm:cloudera-scm /opt/cloudera

解释：Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目录中】

拷贝mysql-connector-java到各个节点指定目录下(所有的节点)

mkdir -p /usr/share/java/
mv mysql-connector-java-5.1.36-bin.jar /usr/share/java/mysql-connector-java.jar

初始脚本配置数据库scm_prepare_database.sh(在主节点上)
/opt/cm-5.7.6/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-hHadoop-master：数据库建立在Hadoop-master主机上面。也就是主节点上面。
-uroot：root身份运行mysql。-123456：mysql的root密码是***。
--scm-host Hadoop-master：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。

四、修改修改运行的参数

修改linux swap空间的swappiness
Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。
修改swappiness的值为零：
有一个问题：
运行echo 10 > /proc/sys/vm/swappiness
要永久改变

vim /etc/sysctl.conf
vm.swappiness=10

echo never>/sys/kernel/mm/transparent_hugepage/defrag
echo never>/sys/kernel/mm/transparent_hugepage/enabled

五、web界面安装

web界面一路next就行了，安装包选择那里注意不要选择从网络下载了，国内根本下载不动，要选择从本地parcel-repo仓库安装。最后一步安装软件的时候，
一定要选择最小化安装，要不然这种配置肯定会崩溃的。

总结：

整个过程安装还是比较简单的，但是需要细心，自己安装三遍才成功。最后一步安装最小化集群的出错，肯定是前期那里环境配置出了问题，
要不然就是你的电脑太渣，电脑是8G的同学但是又想学习CDH的，去阿里云买按小时计算的服务器吧，或者利用公司的服务器资源来安装。