centos6.8安装cdh5.10.0（离线版）

Centos6.8安装CDH5

相关包的下载地址：

Cloudera Manager地址：http://archive.cloudera.com/cm5/cm/5/

CDH安装包地址：http://archive.cloudera.com/cdh5/parcels/latest/

操作系统为centos6.8：

下载文件为以下：

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

cloudera-manager-el6-cm5.10.0_x86_64.tar.gz

manifest.json

jdbc的MySQL下载地址：http://download.softagency.net/MySQL/Downloads/Connector-J/

准备工作：

以下操作均需要(root)管理员权限

1.网络配置（所有节点）

修改主机名：vim /etc/sysconfig/network

NETWORKING = yes

HOSTNAME = cdh1

NETWORKING_IPV6 = no

PEERNTP = no

重启网络：service network restart

修改ip与主机名的对应关系：vim /etc/hosts

192.168.1.101   cdh1

192.168.1.102   cdh2

192.168.1.103   cdh3

2. 打通ssh，设置无密码登陆（所有节点）

执行ssh-keygen -t rsa，一路回车，生成无密码的密钥对。

将公钥添加到认证文件中：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys，并设置authorized_keys的访问权限：chmod 600 ~/.ssh/authorized_keys。

通过scp命令将各节点的认证文件拷贝到所有其他节点使得各节点能够相互访问。

scp ~/.ssh/authorized_keys root@cdh2:~/.ssh/authorized_keys

cdh2操作：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/

scp ~/.ssh/authorized_keys root@cdh3:~/.ssh/authorized_keys

cdh3操作：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@cdh1:~/.ssh/authorized_keys

cdh1操作：

chmod 600 ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@cdh2:~/.ssh/authorized_keys

3.安装Oracle的Java（所有节点）

CentOS自带OpenJdk，不过运行CDH5需要使用oracle的JDK，需要Java 7的支持。

卸载自带的OpenJdk，使用rpm -qa | grep java查询java相关的包，使用rpm -e --nodeps 包名卸载之。

去Oracle的官网下载jdk的rpm安装包，并使用rpm -ivh 包名安装，最后配置环境变量。

Jdk7下载地址：http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

rpm –ivh jdk-7u80-linux-x64.rpm

4.安装配置MySQL（主节点）

通过yum install mysql-server安装mysql服务器。chkconfig mysqld on设置开机启动，并service mysqld start启动mysql服务，并根据提示设置root的初试密码：mysqladmin -u root password 'xxxx'。

mysql -uroot -pxxxx进入mysql命令行，创建以下数据库：

#hive

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#activity monitor

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

# Oozie

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#Hue

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'cdh1' identified by 'xxxx' with grant option;

flush privileges;

5.关闭防火墙和SELinux

注意： 需要在所有的节点上执行，因为涉及到的端口太多了，临时关闭防火墙是为了安装起来更方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。

关闭防火墙：

service iptables stop （临时关闭） 

chkconfig iptables off （重启后生效）

关闭SELINUX（实际安装过程中发现没有关闭也是可以的，不知道会不会有问题，还需进一步进行验证）:

setenforce 0 （临时生效） 

修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）

6.所有节点配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件：yum install ntp。完成后，配置开机启动：chkconfig ntpd on,检查是否设置成功：chkconfig --list ntpd其中2-5为on状态就代表成功。

主节点：

# vi /etc/ntp.conf

server 210.72.145.44     #这是中国国家授时中心的IP

server 0.uk.pool.ntp.org

server 1.uk.pool.ntp.org

启动：service ntpd start

开机启动：chkconfig ntpd on

查看NTP服务的运行状况: watch ntpq –p

其他节点:server cdh1 然后启动：service ntpd start

ntpdate –u cdh1

7.安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.10.0和cloudera目录放到/opt目录下。

为Cloudera Manager 5建立数据库

首先需要去MySql的官网下载JDBC驱动，http://dev.mysql.com/downloads/connector/j/，解压后，找到mysql-connector-java-5.1.42-bin.jar，放到/opt/cm-5.10.0/share/cmf/lib/中。

Hive的拷贝位置为：# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.42-bin.jar/opt/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/hive/lib/

Oozie的拷贝位置为：# cp /opt/cm-5.10.0/share/cmf/lib/mysql-connector-java-5.1.42-bin.jarr /var/lib/oozie/

在主节点初始化CM5的数据库：

/opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm

Agent配置

修改/opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

vim /opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini

serverhost = cdh1

同步Agent到其他节点

scp -r /opt/cm-5.10.0/ root@cdh2:/opt/

scp -r /opt/cm-5.10.0/ root@cdh3:/opt/

在所有节点创建cloudera-scm用户:

useradd --system --home=/opt/cm-5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

准备Parcels，用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。

相关的文件如下：

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

manifest.json

最后将CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1，重命名为CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1文件。

相关启动脚本

通过/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start启动Agent服务。

我们启动的其实是个service脚本，需要停止服务将以上的start参数改为stop就可以了，重启是restart。

CDH5的安装配置

Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin：

 

 

 

临时修改：echo 0 > /proc/sys/vm/swappiness

重启生效：vim /etc/sysctl.conf

添加一行vm.swappiness=10

临时：

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

或添加上面二行：vim /etc/rc.local

 

默认值继续：

稍等一会：

Perfect！！！