阿里云安装Cloudera Manager（草稿）

选择三台同一局域网的阿里云服务器

最初使用阿里云、京东云、百度云的三台不同的服务器，遇到一些问题，没有解决，公网速度也没有保障，还是选择同一局域网的服务器吧

CM有三种不同的安装方式：

• 通过 Cloudera 公司提供的 bin 文件来安装
  这种方式只能用来安装 CM Server，节点机器上的 Agent 只能再另外通过 Web 页面等其他方式来安装
  采用 bin 文件的安装方式本质上也是用 yum 来安装的，主要是会安装 CM Server、JDK、Deamons Tools、PostgreSQL，并且会自动帮忙配置好，这一点从 CM 的 yum 源就能看出来
• 通过 yum 来安装
  这种方式对比第一种来说其实就是将其中的安装步骤拆分下来，并且可以弃用默认提供的 PostgreSQL 自己选择一个数据库，如果选择的是 MySQL，还需要再提供额外的 JDBC 库。JDK 也需要自己提供
• 通过 tar 文件来离线安装
  其实就是将一个已有的 tar 包解压缩，修改下配置，然后起服务。对比上面两种方式的优点是：
  
  • 完全离线
  • 一切自己定制，包括 JDK、数据库、文件路径，由于 yum 方式安装最终的程序是放在 ROOT 分区下的，日志也是打在 ROOT 分区下，所以有将 ROOT 分区打满的危险

离线方式最为稳妥，我们采用离线方式。

一、前提工作

1.关闭防火墙 centos6 chkconfig iptables off

2.关闭SELINUX 临时关闭setenforce 0，永久关闭要修改配置文件vim /etc/selinux/config

3.JDK安装

4.配置主机名，配置/etc/hosts文件，使用私有网络IP

5.SSH免密登陆

6.MySQL安装，这里选择5.6

7.创建CM用的数据库

在MySQL中依次创建监控数据库、Hive数据库、Oozie数据库、Hue数据库

1）启动数据库

[root@node01 ~]# mysql -uroot -p000000

2）集群监控数据库

mysql> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

3）Hive数据库 

mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

4）Oozie数据库

mysql> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

5）Hue数据库

mysql> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

6）关闭数据库

mysql> quit;

8.下载第三方依赖

依次在三台节点（所有Agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

二、安装CM

CM下载地址：http://archive.cloudera.com/cm5/cm/5/

离线库下载地址：http://archive.cloudera.com/cdh5/parcels

1.CM安装

注：以下所有操作均使用root用户

1）创建/bigdata/cm目录

[root@node01 ]# mkdir –p /bigdata/cm

2）上传cloudera-manager-el6-cm5.12.1_x86_64.tar.gz到node01的/root/downloads目录，并解压到/bigdata/cm目录

[root@node01 downloads]# tar -zxvf cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /bigdata/cm

3）分别在node01、node02、node03创建用户cloudera-scm

useradd 

--system 

--home=/bigdata/cm/cm-5.12.1/run/cloudera-scm-server 

--no-create-home 

--shell=/bin/false 

--comment "Cloudera SCM User" cloudera-scm

参数说明：

--system 创建一个系统账户

--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>

--no-create-home 不要创建用户的主目录

--shell 用户的登录 shell 名

--comment 用户的描述信息

注意：Cloudera Manager默认去找用户cloudera-scm，创建完该用户后，将自动使用此用户。

4）修改CM Agent配置

修改文件/bigdata/cm/cm-5.12.1/etc/cloudera-scm-agent/ config.ini的主机名称

[root@node01 cloudera-scm-agent]# vim /bigdata/cm/cm-5.12.1/etc/cloudera-scm-agent/config.ini

修改主机名称

server_host=node01

5）配置CM的数据库

拷贝mysql-connector-java-5.1.27-bin.jar文件到目录 /usr/share/java/    

改名为 mysql-connector-java.jar

[root@node01 ]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

注意：jar包名称要修改为mysql-connector-java.jar
6）使用CM自带的脚本，在MySQL中创建CM库

[root@node01 cm-5.12.1]#/bigdata/cm/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode01 -uroot -p000000 --scm-host node01 scm scm scm

参数说明

-h：Database host

-u：Database username

-p：Database Password

--scm-host：SCM server's hostname

7）分发cm目录到其他节点

8）创建Parcel-repo

[root@hadoop102  ~]# mkdir -p /root/cloudera/parcel-repo

[root@hadoop102 ~]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

9）拷贝下载文件manifest.json 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 、CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel到node01的/opt/cloudera/parcel-repo/目录下

[root@node01 parcel-repo]# ls

CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel  CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 

manifest.json

10）将CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1：需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@node01 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

11）在node01上创建目录/opt/cloudera/parcels，并修改该目录的所属用户及用户组为cloudera-scm

[root@node01 ~]# mkdir -p /root/cloudera/parcels

[root@node01 ~]# chown cloudera-scm:cloudera-scm /root/cloudera/parcels

12）分发/opt/cloudera/

 

1.3.3 启动CM服务

1）启动服务节点：node01

[root@node01 cm]# /bigdata/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server:                              [确定]

2）启动工作节点：node01、node02、node03

/bigdata/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

注意：启动过程非常慢，Manager启动成功需要等待5分钟左右，过程中会在数据库中创建对应的表需要耗费一些时间。

3）查看被占用则表示安装成功了！！！

[root@node01 cm]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

4）访问http://node01:7180，（用户名、密码：admin）

 

1.3.4 关闭CM服务

1）关闭工作节点：node01、node02、node03

/bigdata/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent:                               [确定]

2）关闭服务节点：node01

[root@node01 cm]# /bigdata/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server：                                 [确定]

二、CM的集群部署

1.接受条款和协议

2.选择免费

 

 

3.指定主机

4.选择CDH的版本5.12.1

 

5.等待下载安装

 

 

角色分配

重启