zoukankan html css js c++ java

CentOS7 搭建AmbariServer，安装Hadoop集群（一）

2017-07-05：修正几处拼写错误，之前没发现，抱歉！

第一次在cnblogs上发表文章，效果肯定不会好，希望各位多包涵。

编写这个文档的背景是月中的时候，部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术；给我的学习内容是通过Ambari安装Hadoop集群。通过一周左右的学习和实践，整理出现在这篇安装心得。第一篇，重点放在Ambari-Server的搭建安装上。

安装默认使用Root用户，避免权限问题导致不成功。

使用4台虚拟机构建Ambari-Server、Hadoop集群，分配如下：

- 一台虚拟机，作为Ambari-Server：

Hostname: ambari.server

- 三台虚拟机，作为Hadoop集群：

Hostname01: hadoop.namenode
Hostname02: hadoop.datanode1
Hostname03: hadoop.datanode2

1. 安装前的系统设定

a) 修改机器名、Hosts文件

查看当前的Hostname：

# hostname

　　修改Hostname：（以ambari.server为例）

# hostnamectl set-hostname ambari.server

　　修改每一台机器上的/etc/hosts文件：

# vim /etc/hosts
192.168.141.159     ambari.server
192.168.141.160     hadoop.namenode
192.168.141.161     hadoop.datanode1
192.168.141.162     hadoop.datanode2

　　修改完以后，重启每一台机器。

　　b) 设置ntpd自动启动，所有机器

　　没有安装ntpd的机器，用yum命令安装一下:

# yum install -y ntp

　　设置服务开机启动：

# systemctl enable ntpd

　　启动服务：

# systemctl start ntpd

　　c) 设置时间同步，所有机器

# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# ntpdate us.pool.ntp.org

　　d) 关闭Selinux，所有机器

　　修改配置：

# vim /etc/sysconfig/selinux
selinux=disalbed

　　e) 关闭防火墙

# systemctl stop firewalld
# systemctl disable firewalld

　　f) 制作集群的SSH免密码登录

在ambari.server上创建密钥：

# ssh-keygen -t rsa

一路Enter到密钥生成

进入~/.ssh目录，查看密钥文件：

私钥：id_rsa
公钥：id_rsa.pub

　　切换到hadoop.namenode等机器上，创建~/.ssh目录

# mkdir ~/.ssh

从ambari.server上，发送公钥给目标服务器：

# scp ~/.ssh/id_rsa.pub hadoop.namenode:/root/.ssh/authorized_keys_from_ambari
# scp ~/.ssh/id_rsa.pub hadoop.datanode1:/root/.ssh/authorized_keys_from_ambari
# scp ~/.ssh/id_rsa.pub hadoop.datanode2:/root/.ssh/authorized_keys_from_ambari

在被登录的服务器上，合并公钥：

# cd ~/.ssh
# cat authorized_keys_from_ambari >> authorized_keys

对所有服务器上的.ssh目录和文件授权：

# chmod 700 ~/.ssh
# chmod 600 ~/.ssh/*

在ambari.server上验证SHH可以免密码登录目标服务器：

# ssh hadoop.namenode

如果无需输入密码，且用hostname命令查看到正确的主机名，则表示配置免密码登录成功；

如果仍需要输入密码，则不成功；如果不成功，先尝试权限修改；如果仍不成功，则要删除密钥再做一次。

2. 安装JDK1.8

下载JDK 1.8.0.tar.gz文件，解压：

# wget -c http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
# mkdir /usr/local/jdk
# tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/jdk/

配置环境变量，添加以下内容：

# vim /etc/profile

#java
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

执行以下语句，使环境变量立刻生效：

# source /etc/profile

验证Java安装成功：

# java -version

java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

3. 安装MySQL

Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL。

Mysql数据库安装过程如下：

下载mysql的repo源（CentOS 7.2的yum源中默认没有mysql，要先下载mysql的repo源）：

# wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm

　　安装mysql57-community-release-el7-8.noarch.rpm包：

# rpm -ivh mysql57-community-release-el7-8.noarch.rpm  --nodeps --force

安装这个包后，会获得两个mysql的yum repo源：

# cd /etc/yum.repos.d
# ls -l

确认存在下列两个repo源文件：

安装mysql：

# yum install -y mysql-server

启动mysql服务，查看MySQL服务是否已启动：

# systemctl start mysqld
# service mysqld status

重置root密码：

MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。可以安全模式修改root登录密码或者用随机密码登录修改密码。

下面用随机密码方式：

MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：

# grep 'temporary password' /var/log/mysqld.log
# mysql -u root -p
mysql> Enter password: （输入刚才查询到的随机密码）

修改root用户密码：(MySQL的密码策略比较复杂，过于简单的密码会被拒绝)。首先修改安全策略，避免过于简单的密码被拒绝：

mysql> set global validate_password_policy=0;
mysql> set global validate_password_length=4;

重置用户密码：

mysql> alter user 'root'@'localhost' identified by 'root-1234';

完成后，保存退出：

mysql> flush privileges;
mysql> quit;

使用刚刚设置的新密码登录：

# mysql -u root -p

mysql> use mysql;
如果进行操作出现下面的提示：
You must reset your password using ALTER USER statement before executing this statement. 

就再设置一遍密码：
mysql> set password = password('root-1234');

开放3306端口

允许使用用户名root密码root-1234从任何主机连接到mysql服务器。

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY ' root-1234' WITH GRANT OPTION;
mysql> FLUSH PRIVILEGES;

安装mysql jdbc 驱动：

# yum install -y mysql-connector-java

4. 创建必要的数据库和数据库用户

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：

mysql> create database ambari character set utf8;
mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari-1234';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
mysql> FLUSH PRIVILEGES;

如果要安装Hive，再创建Hive数据库和用户再执行下面的语句：

mysql> create database hive character set utf8;
mysql> CREATE USER 'hive'@'%' IDENTIFIED BY 'hive-1234';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
mysql> FLUSH PRIVILEGES;

如果要安装Oozie，再创建Oozie数据库和用户再执行下面的语句：

mysql> create database oozie character set utf8;
mysql> CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie-1234';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
mysql> FLUSH PRIVILEGES;

5. 下载Ambari的资源

下载HortWorks官网上的3个库到本地（也可以在线下载，但是速度会很慢）。

我们先把hortworks官网上需要下载的3个库下载到本地（这个还是需要很长时间的，当然你也可以在线下载，通过wget但是由于文件比较大，所以下载会非常慢）然后把他上传到我们的镜像服务器上。

文档编写时采用的是Ambari 2.2.1.0，但安装方法是一致的。

Ambari Repositories：

http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.1.0/bk_Installing_HDP_AMB/content/_ambari_repositories.html

OS	Format	URL
RedHat 6 CentOS 6 Oracle Linux 6	Base URL	http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0
	Repo File	http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari.repo
	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos6.tar.gz
RedHat 7 CentOS 7 Oracle Linux 7	Base URL	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0
	Repo File	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari.repo
	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.2.1.0/ambari-2.2.1.0-centos7.tar.gz

　　两个是 HDP 2.4 Repositories：

OS	Version Number	Repository Name	Format	URL
RedHat 6 CentOS 6 Oracle Linux 6	HDP-2.4.0.0	HDP	Base URL	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0
			Repo File	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/hdp.repo
			Tarballmd5 \| asc	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos6-rpm.tar.gz
		HDP-UTILS	Base URL	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6
		HDP-UTILS	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
RedHat 7 CentOS 7 Oracle Linux 7	HDP-2.4.0.0	HDP	Base URL	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0
			Repo File	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/hdp.repo
			Tarball md5 \| asc	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.4.0.0/HDP-2.4.0.0-centos7-rpm.tar.gz
		HDP-UTILS	Base URL	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7
		HDP-UTILS	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos7/HDP-UTILS-1.1.0.20-centos7.tar.gz

　　尝试新版本的话，请通过最新版链接中的找到最新版安装包。

　　（Latest）Ambari 2.5.0 Repositories

OS	Format	URL
RedHat 6 CentOS 6 Oracle Linux 6	Base URL	http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3
	Repo File	http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo
	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos6.tar.gz
RedHat 7 CentOS 7 Oracle Linux 7	Base URL	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3
	Repo File	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari.repo
	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.5.0.3/ambari-2.5.0.3-centos7.tar.gz

　　（Latest）两个是 HDP 2.6 Repositories：

OS	Version Number	Repository Name	Format	URL
RedHat 6 CentOS 6 Oracle Linux 6	HDP-2.6.0.3	HDP	Base URL	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3
			Repo File	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo
			Tarballmd5 \| asc	http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos6-rpm.tar.gz
		HDP-UTILS	Base URL	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6
		HDP-UTILS	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz
RedHat 7 CentOS 7 Oracle Linux 7	HDP-2.4.0.0	HDP	Base URL	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3
			Repo File	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/hdp.repo
			Tarball md5 \| asc	http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3/HDP-2.6.0.3-centos7-rpm.tar.gz
		HDP-UTILS	Base URL	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7
		HDP-UTILS	Tarball md5 \| asc	http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

6. 配置本地下载站

在ambari.server上配置httpd服务：

# yum install -y httpd

把下载到的3个资源文件，上传到ambari.server，并解压到制定目录：

# mkdir /var/www/html/ambari-hdp

# mkdir /var/www/html/ambari-hdp/HDP-UTILS



# tar -xvf ambari-2.2.1.0-centos7.tar.gz -C /var/www/html/ambari-hdp/
# tar -xvf HDP-2.4.0.0-centos7-rpm.tar.gz -C /var/www/html/ambari-hdp/
# tar -xvf HDP-UTILS-1.1.0.20-centos7.tar.gz -C /var/www/html/ambari-hdp/HDP-UTILS

启动httpd服务：

# systemctl start httpd

通过浏览器访问本地资源地址，如果能看到以下页面，则表示配置成功：

7. 配置Yum本地Repos资源池

在ambari.server上执行：

# yum install -y yum-plugin-priorities

a) 修改Yum安装源的校验

# vi /etc/yum/pluginconf.d/priorities.conf

#设置为以下内容

[main]
enabled=1
gpgcheck=0

b) 制作本地资源文件

创建Ambari、HDP、HDP-UTIL资源文件：

- ambari.repo:

[ambari-2.2.1.0]
name=ambari-2.2.1.0
baseurl=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161
gpgcheck=0
gpgkey=http://192.168.141.159/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

- hdp.repo

[HDP-2.4.0.0]
name=Hortonworks Data Platform Version - HDP-2.4.0.0
baseurl=http://192.168.141.159/ambari-hdp/HDP/centos7/2.x/updates/2.4.0.0
gpgcheck=0
gpgkey=http://192.168.141.159/ambari-hdp/HDP/centos7/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

- hdp-util.repo

[HDP-UTILS-1.1.0.20]
name=Hortonworks Data Platform Version - HDP-UTILS-1.1.0.20
baseurl= http://192.168.141.159/ambari-hdp/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=0
enabled=1
priority=1

制作完成后，移动到/etc/yum.repos.d/；依次执行以下命令，更新本地资源池：

# yum clean list

# yum update list

# yum makecache

等待更新完毕后，查看资源池：

# yum repolist

如果看到以下资源，表示配置成功：

8. 安装Ambari-Server

执行安装命令：

# yum install -y ambari-server

安装过程无需互动

如果提示找不到KEY，则执行如下命令：

rpm --import /var/www/html/ambari-hdp/AMBARI-2.2.1.0/centos7/2.2.1.0-161/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

将Ambari数据库脚本导入到数据库。

Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL。如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本。

用root用户登录mysql

# mysql -uroot -p

mysql> use ambari;
mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

9. 配置Ambari-Server

执行配置命令：

# ambari-server setup

提示是否自定义设置？输入：y

Customize user account for ambari-server daemon [y/n] (n)? y

ambari-server 账号。输入：root。

Enter user account for ambari-server daemon (root): root

Adjusting ambari-server permissions and ownership...

检查防火墙，如果关闭则不用操作。

Checking firewall status...

Redirecting to /bin/systemctl status iptables.service

设置JDK。输入：3。

Checking JDK...Do you want to change Oracle JDK [y/n] (n)? y

[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK

==========================================

Enter choice (1): 3

如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：

/usr/local/jdk/jdk1.8.0_131

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos, please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/local/jdk/jdk1.8.0_131

Validating JDK on Ambari Server...done.
Completing setup...

数据库配置。选择：y。

Configuring database...Enter advanced database configuration [y/n] (n)? y

选择数据库类型。输入：3。

Configuring database...
========================================

Choose one of the following options:

[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere

==========================================

Enter choice (1): 3

设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。

Hostname (localhost): ambari.server
Port (3306):
Database name (ambari):
Username (ambari):
Enter Database Password (ambari-1234):

提示必须安装MySQL JDBC，已安装则直接通过。

WARNING: Before starting Ambari Server, you must copy the MySQL JDBC driver JAR file to /usr/share/java.

Press <enter> to continue.

启动ambari-server服务

# ambari-server start

启动后在浏览器输入Ambari地址：

http://192.168.141.159:8080/#/login

看到如下页面，则表示安装成功：

进入Ambari配置管理页面：

用户名：admin

密码： admin

登录成功进入以下页面：

10. 安装Hadoop集群

a) 在集群节点上安装JDK

在3台作为Hadoop集群的机器上安装JDK，要与ambari.server上安装的完全一致

b) 安装ambari-agent

将ambari.server上的3个.repo文件复制到hadoop集群的三台服务器上；并完成yum源更新的命令。

　　安装ambari-agent：在集群的3台电脑上执行添加，并添加成开机自启动服务：　　

# yum install -y ambari-agent
# chkconfig --add ambari-agent

c) 通过安装向导，配置Hadoop集群

参考文档：

http://www.cnblogs.com/boyzgw/p/6525313.html

http://www.cnblogs.com/zlslch/p/6629235.html

https://yq.aliyun.com/articles/60217

查看全文

相关阅读:
NET5 ORM 六大新功能
 牛逼程序员必须要掌握金字塔思维
 实体类转Json的2种方法
 怎么使用jquery阻止页面的离开或卸载
 GitHub的用法：到GitHub上部署项目
 搭建个人服务器
 远程服务器上部署本地项目
 java.nio.ByteBuffer中flip,rewind,clear方法的区别
 eclipse Run On Server 异常：could not load the Tomcat Server configuration at Servers omcat V5.0 Sertomcat
throw与throws的区别

原文地址：https://www.cnblogs.com/JasonMa1980/p/6912115.html