http://mp.weixin.qq.com/s?__biz=MzI5MDYxNjIzOQ==&mid=2247483999&idx=1&sn=016e4c4d0ba7bd96e9f2d2d5f8cbe0de&chksm=ec1c649fdb6bed89e74984c28859557f577cdfedcdcee3f67ad50a5097daaff0e67718c50121&mpshare=1&scene=23&srcid=06136e9eXqqwI9Vfl2bIWLiv#rd
在搭建Hadoop分布式集群之前，我们需要先准备好3台主机，分别安装好Linux系统，并完成Linux系统的网络配置和系统配置。
相关资料：史上最全的Linux资料包，视频、电子书、PPT应有尽有。领取办法：关注“大数据研习社”后，微信后台回复“Linux”，即可获得私密下载链接。
1.集群安装规划
1.1主机规划
这里我们选择3台主机搭建Hadoop3.0高可用的分布式集群，虽然节点有点少，但是足以完成分布式集群搭建，并进行合理的主机规划。
|
master |
slave1 |
slave2 |
|
|
Namenode |
是 |
是 |
是 |
|
DataNode |
是 |
是 |
是 |
|
ResourceManager |
是 |
是 |
否 |
|
NodeManager |
是 |
是 |
是 |
|
Journalnode |
是 |
是 |
是 |
|
Zookeeper |
是 |
是 |
是 |
大家需要注意的是：从Hadoop3.0开始支持更多的Namenode，因为我们只有3台机器，所以这3台机器都配置为Namenode，实际工作中Namenode也不宜过多，否则对集群造成压力。其他角色保持跟Hadoop2.x一致即可，如果Hadoop2.x集群不熟悉可以参考大讲台课程：http://www.dajiangtai.com/course/4.do
1.2软件规划
|
软件 |
版本 |
位数 |
说明 |
|
Jdk |
Jdk1.8 |
64位 |
稳定版本 |
|
Centos |
Centos6.5 |
64位 |
稳定版本 |
|
Zookeeper |
Zookeeper3.4.6 |
稳定版本 |
|
|
Hadoop |
Hadoop 3.0.0-alpha3 |
最新版本 |
需要注意的是：Hadoop3.0最低支持Java8，如果大家还在使用Java7或者更低版本，请升级到Java8。
1.3用户规划
出于权限考虑，Hadoop集群环境安装不要使用root用户，需要大家自己创建相关的用户和用户组，注意创建用户的时候需要设置密码。
|
节点名称 |
用户组 |
用户 |
|
Master |
Hadoop |
Hadoop3 |
|
Slave1 |
Hadoop |
Hadoop3 |
|
Slave2 |
Hadoop |
Hadoop3 |
1.4数据目录规划
在搭建Hadoop集群之前，需要规划好所有的软件目录和数据存放目录，便于后期的管理与维护。
|
目录名称 |
绝对路径 |
|
所有软件存放目录 |
/home/hadoop3/app |
|
所有数据与日志存放目录 |
/home/hadoop3/data |
2. 集群安装前的环境检查
2.1时钟同步
所有节点的系统时间要与当前时间保持一致，否则集群运行会出现异常。时钟同步在3台机器上都需要操作，这里以master节点为例。
首先查看master节点的当前系统时间
如果系统时间与当前网络时间不一致,进行以下操作。
[root@master ~]# cd /usr/share/zoneinfo/
[root@master zoneinfo]# ls //找到Asia
[root@master zoneinfo]# cd Asia/ //进入Asia目录
[root@master Asia]# ls //找到Shanghai
[root@master Asia]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime //当前时区替换为上海
我们可以保持当前系统时间与NTP（网络时间协议）一致。
[root@master Asia]# yum install ntp //如果ntp命令不存在，在线安装ntp
[root@master Asia]# ntpdate pool.ntp.org //执行此命令同步日期时间
[root@master Asia]# date //查看当前系统时间
2.2 hosts文件检查
为了便于集群的操作，所有节点的hosts文件需要配置静态ip与hostname之间的对应关系。
2.3禁用防火墙
学习环境下，大家可以将防火墙关闭掉。
在root用户下，查看防火墙状态
[root@master ~]# service iptables status
执行以下命令可以临时关闭防火墙
[root@master ~]# service iptables stop
执行以下命令才可以永久关闭防火墙
[root@master ~]# chkconfig iptables off
如果防火墙状态如下，则说明防火墙已经关闭。
3. 配置SSH免密码通信
Hadoop 集群中各个节点间会通过 SSH 访问，每次访问都输入密码是不切实际的，所以需要配置各个节点间的 SSH 是无密码登录的。
首先在各个节点上生成公钥，这里以master节点、Hadoop3用户为例
[root@master ~]# su hadoop3 //切换到hadoop3用户下
[hadoop3@master root]$ cd //切换到hadoop3用户目录
[hadoop3@master ~]$ mkdir .ssh
[hadoop3@master ~]$ ssh-keygen -t rsa //执行命令一路回车，生成秘钥
[hadoop3@master ~]$cd .ssh
[hadoop3@master .ssh]$ ls
id_rsa id_rsa.pub
[hadoop3@master .ssh]$ cat id_rsa.pub >> authorized_keys //将公钥保存到authorized_keys认证文件中
[hadoop3@master .ssh]$ ls
authorized_keys id_rsa id_rsa.pub
[hadoop3@master .ssh]$ cd ..
[hadoop3@master ~]$ chmod 700 .ssh
[hadoop3@master ~]$ chmod 600 .ssh/*
[hadoop3@master ~]$ ssh master //第一次执行需要输入yes
[hadoop3@master ~]$ ssh master //第二次以后就可以直接访问
将另外2个节点中的共钥id_ras.pub拷贝到master节点中的authorized_keys文件中。
cat ~/.ssh/id_rsa.pub | ssh hadoop3@master 'cat >> ~/.ssh/authorized_keys'
然后将master中的authorized_keys文件分发到其他2个节点上。
scp -r authorized_keys hadoop3@slave1:~/.ssh/
scp -r authorized_keys hadoop3@slave2:~/.ssh/
各个节点如果能通过ssh相互访问，且不需要输入密码，则代表ssh配置成功。
4. 脚本工具的使用
在master节点，hadoop3用户下创建/home/hadoop3/tools目录。
[hadoop3@master ~]$ mkdir /home/hadoop3/tools
cd /home/hadoop3/tools
将本地脚本文件上传至/home/hadoop3/tools目录下，这些脚本大家可以自己写， 如果不熟练也可以直接使用。
[hadoop3@master tools]$ rz deploy.conf
[hadoop3@master tools]$ rz deploy.sh
[hadoop3@master tools]$ rz runRemoteCmd.sh
[hadoop3@master tools]$ ls
deploy.conf deploy.sh runRemoteCmd.sh
查看一下deploy.conf配置文件内容。
[hadoop3@master tools]$ cat deploy.conf
master,all,namenode,zookeeper,resourcemanager,
slave1,all,slave,namenode,zookeeper,resourcemanager,
slave2,all,slave,datanode,zookeeper,
查看一下deploy.sh远程复制文件脚本内容。
[hadoop3@master tools]$ cat deploy.sh
#!/bin/bash
#set -x
if [ $# -lt 3 ]
then
echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag"
echo "Usage: ./deply.sh srcFile(or Dir) descFile(or Dir) MachineTag confFile"
exit
fi
src=$1
dest=$2
tag=$3
if [ 'a'$4'a' == 'aa' ]
then
confFile=/home/hadoop3/tools/deploy.conf
else
confFile=$4
fi
if [ -f $confFile ]
then
if [ -f $src ]
then
for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'`
do
scp $src $server":"${dest}
done
elif [ -d $src ]
then
for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'`
do
scp -r $src $server":"${dest}
done
else
echo "Error: No source file exist"
fi
else
echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"
fi
查看一下runRemoteCmd.sh远程执行命令脚本内容。
[hadoop3@master tools]$ cat runRemoteCmd.sh
#!/bin/bash
#set -x
if [ $# -lt 2 ]
then
echo "Usage: ./runRemoteCmd.sh Command MachineTag"
echo "Usage: ./runRemoteCmd.sh Command MachineTag confFile"
exit
fi
cmd=$1
tag=$2
if [ 'a'$3'a' == 'aa' ]
then
confFile=/home/hadoop3/tools/deploy.conf
else
confFile=$3
fi
if [ -f $confFile ]
then
for server in `cat $confFile|grep -v '^#'|grep ','$tag','|awk -F',' '{print $1}'`
do
echo "*******************$server***************************"
ssh $server "source /etc/profile; $cmd"
done
else
echo "Error: Please assign config file or run deploy.sh command with deploy.conf in same directory"
fi
以上三个文件，方便我们搭建hadoop3分布式集群。具体如何使用看后面如何操作。
如果我们想直接使用脚本，还需要给脚本添加执行权限。
[hadoop3@master tools]$ chmod u+x deploy.sh
[hadoop3@master tools]$ chmod u+x runRemoteCmd.sh
同时我们需要将/home/hadoop3/tools目录配置到PATH路径中。
[hadoop3@master tools]$vi ~/.bashrc
PATH=/home/hadoop3/tools:$PATH
export PATH
我们在master节点上，通过runRemoteCmd.sh脚本，一键创建所有节点的软件安装目录/home/hadoop3/app。
[hadoop3@master tools]$ runRemoteCmd.sh "mkdir /home/hadoop3/app" all
我们可以在所有节点查看到/home/hadoop3/app目录已经创建成功。
5. jdk安装
下载jdk1.8至本地，然后将jdk1.8上传至/home/hadoop3/app目录下。
[hadoop3@master app]$ ls
jdk-8u51-linux-x64.tar.gz
解压
[hadoop3@master app]$ tar –zxvf jdk-8u51-linux-x64.tar.gz
删除安装包
[hadoop3@master app]$ rm –rf jdk-8u51-linux-x64.tar.gz
[hadoop3@master app]$ ls
jdk1.8.0_51
创建jdk软链接
[hadoop3@master app]$ ln –s jdk1.8.0_51 jdk
在hadoop3用户下，配置jdk环境变量
[hadoop3@master app]$ vi ~/.bashrc
JAVA_HOME=/home/hadoop3/app/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:/home/hadoop3/tools:$PATH
export JAVA_HOME CLASSPATH PATH
生效配置文件
[hadoop3@master app]$ source ~/.bashrc
确认jdk配置成功
[hadoop3@master app]$ java -version
java version "1.8.0_51"
Java(TM) SE Runtime Environment (build 1.8.0_51-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.51-b03, mixed mode)
通过deploy.sh脚本将jdk安装目录分发到另外两个节点
[hadoop3@master app]$ deploy.sh jdk1.8.0_51 /home/hadoop3/app/ slave
在另外两个节点做相关操作，完成jdk配置
6. Zookeeper安装
下载zookeeper-3.4.6.tar.gz安装包，然后上传至/home/hadoop3/app目录
6.1解压
[hadoop3@master app]$ ls
zookeeper-3.4.6.tar.gz
[hadoop3@master app]$ tar –zxvf zookeeper-3.4.6.tar.gz
[hadoop3@master app]$ ls
zookeeper-3.4.6
[hadoop3@master app]$ rm –rf zookeeper-3.4.6.tar.gz
6.2修改配置文件
[hadoop3@master app]$ cd zookeeper-3.4.6/conf/
[hadoop3@master conf]$ ls
configuration.xsl log4j.properties zoo_sample.cfg
[hadoop3@master conf]$ cp zoo_sample.cfg zoo.cfg
[hadoop3@master conf]$vi zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/home/hadoop3/data/zookeeper/zkdata
dataLogDir=/home/hadoop3/data/zookeeper/zkdatalog
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
备注：
1 2 3代表服务编号；2888代表Zookeeper节点通信端口；3888代表zook选举端口
6.3远程拷贝
通过远程脚本deploy.sh将Zookeeper安装目录拷贝到其他节点。
[hadoop3@master app]$ deploy.sh zookeeper-3.4.6 /home/hadoop3/app/ slave
所有节点创建数据目录和日志目录
[hadoop3@master app]$ runRemoteCmd.sh "mkdir -p /home/hadoop3/data/zookeeper/zkdata" all
[hadoop3@master app]$ runRemoteCmd.sh "mkdir -p /home/hadoop3/data/zookeeper/zkdatalog" all
6.4创建myid文件
在各个节点上，在 dataDir 所指定的目录下创一个名为 myid 的文件， 文件内容为各个server 点后面的数字。
[hadoop3@master zkdata]$ vi myid
[hadoop3@slave1 zkdata]$ vi myid
[hadoop3@slave2 zkdata]$ vi myid
6.5测试运行
使用runRemoteCmd.sh 脚本，启动所有节点上面的Zookeeper。
[hadoop3@master zookeeper-3.4.6]$runRemoteCmd.sh "/home/hadoop3/app/zookeeper-3.4.6/bin/zkServer.sh start" zookeeper
查看所有节点上面的QuorumPeerMain进程是否启动。
[hadoop3@master zookeeper-3.4.6]$ runRemoteCmd.sh "jps" all
查看所有Zookeeper节点状态。
[hadoop3@master zookeeper-3.4.6]$ runRemoteCmd.sh "/home/hadoop3/app/zookeeper-3.4.6/bin/zkServer.sh status" all
如果一个节点为leader，另两个节点为follower，则说明Zookeeper安装成功。
7.Hadoop3.0分布式集群搭建
7.1配置HDFS
7.1.1下载解压Hadoop3.0
到Hadoop官网下载hadoop-3.0.0-alpha2.tar.gz，并上传至/home/hadoop3/app目录
[hadoop3@master app]$ ls
hadoop-3.0.0-alpha2.tar.gz
[hadoop3@master app]$tar –zxvf hadoop-3.0.0-alpha2.tar.gz
[hadoop3@master app]$ ls
hadoop-3.0.0-alpha2.tar.gz hadoop-3.0.0-alpha3
[hadoop3@master app]$ rm –rf hadoop-3.0.0-alpha2.tar.gz
[hadoop3@master app]$ mv hadoop-3.0.0-alpha3 hadoop-3.0.0
7.1.2配置hadoop-env.sh
[hadoop3@master app]$ cd hadoop-3.0.0/etc/hadoop/
[hadoop3@master hadoop]$ vi hadoop-env.sh
export JAVA_HOME=/home/hadoop3/app/jdk
export HADOOP_HOME=/home/hadoop3/app/hadoop
7.1.3配置core-site.xml
[hadoop3@master hadoop]$ vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop3/data/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
</configuration>
7.1.4配置hdfs-site.xml
[hadoop3@master hadoop]$ vi hdfs-site.xml
<configuration>
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2,nn3</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>master:9820</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>slave1:9820</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.nn3</name>
<value>slave2:9820</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>master:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>slave1:9870</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.nn3</name>
<value>slave2:9870</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop3/data/journaldata/jn</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop3/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>10000</value>
</property>
<property>
<name>dfs.namenode.handler.count</name>
<value>100</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>
7.1.5配置workers
[hadoop3@master hadoop]$ vi workers
master
slave1
slave2
注意：hadoop2.x配置的是slaves文件，这里有所改变。
7.1.6将hadoop3.0安装包分发到其他节点
[hadoop3@master app]$ deploy.sh hadoop-3.0.0 /home/hadoop3/app/ slave
7.1.7创建hadoop3.0软连接
在所有节点上创建hadoop3.0软连接，这里以master节点为例。
[hadoop3@master app]$ ln -s hadoop-3.0.0 hadoop
[hadoop3@master app]$ ls
hadoop hadoop-3.0.0
7.1.8配置hadoop3.0环境变量
在所有节点上配置hadoop3.0环境变量，这里以master节点为例
[hadoop3@master app]$ vi ~/.bashrc
JAVA_HOME=/home/hadoop3/app/jdk
HADOOP_HOME=/home/hadoop3/app/hadoop
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:HADOOP_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH HADOOP_HOME
7.1.9格式化hdfs
第一次安装hdfs的时候，需要对hdfs进行相关的格式化操作，以后就不需要了。
7.1.9.1先启动Zookeeper
[hadoop3@master app]$runRemoteCmd.sh "/home/hadoop3/app/zookeeper-3.4.6/bin/zkServer.sh start" all
7.1.9.2接着启动journalnode
[hadoop3@master app]$ runRemoteCmd.sh "/home/hadoop3/app/hadoop/sbin/hadoop-daemon.sh start journalnode" all
7.1.9.3在master节点上执行格式化
[hadoop3@master hadoop]$ bin/hdfs namenode -format / /namenode 格式化
[hadoop3@master hadoop]$ bin/hdfs zkfc -formatZK //格式化高可用
[hadoop3@master hadoop]$bin/hdfs namenode //启动namenode
7.1.9.4备用节点slave1 slave2通过master节点元数据信息，分别在slave1、slave2节点上执行。
[hadoop3@slave1 hadoop]$ bin/hdfs namenode -bootstrapStandby
[hadoop3@slave2 hadoop]$ bin/hdfs namenode -bootstrapStandby
7.1.9.5slave1 slave2节点同步完master上的元数据之后，在master节点上按下ctrl+c来结束namenode进程。
7.1.9.6 关闭所有节点journalnode
[hadoop3@master app]$ runRemoteCmd.sh "/home/hadoop3/app/hadoop/sbin/hadoop-daemon.sh stop journalnode" all
7.1.10 启动HDFS
一键启动hdfs
[hadoop3@master hadoop]$ sbin/start-dfs.sh
7.1.11 测试运行HDFS
7.1.11.1查看HDFS Web界面，这里配置的master slave1 slave2节点都为namenode。
关闭active状态的namenode，检查是否会自动切换其他节点
7.1.11.2测试hdfs文件上传
[hadoop3@master hadoop]$ vi djt.txt
hadoop
hadoop
hadoop
dajiangtai
dajiangtai
dajiangtai
[hadoop3@master hadoop]$ bin/hdfs dfs -mkdir /dajiangtai
[hadoop3@master hadoop]$ bin/hdfs dfs -put djt.txt /dajiangtai
[hadoop3@master hadoop]$ bin/hdfs dfs -cat /dajiangtai/djt.txt
7.2配置YARN
7.2.1配置mapred-site.xml
[hadoop3@master hadoop]$ vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>
/home/hadoop3/app/hadoop/etc/hadoop,
/home/hadoop3/app/hadoop/share/hadoop/common/*,
/home/hadoop3/app/hadoop/share/hadoop/common/lib/*,
/home/hadoop3/app/hadoop/share/hadoop/hdfs/*,
/home/hadoop3/app/hadoop/share/hadoop/hdfs/lib/*,
/home/hadoop3/app/hadoop/share/hadoop/mapreduce/*,
/home/hadoop3/app/hadoop/share/hadoop/mapreduce/lib/*,
/home/hadoop3/app/hadoop/share/hadoop/yarn/*,
/home/hadoop3/app/hadoop/share/hadoop/yarn/lib/*
</value>
</property>
</configuration>
7.2.2配置yarn-site.xml
[hadoop3@master hadoop]$ vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.connect.retry-interval.ms</name>
<value>2000</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-rm-cluster</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>slave1</value>
</property>
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<description>The class to use as the persistent store.</description>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<name>yarn.resourcemanager.zk.state-store.address</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>master:8034</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.address.rm2</name>
<value>slave1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>slave1:8034</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>slave1:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
7.2.3脚本分发修改的yarn配置
[hadoop3@master hadoop]$ deploy.sh mapred-site.xml /home/hadoop3/app/hadoop-3.0.0/etc/hadoop/ slave
[hadoop3@master hadoop]$ deploy.sh yarn-site.xml
/home/hadoop3/app/hadoop-3.0.0/etc/hadoop/ slave
7.2.4启动yarn
在master节点启动resourcemanager
[hadoop3@master hadoop]$ bin/yarn --daemon start resourcemanager
在slave1节点启动resourcemanager
[hadoop3@slave1 hadoop]$ bin/yarn --daemon start resourcemanager
在3个节点分别启动nodemanager
[hadoop3@master hadoop]$ bin/yarn --daemon start nodemanager [hadoop3@slave1 hadoop]$ bin/yarn --daemon start nodemanager [hadoop3@slave2 hadoop]$ bin/yarn --daemon start nodemanager
7.2.5 通过Web查看YARN
7.2.6检查ResourceManager状态
关闭active 状态的resourcemanager，检查另外一个节点是否能称为active状态。
7.2.7测试运行WordCount
[hadoop3@master hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha2.jar wordcount /dajiangtai/djt.txt /dajiangtai/output
查看yarn的Web界面
查看运行结果
[hadoop3@master hadoop]$ bin/hdfs dfs -cat /dajiangtai/output/*
如果以上操作没有问题，说明Hadoop3.0分布式高可用集群成功搭建完毕。