# mapreduce运行平台YARN

mapreduce程序应该是在很多机器上并行启动,而且先执行map task,当众多的maptask都处理完自己的数据

后,还需要启动众多的reduce task,这个过程如果用用户自己手动调度不太现实,需要一个自动化的调度平

台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个自动化调度平台——YARN

# 安装yarn集群

yarn集群中有两个角色:

主节点:Resource Manager 1台

从节点:Node Manager N台

Resource Manager一般安装在一台专门的机器上

Node Manager应该与HDFS中的data node重叠在一起

修改配置文件:

yarn-site.xml

[root@hdp-01 ~]# cd apps/hadoop/etc/hadoop/
[root@hdp-01 hadoop]# vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

复制到每一台机器上

scp -r yarn-site.xml hdp-02:$PWD
scp -r yarn-site.xml hdp-03:$PWD
scp -r yarn-site.xml hdp-04:$PWD

在hdp-01上,修改hadoop的slaves文件,列入要启动nodemanager的机器

192.168.88.128 hdp-01

192.168.88.129 hdp-02

192.168.88.130 hdp-03

192.168.88.131 hdp-04

将hdp-01到所有机器的免密登陆配置好

用脚本启动yarn集群:

[root@hdp-01 hadoop-2.8.4]# sbin/start-yarn.sh

停止:

[root@hdp-01 hadoop-2.8.4]# sbin/stop-yarn.sh

启动完成后,可以在windows上用浏览器访问resourcemanager的web端口:

http://hdp-01:8088

resource mananger是否认出了所有的node manager

http://yuanma1234.oss-cn-hangzhou.aliyuncs.com/1598785303747.png?x-oss-process=image/auto-orient,1/quality,q_100/contrast,4/watermark,text_eXVhbm1hMTIzNC5jb20,type_ZmFuZ3poZW5naGVpdGk,color_000000,size_50,shadow_100,g_se,x_10,y_10

50份优秀Java求职者简历:

微信扫码关注

(回复  001  获取)