-
Yarn产生的背景
-
Yarn的架构
-
Yarn的执行流程图
-
Yarn的环境搭建
1. Yarn产生背景:
Yarn脱胎于MRv1(MapRedce1.x),目的是为了解决MRv1的缺陷
- MRv1的缺陷:
- 可靠性差
- 扩展性差
- 资源利用率低
- 无法支持异构的计算框架
2. Yarn的架构
Yarn的全称(Yet Another Resource Negotiator)另一种资源协调者,它是一种统一资源管理和调度平台的实现,类似于本地PC的操作系统
3. Yarn的执行流程图:
ResourceManager介绍:
RM是集中所有资源的管理者,复杂集群中所有资源管理和调度。他会定期向各个NodeManager的资源汇报信息,并进行汇总,分配给各个二级调度器(ApplicationMaster),RM只进行一次资源分配,大大减轻RM负荷,使得其扩展性大大增强。
NodeManager介绍:
NM是Yarn集群中各个节点的代理,他管理Yarn及群众单个计算节点,负责保存与RM的同步,可以用来接收RM和AM的命令来启动和销毁容器。NM的组件按照功能主要分为:与RM进行交互,容器管理,容器操作,Web界面,删除服务,资源本地话,安全等。
ApplicationManager介绍:
ApplicationManager是Yarn架构中比较特殊的组件,生命周期随着应用的开始而开始,结束而结束,AppManager是协调及群众应用程序的进程,负责向RM申请资源,并且应用中不断件数这些Container的状态
4 Yarn的环境搭配:
- 在hadoop的安装目录/etc/hadoop/下修改配置文件:yarn-site.xml
- 在hadoop的安装目录/etc/hadoop/下修改配置文件:mapred-site.xml
- 启动RM进程以及NM进程:sbin/./start.all.sh
- 验证进程:jps
- 使用浏览器访问:主机的ip地址:8088
- 提交任务到Yarn上执行
- 在/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
- 使用hadoop jar 命令提交mapreduce任务(最后一个jar包)
最后出现4.0000000000表示成功。