zoukankan      html  css  js  c++  java
  • Yarn ------->资源调度框架

    • Yarn产生的背景

    • Yarn的架构

    • Yarn的执行流程图

    • Yarn的环境搭建

    1.  Yarn产生背景:

    Yarn脱胎于MRv1(MapRedce1.x),目的是为了解决MRv1的缺陷

    • MRv1的缺陷:
    • 可靠性差
    • 扩展性差
    • 资源利用率低
    • 无法支持异构的计算框架

    2.  Yarn的架构

    Yarn的全称(Yet Another Resource Negotiator)另一种资源协调者,它是一种统一资源管理和调度平台的实现,类似于本地PC的操作系统

    3.  Yarn的执行流程图:

       ResourceManager介绍:

    RM是集中所有资源的管理者,复杂集群中所有资源管理和调度。他会定期向各个NodeManager的资源汇报信息,并进行汇总,分配给各个二级调度器(ApplicationMaster),RM只进行一次资源分配大大减轻RM负荷,使得其扩展性大大增强

      NodeManager介绍:

    NM是Yarn集群中各个节点的代理,他管理Yarn及群众单个计算节点,负责保存与RM的同步,可以用来接收RM和AM的命令来启动和销毁容器。NM的组件按照功能主要分为:与RM进行交互,容器管理,容器操作,Web界面,删除服务,资源本地话,安全等。

      ApplicationManager介绍:

    ApplicationManager是Yarn架构中比较特殊的组件,生命周期随着应用的开始而开始,结束而结束,AppManager是协调及群众应用程序的进程,负责向RM申请资源,并且应用中不断件数这些Container的状态

    4  Yarn的环境搭配:

    • 在hadoop的安装目录/etc/hadoop/下修改配置文件:yarn-site.xml

    •  在hadoop的安装目录/etc/hadoop/下修改配置文件:mapred-site.xml

    •  启动RM进程以及NM进程:sbin/./start.all.sh
    • 验证进程:jps

    •  使用浏览器访问:主机的ip地址:8088
    • 提交任务到Yarn上执行
    1. 在/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
    2. 使用hadoop jar 命令提交mapreduce任务(最后一个jar包)

       最后出现4.0000000000表示成功。

  • 相关阅读:
    linux基础学习-14.3-第四关考试题
    linux基础学习-14.2-命令补充(4)
    linux基础学习-14.1-定时任务练习题
    引入jason依赖
    模糊查询sql语句
    多行删除操作
    分页助手依赖引入
    在web.xml文件中读取spring-security.xml配置文件
    spring-security框架引入依赖
    安全框架配置文件(spring-security.xml)
  • 原文地址:https://www.cnblogs.com/wyk1/p/13965178.html
Copyright © 2011-2022 走看看