zoukankan      html  css  js  c++  java
  • Yarn ------->资源调度框架

    • Yarn产生的背景

    • Yarn的架构

    • Yarn的执行流程图

    • Yarn的环境搭建

    1.  Yarn产生背景:

    Yarn脱胎于MRv1(MapRedce1.x),目的是为了解决MRv1的缺陷

    • MRv1的缺陷:
    • 可靠性差
    • 扩展性差
    • 资源利用率低
    • 无法支持异构的计算框架

    2.  Yarn的架构

    Yarn的全称(Yet Another Resource Negotiator)另一种资源协调者,它是一种统一资源管理和调度平台的实现,类似于本地PC的操作系统

    3.  Yarn的执行流程图:

       ResourceManager介绍:

    RM是集中所有资源的管理者,复杂集群中所有资源管理和调度。他会定期向各个NodeManager的资源汇报信息,并进行汇总,分配给各个二级调度器(ApplicationMaster),RM只进行一次资源分配大大减轻RM负荷,使得其扩展性大大增强

      NodeManager介绍:

    NM是Yarn集群中各个节点的代理,他管理Yarn及群众单个计算节点,负责保存与RM的同步,可以用来接收RM和AM的命令来启动和销毁容器。NM的组件按照功能主要分为:与RM进行交互,容器管理,容器操作,Web界面,删除服务,资源本地话,安全等。

      ApplicationManager介绍:

    ApplicationManager是Yarn架构中比较特殊的组件,生命周期随着应用的开始而开始,结束而结束,AppManager是协调及群众应用程序的进程,负责向RM申请资源,并且应用中不断件数这些Container的状态

    4  Yarn的环境搭配:

    • 在hadoop的安装目录/etc/hadoop/下修改配置文件:yarn-site.xml

    •  在hadoop的安装目录/etc/hadoop/下修改配置文件:mapred-site.xml

    •  启动RM进程以及NM进程:sbin/./start.all.sh
    • 验证进程:jps

    •  使用浏览器访问:主机的ip地址:8088
    • 提交任务到Yarn上执行
    1. 在/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
    2. 使用hadoop jar 命令提交mapreduce任务(最后一个jar包)

       最后出现4.0000000000表示成功。

  • 相关阅读:
    zendstuido10 配置spket插件
    Extjs各版本的下载链接
    主题:Android、iPhone和Java三个平台一致的加密工具
    TestDisk 恢复rm -rf 的文件
    java实现定时任务的三种方法
    mac 下安装 lua5.3 + cjson
    Mac OS X 上Lua的安装方法
    Channel States
    JSON常见操作
    微信小程序——获取元素的宽高等属性
  • 原文地址:https://www.cnblogs.com/wyk1/p/13965178.html
Copyright © 2011-2022 走看看