zoukankan      html  css  js  c++  java
  • HADOOP之YARN简介

    yarn的诞生:hadoop1.x版本JobTracker的作用是资源管理和任务的调度,当存在多个计算框架时,比如说spark,如果两个计算框架都有着自己的资源管理模块,就会存在资源竞争,不便于管理。此时就需要一个公共的资源管理模块,这就产生了YARN.

    hadoop2.x上的mapreduce是基于YARN 的,YARN支持多个计算框架,就比如说刚才说的SPARk.

    YARN的工作原理图:

    Yarn上可以支持多个计算框架(MapReduce,spark)

    Yarn上的每一个Node Manager 都与每一个dataNode与之对应

    Yarn原理过程:

    一个客户端A向resource manager 提交请求,resource manager就会会产生一个application master(相当于mapreduce1.x中的jobTracker中的调度模块),resource manager会在hdfs中获取split的信息(被切成了多少块),然后向resource manager申请有多少个mapTask,然后resource manager 会产生多个Container分布在多个节点上(分布在哪个节点上由resource manager控制)

    一个客户端B向resource manager 提交请求,resource manager又会会产生一个application master(相当于mapreduce1.x中的jobTracker中的调度模块),resource manager会在hdfs中获取split的信息(被切成了多少块),然后向resource manager申请有多少个mapTask,然后resource manager 会产生多个Container(默认占用空间1个G)分布在多个节点上(分布在哪个节点上由resource manager控制)

     Resource manager 又会存在单点故障,此时又需要用到ha来实现高可用性。

    mapTask 和 reduceTask都是在节点上的container上运行的。

    将yarn配置好后,执行hadoop上的mapreduce例子,进行简单的测试。

    Hadoop  jar  hadoop-mapreduce-examples-2.6.5.jar wordcount /usr/root/text.txt /data/wc/output

    注意:/data/wc/output目录必须是空的,或者不存在的。否则的话,hadoop会报错。

    下面是yarn-site.xml的配置:

    <configuration>

     

    <!-- Site specific YARN configuration properties -->

    <!—配置此项,则nodemanager会自动拉取hdfs中的数据,否则无法mapTask无法获取到数据进行计算-->

        <property>

            <name>yarn.nodemanager.aux-services</name>

            <value>mapreduce_shuffle</value>

    </property>

    <!—resource manager 开启ha开关实现高可用-->

    <property>

      <name>yarn.resourcemanager.ha.enabled</name>

      <value>true</value>

    </property>

    <!—resource manager ha集群服务名-->

    <property>

      <name>yarn.resourcemanager.cluster-id</name>

      <value>yarnhacluster</value>

    </property>

    <!—resource manager ha虚拟到物理的映射-->

    <property>

      <name>yarn.resourcemanager.ha.rm-ids</name>

      <value>rm1,rm2</value>

    </property>

    <property>

      <name>yarn.resourcemanager.hostname.rm1</name>

      <value>node3</value>

    </property>

    <property>

      <name>yarn.resourcemanager.hostname.rm2</name>

      <value>node4</value>

    </property>

    <property>

      <name>yarn.resourcemanager.webapp.address.rm1</name>

      <value>node3:8088</value>

    </property>

    <property>

      <name>yarn.resourcemanager.webapp.address.rm2</name>

      <value>node4:8088</value>

    </property>

    <!—resource mangager故障转移切换与zookeeper相结合 -->

    <property>

      <name>yarn.resourcemanager.zk-address</name>

      <value>node2:2181,node3:2181,node4:2181</value>

    </property>

    </configuration>

    Mapred-site.xml文件中的配置:

    <configuration>

    <!—mapreduce 基于yarn来实现离线计算的,基础开关 -->

    <property>

            <name>mapreduce.framework.name</name>

            <value>yarn</value>

        </property>

    </configuration>
  • 相关阅读:
    非正式介绍Python(二)
    用js采集网页数据并插入数据库最快的方法
    一张图轻松记住PHP的*类*以及private和protected的区别
    从php到浏览器的缓存机制,不得不看!
    webpack 兼容低版本浏览器,转换ES6 ES7语法
    DEDE织梦 后台特别卡,有时响应超时的解决办法
    vue iview Select bug,在低版本浏览器中报错
    mysql_connect 等待时间长,修改连接地址为127.0.0.1即可
    看完这篇文章才对【GIT】有了大彻大悟的认识
    一次请求对多条数据进行排序的算法(二)
  • 原文地址:https://www.cnblogs.com/yehuili/p/9946010.html
Copyright © 2011-2022 走看看