zoukankan      html  css  js  c++  java
  • 一个详细的例子解释yarn

    现在我们来讲一个比较形象的例子,现在,比如说我们的宿舍楼,现在用来当仓库了,可以存储东西的。宿舍里面依然是放了很多书,一捆一捆的,类比于我们的数据块,我们现在有个任务,需要统计宿舍里面的书里面出现的英文单词的个数,其实跟我们前面数人物、动物的例子相类似。首先,有个Client的角色,就是客户,客户就是上帝。比如说你,你向统计这些书里面英文单词的个数,首先,你先把方案书写好,是向怎么统计,统计成几份等等,方案就是你写的MapReduce作业,写好之后,去跟宿管阿姨联系,将这件事情作为一个立项。然后宿管阿姨综合考虑一下,比如说你要统计宿舍的书,首先宿舍里有书才行等等,觉得你的方案可行,就返回一个立项备号给你,确实可以这么干了。然后你将这个方案书放到这栋楼里面,即HDFS上,然后就可以正式开始实施方案了。宿管阿姨首先去一个宿舍里找到一个家伙,这个家伙就是ApplicationMaster,可以理解为班长,让班长先去认真读一下方案,比如说,方案里面是统计哪个角落的数据,有多少堆数据。班长做一下准备工作,统计衡量一下需要多少人力,然后向宿管阿姨申请,比如说需要5组员工/天工作量,那么宿管阿姨就给你分配人力,以两个人一组的形式安排,然后班长就通知其他宿舍的人干活了。每个宿舍统计的状态及结果,会不定期报告给班长,而客户呢,也就是上帝你也会不定期去询问一下统计的状态怎么样,直到全部统计完成。

    在YARN的架构上会设计到几个重要的名字,这里做一个简单说明:
    Client:客户,即上帝,可能是教务处主任等等
    ResourceManager:即宿管阿姨
    Job:实施方案书
    ApplicationMaster:小组长,可以理解为班长
    NodeManager:宿舍
    Container:一组工人,含两个东西,CPU与内存
    HDFS:存书的地方,此处是宿舍楼
    ————————————————
    版权声明:本文为CSDN博主「邵奈一」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/shaock2018/article/details/97107428

  • 相关阅读:
    [RK3288][Android6.0] U-boot 启动流程小结【转】
    学习笔记二十三——字符函数库cctype【转】
    【Git学习笔记】用git pull取回远程仓库某个分支的更新,再与本地的指定分支自动merge【转】
    Git 少用 Pull 多用 Fetch 和 Merge 【已翻译100%】【转】
    git 拉取和获取 pull 和 fetch 区别【转】
    setprecision、fixed、showpoint的用法总结(经典!!超经典!!)【转】
    Android休眠唤醒机制简介(二)
    获取元素个数的函数
    返回两个时间范围内的一个随机时间
    全角半角转换函数
  • 原文地址:https://www.cnblogs.com/zourui4271/p/12809210.html
Copyright © 2011-2022 走看看