zoukankan      html  css  js  c++  java
  • 一个详细的例子解释yarn

    现在我们来讲一个比较形象的例子,现在,比如说我们的宿舍楼,现在用来当仓库了,可以存储东西的。宿舍里面依然是放了很多书,一捆一捆的,类比于我们的数据块,我们现在有个任务,需要统计宿舍里面的书里面出现的英文单词的个数,其实跟我们前面数人物、动物的例子相类似。首先,有个Client的角色,就是客户,客户就是上帝。比如说你,你向统计这些书里面英文单词的个数,首先,你先把方案书写好,是向怎么统计,统计成几份等等,方案就是你写的MapReduce作业,写好之后,去跟宿管阿姨联系,将这件事情作为一个立项。然后宿管阿姨综合考虑一下,比如说你要统计宿舍的书,首先宿舍里有书才行等等,觉得你的方案可行,就返回一个立项备号给你,确实可以这么干了。然后你将这个方案书放到这栋楼里面,即HDFS上,然后就可以正式开始实施方案了。宿管阿姨首先去一个宿舍里找到一个家伙,这个家伙就是ApplicationMaster,可以理解为班长,让班长先去认真读一下方案,比如说,方案里面是统计哪个角落的数据,有多少堆数据。班长做一下准备工作,统计衡量一下需要多少人力,然后向宿管阿姨申请,比如说需要5组员工/天工作量,那么宿管阿姨就给你分配人力,以两个人一组的形式安排,然后班长就通知其他宿舍的人干活了。每个宿舍统计的状态及结果,会不定期报告给班长,而客户呢,也就是上帝你也会不定期去询问一下统计的状态怎么样,直到全部统计完成。

    在YARN的架构上会设计到几个重要的名字,这里做一个简单说明:
    Client:客户,即上帝,可能是教务处主任等等
    ResourceManager:即宿管阿姨
    Job:实施方案书
    ApplicationMaster:小组长,可以理解为班长
    NodeManager:宿舍
    Container:一组工人,含两个东西,CPU与内存
    HDFS:存书的地方,此处是宿舍楼
    ————————————————
    版权声明:本文为CSDN博主「邵奈一」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/shaock2018/article/details/97107428

  • 相关阅读:
    (AIDE)Android Eclipse JNI 调用 .so文件加载问题
    VMware10.06精简版安装后台运行
    RAID磁盘阵列笔记
    高科固定电话机铃声
    嵌入式Linux驱动学习之路(十八)LCD驱动
    嵌入式Linux驱动学习之路(十七)驱动程序分层分离概念-平台设备驱动
    嵌入式Linux驱动学习之路(十六)输入子系统
    嵌入式Linux驱动学习之路(十五)按键驱动-定时器防抖
    嵌入式Linux驱动学习之路(十四)按键驱动-同步、互斥、阻塞
    嵌入式Linux驱动学习之路(十三)按键驱动-异步通知
  • 原文地址:https://www.cnblogs.com/zourui4271/p/12809210.html
Copyright © 2011-2022 走看看