zoukankan      html  css  js  c++  java
  • YARN

                       YARN   

     Hadoop三大核心 

          mapreduce负责分布式计算

          HDFS : 负责分布式文件管理,副本机制,机架策略(需要让Hadoop感知交换机)读流长,写流程,日志文件和镜像文件  主从模式单点故障模式 

          YARN : 负责分布式资源管理
            1.客户端携带的jar就去找ResourceManage计算请求
          2.ResourceManage需要一个container去启动app master
          3.master启动拿到jar程序进行评估,
          4.master向namenode请求文件的位置
          5.namenode根据最近原则和datanode忙于不忙的情况,将计划交给master
          6.master根据DataNode的所在位置,定制计划需要多少cpu等
          7.master将具体计划提交给rm
          8.rm同意 将资源包含成 交给container
            不同意 回到第四步直到同意
          9. 跑程序 跑完通知resourceMange
          10.将结果写在hdfs上,并且master死亡

        

  • 相关阅读:
    对拍程序的写法
    单调队列模板
    [bzoj1455]罗马游戏
    KMP模板
    [bzoj3071]N皇后
    [bzoj1854][SCOI2010]游戏
    Manacher算法详解
    [bzoj2084][POI2010]Antisymmetry
    Python_sklearn机器学习库学习笔记(一)_一元回归
    C++STL学习笔记_(1)string知识
  • 原文地址:https://www.cnblogs.com/meiLinYa/p/9110887.html
Copyright © 2011-2022 走看看