zoukankan      html  css  js  c++  java
  • Yarn详细的工作流程

    yarn工作流程图

    yarn详细工作流程

    第一步:客户端向ResourceManager 申请运行程序
    第二步:ResourceManager 检查是否有运行权限,如果有就会返回jobid和程序提交的资源路径
    第三步:根据ResourceManager返回的信息,然后执行
    第四步:客户端提交程序的资源到tmp/hadoop-yarn-staging/job_id目录下(jar程序本身,job.split逻辑切规划文件,job.xml mr配置文件)
    第五步:申请程序运行的资源
    第六步:RM根据请求结合mn 找出一台机器运行AppM
    第七步:RM 返回MN位置给客户端
    第八步:客服端到指定的NM上,通过NM启动container,运行MrAppMaster
    第九步:MrAppMaster启动成功,向rm进行汇报并且注册自己
    第十步:MrAppMaster读取tmp/hadoop-yarn-staging/job_id目录下job.split 数据(申请资源的多少)
    第十一步: 申请与切片数量相应的container
    第十二步:RM根据请求返回X台可以用的容器所在的位置
    第十三步:APPM执行NM上启动容器运行maptask,监督程序执行
    第十四步:maptask执行结束,APPM向RM汇报,回收资源
    第十五步:reduce执行结束,APPM向RM汇报,回收资源
    第十六步:所有的task结束后,APPM申请运用结束,注销自己
    
  • 相关阅读:
    SQL复制多表数据
    ie与firefox 关于js 的差别(转载)
    水晶报表函数大全【收藏】
    ArcGIS Engine对象库
    SQL Server死锁总结(转载)
    C#制作鹰眼全过程(带注释)
    大块鸭
    【经典】jQuery使用大全
    TreeView控件失效引发的思考
    根据数据集动态生成TREE
  • 原文地址:https://www.cnblogs.com/ason-wxs/p/14210303.html
Copyright © 2011-2022 走看看