zoukankan      html  css  js  c++  java
  • Yarn架构

    Yarn架构(Master-Slave)

    进程角色:

    • resourceManager(Master):任务调度和集群资源管理。

    • nodeManager(Slave):单个节点的资源管理。

    • applicationMaster:为任务程序申请资源,任务程序运行状态监控、错误恢复。

    • container:对运行环境资源的抽象,是资源分配和使用的单元,包括cpu、内存、环境变量等资源。

    • client:发起任务的请求。

    任务提交流程 :

    用户将作业提交到client,client将任务提交给resourceManager,resourceManager选取一个nodeManager来启动一个applicationMaster,这个applicationMaster根据当前作业反过来向resourceManager申请计算资源,resourceManager将可用资源以一个个container的形式返给applicationMaster,applicationMaster根据各container的位置等属性,将计算任务发送到相应nodeManager,由nodeManager分配container并执行,每个container向applicationMaster同步任务执行状态,整个作业所涉及的每个container中的任务都全部执行完毕后,applicationMaster将结果写入目的地,同时applicationMaster将作业完毕的消息反馈给resourceManager,resourceManager将本次作业申请的container资源全部回收,供后续作业申请。

  • 相关阅读:
    How do I change a .txt file to a .c file?
    [CQOI2007]余数求和
    CSP-J总结&题解
    【CSP游记S】
    [LuoguP1462]通往奥格瑞玛的道路
    归并排序——逆序对
    [NOIP 2011]选择客栈
    [二分图初步]【模板】二分图匹配,匈牙利算法
    [NOIP 2018]旅行
    黑魔法师之门 (magician)-并查集
  • 原文地址:https://www.cnblogs.com/JaxYoun/p/12336008.html
Copyright © 2011-2022 走看看