zoukankan      html  css  js  c++  java
  • hadoop之 yarn (简单了解)

    Yarn通过两个 守护线程提供核心服务:ResourceManager,管理集群所有资源的切分以及作业的调度与监控;NodeManager,运行在集群所有节点上,启动并监控容器的运行状况,并负责向ResourceManager汇报。

    在linux上,hadoop是通过cgroup技术实现container资源隔离的。

    下面有两张图,都是一个作业在yarn中运行流程,不过 我觉得第二张图更加清晰易懂,第一张图来自于hadoop权威指南。

    根据这两张图来说明下一个作业在yarn中运行流转过程。

    在yarn上运行一个application:

    1. client首先会连接RM,请求运行一个AM(ApplicationMaster负责单个应用程序的管理,监控task的执行) .

    2. RM会寻找一个可以运行 AM的 容器的节点,并启动AM。

    3. AM通过heartbeat向RM 申请资源。严格的讲,一个application只会运行一次AM。它可以在container简单的运行一个计算,也可以向RM申请更多的资源,运行分布式的计算。

    4. 当AM申请到更多的资源时,便会与对应的NM通信,要求其启动任务。

    5. 各个任务通过RPC协议向AM汇报自己的状态和进度。当程序运行完毕后,AM向RM注销并关闭自己。

    用放荡不羁的心态过随遇而安的生活
  • 相关阅读:
    团队项目-需求分析报告
    团队项目-选题报告
    第一次结对编程作业
    第一次个人编程作业
    软件工程作业(一)
    期末总结
    第04组 Beta冲刺(2/5)
    第04组 Beta冲刺(3/5)
    第04组 Beta冲刺(4/5)
    第04组 Beta冲刺(5/5)
  • 原文地址:https://www.cnblogs.com/re-myself/p/5532550.html
Copyright © 2011-2022 走看看