zoukankan      html  css  js  c++  java
  • Yarn的执行流程

    resourceManager 简称 rm ApplicationManager 简称 am
    namenode简称nn

    -客户端向yarn提交job任务,rm分配资源 -rm开启一个任务容器,运行一个am


    -am启动一台nn,启动Application master,计算任务所需资源

    -Application master向am申请资源

    -Application master拿到资源之后分发至各个nn

    -各个nn拿到资源之后开始执行maptask

    -maptask结束之后,reduceTask开始运行,拉取数据

    -所有任务结束后,master反馈给am,注销job。

     详细过程:

      1. 客户端定义的Driver向resourceManager提交一个Job

      2. resourceManager同意之后,返回给客户端jobId、切片以及jar文件的位置

      3. 客户端将返回来的信息上传到HDFS

      4. Driver申请一个运行进程的任务容器, resourceManager同意之后, 生成容器任务, 放进资源队列

      5. Driver发送启动命令运行程序, MapReduceAppManager接收命令,加载配置信息, 并向ResourceManger申请容器运行 maptask

      6. maptask拿到资源之后, 根据MapReduceAppManager加载的任务信息下载jar包和切片信息以及配置文件

      7. maptask运行, 当maptask运行结束之后, 向ResourceManager申请新的容器运行ReduceTask

      8. ReduceTask开始执行,拉取数据

      9. 所有任务执行完毕 , MapReduceAppManager 向 ResouceManager 申请注销本次的Job , 程序退出.

  • 相关阅读:
    select下拉的value和option内值得获取
    express模块下GET和POST获取前台数据
    Node.js---fs模块
    Node.js---MySQL的增删改查
    Node.js--mysql的应用
    Node.js-router(将大服务拆分成一个个小服务)
    22
    窗口切换
    IO
    第一次实训作业
  • 原文地址:https://www.cnblogs.com/joey-413/p/13966066.html
Copyright © 2011-2022 走看看