zoukankan      html  css  js  c++  java
  • 关于大数据中-----任务调度、资源调度

    1、 任务调度

         a、RDD Objects---->转换为DAG有向无环图

         b、DAGScheduler---根据RDD之间的宽窄依赖切分Job,切分为Stage

         c、Stage本质上就是---TaskSet,Stage就会以TaskSet形式传给TaskScheduler

         d、TaskScheduler遍历TaskSet,分配给executor执行

            |如果说executor中task执行失败,跟TaskScheduler申请重试3次,3次仍然失败

    DAGScheduler重试重新发送TaskSet,默认会重试4次。如果仍然失败,宣告Stage执行失败

    ,也就是包含Stage的job宣告执行失败。

         e、推测执行---表示一个spark job中,可能会存在某一些task执行缓慢,推测会启动

    一个相同的task,选择先执行完的作为结果

            |推测执行在spark中默认是关闭的

      1、可能出现数据重复写入

      2、集群奔溃。数据倾斜--task本身计算量大,耗时较长

      2、spark的资源调度流程

        master:管理整个集群的资源

        Worker:每启动一个Worker都注册在Master上

      a、当提交spark的程序时,main会创建driver进程

              当执行到val sc=new SparkContext()---会默认创建两个对象DAGScheduler、

       TaskScheduler对象。

      b、TaskScheduler向Master发送一个请求,申请程序运行需要资源

      c、maste根据TaskScheduler发送的请求,去每一个worker上查看其资源使用情况,

      给资源充足的worker上发送一条信息。让其创建一个executor进程,是一个线程池

      用来执行每一个task

      d、所有的executor都向TaskScheduler反向注册,TaskScheduler中一个executor列表

      e、任务调度---DAGScheduler切分job---分发TaskSet TaskScheduler

      f、TaskScheduler遍历TaskSet,把每一个task分发最优的executor执行

         注意:如果task执行失败,向TaskScheduler...(任务调度)

  • 相关阅读:
    JDBC批处理数据
    JSP+Servlet 无数据库模拟登录过程
    idea常用插件
    如何破解IntelliJ IDEA2018教程
    java在线工具
    mysql快捷修改密码
    jdk1.8新特性
    java基础感觉白学了
    论JDK源码的重要性:一道面试题引发的无限思考
    数组算法经典实例
  • 原文地址:https://www.cnblogs.com/yangfanfan/p/11448740.html
Copyright © 2011-2022 走看看