zoukankan      html  css  js  c++  java
  • 023 Spark Scheduler(调度)

    1.官网

      http://spark.apache.org/docs/1.6.1/job-scheduling.html
      http://spark.apache.org/docs/1.6.1/configuration.html#scheduling

      这个图可以多研究一下:

      

    2.两种Scheduler调度器

      DAGScheduler
        负责根据DAG划分Stage,在Driver中执行,当RDD的action类型的API被触发的时候执行


      TaskScheduler
        负责Stage的一个调度,当DAGScheduler划分好DAG的stage阶段后,TaskScheduler负责将Stage对应的Task提交到Executors中执行(也是在Driver中进行操作的)

       

      

    3.Spark调度模式

      也可以说调度方式。

      FIFO:先进先出(默认)
      FAIR: 公平调度

      

      

  • 相关阅读:
    函数配接器
    函数对象和函数指针
    unary_function 和 binary_function
    堆排序
    Shell排序
    volatile理解
    死锁
    进程间通信
    优化循环的方法-循环展开
    如何学习编译原理
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6399366.html
Copyright © 2011-2022 走看看