1.官网
http://spark.apache.org/docs/1.6.1/job-scheduling.html
http://spark.apache.org/docs/1.6.1/configuration.html#scheduling
这个图可以多研究一下:
2.两种Scheduler调度器
DAGScheduler
负责根据DAG划分Stage,在Driver中执行,当RDD的action类型的API被触发的时候执行
TaskScheduler
负责Stage的一个调度,当DAGScheduler划分好DAG的stage阶段后,TaskScheduler负责将Stage对应的Task提交到Executors中执行(也是在Driver中进行操作的)
3.Spark调度模式
也可以说调度方式。
FIFO:先进先出(默认)
FAIR: 公平调度