不多说,直接上干货!
Application program的组成
Job : 包含多个Task 组成的并行计算,跟Spark action对应。
Stage : Job 的调度单位,对应于TaskSet 。
TaskSet :一组关联的、相互之间没有shuffle 依赖关系的任务组成的任务集。
Task : 被送到某个executor 上的工作单元
Spark 运行流程概述
Spark具体流程(以standalone模式为例)