Spark 运行时相关概念

Spark 运行时相关概念

一些主要的名词概念

从集群的物理层面

• Master 节点：部署 Cluster Manager的节点

• Slave 节点：部署 Worker 的节点，每个节点可以有多个 Worker 进程

从进程层面(与所执行的应用无关)

• Cluster Manager：管理集群的 CPU、内存等资源，为不同的应用分配所需的资源

• Worker： 接受 Cluster Manager 的调度安排，分配具体的资源给应用程序，生成 Executor。每个Worker可以有多个Executor，但默认值为1

具体的APP执行

• Driver：向集群提交 Application， 执行其中创建 SparkContext 的 mian 函数的进程
• Executor：执行切分好的 task ，并把结果缓存在节点的内存和磁盘上。每个 Executor 上可以有多个 task

APP 执行概念的划分

• job：每一个 action 算子会生成一个 job
• stage：每个 job 会被划分为多个 stage，划分依据是否发生了 shuffle（或者说宽窄依赖）
• task：被分配到 Executor 上执行的单位工作内容，一般有多少个 partition 就会有多少个task

Spark 程序的一些对象

SparkConf、SparkContext、SparkSession 和 StreamingContext

• SparkConf：Spark运行的配置对象
• SparkContext：Driver 和集群进行连接和通信的上下文，RDD 编程的入口，Spark 中使用的大多数操作/方法或函数都来自 SparkContext，例如累加器、广播变量、并行化等等
• SparkSession：Spark 新的入口，内部封装了 SparkContext，其实计算也都由 SparkContext 完成，当需要使用 Spark SQL、Hive、DataFream、DataSet 时应使用 SparkSession 为入口
• StreamingContext：Spark Streming 的入口，内部封装了 SparkContext，Stream 相当于 unbound 的 RDD

Spark 运行模式

本地模式

• 本地启动多线程 模拟集群工作，提供单机测试坏境，用于验证逻辑的正确性
• 提交时用参数--master local[N]启动

本地集群模式

• 本地启动多进程 模拟集群工作
• 提交时用--master local-cluster[num_excutors, excutor_cores, excutor_memory]启动

StandAlone 模式

• 自带的集群部署模式，不依赖其他资源调度框架，但资源的调度上不够灵活，适用于项目早期快速部署
• 提交参数 --master spark://ip:port

Spark On Yarn（Mesos与之类似）

• 集群部署模式，借助 Yarn 进行资源管理
• --master yarn

在使用集群部署时还可以使用参数--deploy-mode clientcluster设置选用client还是cluster模式，

• client 模式：在提交App的节点启动 driver，App运行过程中该节点不可离线且应该能够与集群正常通信。此模式下可以在提交任务的终端上看到输出，应该只在调试和测试时使用此模式
• cluster 模式：driver 启动在集群中的某一节点，App 提交后节点可以离线，正常生产中使用此模式

参考资料

- [1] Spark 应用提交指南
- [2] Cluster vs Client: Execution modes for a Spark application