英文原文地址：https://spark.apache.org/docs/latest/cluster-overview.html
集群模式概述
本文档简单介绍了spark如何在集群中运行，它使得你更容易理解spark相关的组件。关于如何在一个集群中运行spark，请参考application submission guide 。
组件
spark应用以多个进程的形式运行于一个集群中，它使用你所定义的主程序（或者叫驱动程序）中的SparkContext这个对象来协调。当运行于集群时，SparkContext可以运行于多种的集群管理器中（包括spark自带的standalone集群，以及mesos和yarn），它们都被用于在不同的应用间分配资源。当spark应用连接到了集群管理器后，（1）首先它将从集群中的节点获取执行器（executor），这些执行器就是用来运行计算或者存储数据的进程（2）然后，spark会将你的应用代码（jar包或者python文件）发送给执行器（3）最后，SparkContext将具体的任务(task)发送给执行器运行。
关于上面的架构，有几占需要注意的：
1、每一个应用都拥有它自己独立的执行器进程（executor processes），这些进程在应用的整个生命周期中保持运行，且一般会同时运行多个线程。这有利于不同应用的分离，但同时，它也意味着数据不能在不同的spark应用（或者说不同的SparkContext）中共享，除非你先将数据输出到外部存储中。
2、spark独立于底层的cluster manager，只要保证它能够获取到executor processes,并且这些进程之间能互相通信。这就很容易将应用运行于不同的cluster manager，如mesos/yarn等，甚至这些cluster manager还能运行其它类型的应用。
3、驱动程序必须在整个生命周期中监听并接受执行器的连接 (e.g., see spark.driver.port and spark.fileserver.port in the network config section)。因此驱动程序对于工作节点来说，必须可以通过网络访问的。
集群管理器的类型
目前spark支持以下几种集群管理器:
- Standalone – spark自带的集群管理器，可以很方便的用于创建集群。
- Apache Mesos – 一个通过的资源管理器，它可用于运行MR与一些其它应用。
- Hadoop YARN – hadoop2.x引入的资源管理器。
此外，spark的EC2 launch scripts 使得你可以很方便的在亚马逊EC2上运行独立集群。
提交应用
可以通过spark-submit向任意类型的集群提交应用。 application submission guide 详细介绍了如何向spark集群提交应用。
监控
每一个驱动程序都有一个web UI（一般在4040端口），它展示了应用的信息，包括运行的任务，执行器以及存储的使用情况等。在一个浏览器中打开 http://<driver-node>:4040 就可访问到这个UI，monitoring guide详细介绍了其它监控项。
作业调度
spark在不同应用间已经应用内部提供资源分配的控制， job scheduling overview详细介绍了这些内容。
术语
下面总结了你在使用spark中需要用到的术语:
|
Term |
Meaning |
|
Application |
用户创建的spark应用，它由一个驱动程序和多个执行器组成。 |
|
Application jar |
jar包包括了用户的spark应用，有时候，用户会创建一个超级包，它包括了这个包的所有依赖，但是不管如何，用户Jar包不应该包括hadoop和spark的library，它们会在运行时自动加载。 |
|
Driver program |
运行应用main函数的进程，同时它也用于创建SparkContext。 |
|
Cluster manager |
一个用于获取集群资源的外部服务，如 ( standalone manager, Mesos, YARN) |
|
Deploy mode |
用于区分在哪里运行驱动程序，在cluster模式中，会在集群内运行驱动程序，而在client模式中，在集群外运行驱动程序。 |
|
Worker node |
集群中可以运行应用代码的节点 |
|
Executor |
某个应用运行于worker node的进程，它运行多个任务(task)，并且在内存或者磁盘中保存数据。每一个应用都有自己的一个或者多个executors |
|
Task |
在executor中运行的工作单元 |
|
Job |
由多个task组成的并行计算，你会在driver的log中看到这个词 |
|
Stage |
每一个job会被切分为一个更小的任务集合，这些任务集群被称为stage，它们之间互相依赖（如MR中的map和reduce),你会在driver的log中看到这个词
|