运行 Spark on YARN
Spark 0.6.0 以上的版本添加了在yarn上执行spark application的功能支持，并在之后的版本中持续的
改进。关于本文的内容是翻译官网的内容，大家也可参考spark的官网地址：http://spark.apache.org/docs/latest/running-on-yarn.html
1. 在yarn上执行spark
需要确保提交spark任务的客户端服务器上， HADOOP_CONF_DIR 或者 YARN_CONF_DIR 目录中包含
hadoop集群的配置文件。这些配置文件被用于读写HDFS和连接yarn 的resourceManager。此目录中包含的配置
将分发到YARN群集，以便应用程序application使用的所有容器都使用相同的配置。
如果配置中引用了Java系统属性或未由YARN管理的环境变量，则还应在Spark应用程序的配置（driver, executors, and the AM when running in client mode驱动程序，执行程序和在客户端模式下运行时的AM）中设置它们。
在yarn上执行sprak 的application有两种部署模式：集群模式和客户端模式。在集群模式下， Spark driver程序在集群上由YARN管理的application master 进程内运行，客户端程序可以在启动应用程序后离开。在客户端模式下，driver程序在客户端进程中运行，application master仅用于从YARN请求资源。
与Spark独立模式和Mesos模式不同，其中主节点地址在-master参数中指定，在YARN模式下，ResourceManager的地址是从Hadoop配置中选取。 因此，-master的参数值是 yarn。
在集群模式下执行 Spark application:
$ ./bin/spark-submit --class path.to.your.Class --master yarn --deploy-mode cluster [options] <app jar> [app options]
示例：
$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
--driver-memory 4g
--executor-memory 2g
--executor-cores 1
--queue thequeue
lib/spark-examples*.jar
10
以上操作启动一个YARN client程序 ，这个client请求yarn启动一个默认的Application Master。然后SparkPi将作为Application Master的一个子线程运行。 客户端程序将定期轮询应用程序主控以获取状态更新，并在控制台中显示它们。 应用程序完成运行后，客户端将退出。 请参阅下面的“调试应用程序”部分，了解如何查看驱动程序和执行程序日志。
在客户端模式下执行 Spark application:
要在客户端模式下启动Spark应用程序，请执行相同操作，但用client替换cluster。 以下显示了如何在客户端模式下运行spark-shell：
$ ./bin/spark-shell --master yarn --deploy-mode client
添加spark application 依赖的jar包
在集群模式下，添加spark application 依赖的jar包*
$ ./bin/spark-submit --class my.main.Class
--master yarn
--deploy-mode cluster
--jars my-other-jar.jar,my-other-other-jar.jar
my-main-jar.jar
app_arg1 app_arg2