Spark on Yarn

YARN是什么

YARN在hadoop生态系统中的位置

 

YARN产生的背景

YARN的基本架构

 

ResourceManager

NodeManager

 ApplicationMaster

container 

 

                              Spark On Yarn 配置和部署

编译时包含yarn

基本配置

 

在没有配置的前提下试下启动spark-shell

可以看到启动没问题

 

 这里问题就来了！！！

下面我们配上来看看

可以看到报错了！！！

 应该是资源不足导致的

先重启一下各个进程

 

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.JavaSparkPi --master yarn-cluster 
--num-executors 1 --driver-memory 1g --executor-memory 1g --executor-cores 1 $SPARK_HOME/lib/spark-examples-1.6.1-hadoop2.6.0.jar

注意观察了

 可以看到

以下为视频内容（本人自己的环境出错，费了好多精力找不到原因）

提交spark job给yarn

 

 在跑的过程中我们可以在网页上看到

 

                                                                       Spark On Yarn 运行架构解析

 

                                       

                                                                yarn client

 

 如何更改默认配置

 

在这里修改

环境变量

http://spark.apache.org/docs/1.6.1/running-on-yarn.html