Spark On yarn

spark on yarn 提交的任务失败，提示 exit 15

之前查网上，大部分有人说时mapred－site 配的classpath有问题，但是我的是好的。

经过艰难的排查是发现，提交的job代码有错误。是什么原因没有发现这个错误呢，因为这个job在client模式时是可以运行的，但是到了cluster模式就是失败。

后来发现一段

val userDefinedScala = scala.io.Source.fromFile(Utils.DEFAULT_PROJECT_DIR+"UDF.scala").mkString

　　其中

Utils.DEFAULT_PROJECT_DIR ＝

"src/main/scala/com/qiniu/bigdatatool/spark/"

这个代码在client跑时应该是可以找到的，但是到了cluster模式跑就不行了。 所以这个是个问题，这应该是涉及到了cluster模式的细节。

后来是通过反射加载了这个类，解决了问题。