关于在本地idea当中提交spark代码到远程的错误总结（第三篇）

因为我们是在idea当中对hive的数据通过spark sql的形式进行处理的嘛，所以需要加载hive的表以及hive的数据，但是在加载的时候报错；报错信息如下;

 java.lang.NoClassDefFoundError: Lorg/apache/hadoop/hive/ql/plan/TableDesc

看到这里第一反应就是hive的相关包的没有加载了，于是我将他配置在yarn-site.xml的yarn.application.classpath当中。发现同样的问题还是会出现。在网上找的方法也是这样的，没办法只能在sparkcontext初始化的时候，实现对其进行配置了

配置如下

SparkConf conf = new SparkConf().setAppName("spark-onyarn-test").setMaster("yarn-client")
                .set("yarn.resourcemanager.hostname", "vm250-240")
                .set("spark.yarn.preserve.staging.files","false")
                .set("spark.executor.extraClassPath"," /opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hive/lib/*") //这个就是hive的lib包下的所有的包信息。加载进去就可以了。数据完美输出。

                .set("spark.yarn.jar", "hdfs://vm250-240:8020/user/root/spark-assembly-1.6.0-cdh5.14.0-hadoop2.6.0-cdh5.14.0.jar") //这里是spark的依赖的包。我们把这个包上传到hdfs上实现数据文件的共享，不用每次都去加载上传，表现如下