zoukankan      html  css  js  c++  java
  • java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from 解决

      在用spark的yarn-cluster模式跑fpgrowth进行频繁项集挖掘的时候,报如下错误:

         

    ERROR yarn.ApplicationMaster: User class threw exception: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
    java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapred.FileInputFormat
    	at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:312)
    	at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:199)
    	at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:248)
    	at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:246)

    问题解决过程:

             1、进行lib目录,发现有多个guava版本
             2、修改pom,删除guava依赖,运行,还是报错

              3、pom中spark相关jar包都是使用的provide模式,怎么会报错了,纳闷。
              4、看下集群中hadoop使用的是hadoop-2.6.0-cdh5.7.0,跟进去代码,FileInputFormat中的Stopwatch已经进行了封装,没有使用guava了,这是怎么个情况?
              5、最后最后。。。。

                  spark的配置文件里面有这个配置项

               spark.yarn.jars      hdfs://xxxxxx/spark/share/jars/*.jar

           进入hdfs目录一看,果然里面有相关的hadoop  jar包,删掉这些jar包,在试,ok了。

     

    http://www.cnblogs.com/ylcoder/
  • 相关阅读:
    让eclipse中选中的变量以指定颜色高亮显示
    IDirect3DDevice9::DrawPrimitive
    3D中的切线空间简介(转)
    Scenario 3: Drawing One Triangle with Indexing
    Scenario 2: Drawing Two Triangles with Indexing
    aswing学习笔记
    aswing学习笔记4通过调用面板中的按钮实现主界面动态切换皮肤的问题!
    flexBuilder3中生成的模板页不支持flash全屏的修改办法
    Eclipse和FlexBuilder中设置编辑代码高亮
    aswing学习笔记2不规则外框请教思路
  • 原文地址:https://www.cnblogs.com/ylcoder/p/6285041.html
Copyright © 2011-2022 走看看