zoukankan      html  css  js  c++  java
  • idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

    idea中使用scala运行spark出现:

      

    Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

    查看build.sbt:

      

    复制代码
    name := "ScalaSBT"
    
    version := "1.0"
    
    scalaVersion := "2.11.8"
    
    libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "1.6.1"
    复制代码

    你需要确保 spark所使用的scala版本与你系统scala的版本一致

    你也可以这样:

    libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.1"  

    那怎样确认你的版本是否一致呢:

    1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看

    确定你的使用版本

    2.查看你的spark的集群,spark使用的scala的版本

      a. 运行spark-shell ,在启动结束会显示版本

        b.进入spark的安装目录查看jars目录下,scala中的类库版本号

      

    ls /usr/local/spark/jars | grep scala
    

      显示如下:

    然后你就可以修改你使用的scala版本号了

    问题解决

     
  • 相关阅读:
    Codeforces 1132D
    Codeforces 670F
    Codeforces 670E
    Codeforces 670E
    Codeforces 670E
    Codeforces 670
    Codeforces 1138
    Codeforces 1114E
    力扣21.合并两个有序链表
    力扣538.把二叉树转换为累加树
  • 原文地址:https://www.cnblogs.com/smiler/p/8319995.html
Copyright © 2011-2022 走看看