zoukankan      html  css  js  c++  java
  • 本地idea调试spark2.x程序

    1.构建使用idea 构建maven 项目

    选择org.scala-tools.archetypes:scala-archetype-simple,然后一直点next,maven最好选中本地配置国内源的而不适用idea自生的。

    工程创建好后,点击Event Log

    修改pox.xml文件(设置scala的版本默认创建为2.7.0的)

    Error:scalac: error while loading JUnit4, Scala signature JUnit4 has wrong version
    expected: 5.0
    found: 4.1 in JUnit4.class
    上述问题解决方法
    1.治标不治本
    直接注释test目录下报错的代码即可
    2.根治方法(试了下但没成功)
    点击file->Settings->Plugins 搜索junit,按下图安装好后重启idea即可

    2.添加spark程序所依赖的jar包 (修改pom.xm用maven添加的不知道为什么不能运行)

    点击file->Project Setting->Libaries添加jar包
        jar包来源:spark官网下载下载编译过的安装包(如下图类型的)
    


    把安装包中的jars目录中的jar全部添加到工程中(可根据自己需求添加)
    添加完后编写spark应用程序设置为本地模式便可以在idea上直接运行调试

  • 相关阅读:
    软件工程评分表
    评论
    团队成员介绍
    第九天冲刺
    第八天冲刺
    第七天冲刺
    第六天冲刺
    第五天冲刺
    第四天冲刺
    第三天冲刺
  • 原文地址:https://www.cnblogs.com/ios1988/p/7743656.html
Copyright © 2011-2022 走看看