zoukankan      html  css  js  c++  java
  • apache-spark导入eclipse环境

    工作中用到了apache-spark,想深入了解一下,决定从源码开始。

    先导入到常用的ide,eclipse吧:

    准备工作

     1.  下载Eclipse:http://scala-ide.org/

     2.  从github上下载源码:https://github.com/apache/spark

    第一个实验品是Spark-Core项目

      1. exist maven project 导入Eclipse

      2. Eclipse自动导入依赖,这个过程时间较长,请等待

       完成后,发现报错:

      spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。

      原因:版本不一致

    • Scala IDE uses Scala 2.11.7
    • Apache Spark built with Scala 2.10

          解决方法:

      选中scala libary container [2.11.7],点击右键,选中属性--->classpath container -->2.10 bundle.

      此时重新编译,编译完成ok,没有报错。

    参考文献:

    【1】https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup

    【2】http://stackoverflow.com/questions/34507966/spark-build-path-is-cross-compiled-with-an-incompatible-version-of-scala-2-10-0

    【3】http://blog.csdn.net/yunlong34574/article/details/39213503

  • 相关阅读:
    程序的机器级表示(一)
    virtual memory(1)
    Python定义参数数量可变的method的问题
    存储器结构层次(四)
    CAShapeLayer
    cell
    远程服务器推送
    keyboad
    search搜索
    Cocoopod
  • 原文地址:https://www.cnblogs.com/davidwang456/p/5135338.html
Copyright © 2011-2022 走看看