zoukankan      html  css  js  c++  java
  • spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)

      不多说,直接上干货!

      

    前言

        其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来。

      本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程。

      好一段时间之前,写过这篇博客

    使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码(博主强烈推荐)

      最近开始进行更新,希望能帮助到开发的你。

    下载源码

      去github官网 下载

     

     

       spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse适用)(以spark2.2.0源码包为例)

      然后解压缩为目录,scalaIDE不支持tgz的文件关联,只支持jar,zip。

      那么就 使用文件目录关联就可以了,关联spark2.0的目录就可以了,很简单。

       比如,我这里放在D:SoftWare

     

     

      我这里为了区分,自己改名为spark-2.2.0-src

    spark最新源码下载并导入到开发环境下助推高质量代码(IntelliJ IDEA适用)(以spark2.2.0源码包为例)

         前期博客,见

    如何在IDEA里给大数据项目导入该项目的相关源码(博主推荐)(图文详解)

     

     方式1

     方式2

        如果是maven方式来导入源码的话

    点击进去,为什么会报红错误,maven没改

     

     

     

           所以,个人建议,还是maven方式好啊

     方式3

     

     

     

        如果是Scala IDEA for Eclipse,则比如把spark-1.6.1

             

              经过解压,我这里特意改下名字,为spark-1.6.1-src

                    注意:这不局限于spark,比如Hadoop、Hive、HBase....等其他大数据组件的源码一样的步骤,这里不多赘述。当然其他人肯定也有其他的步骤来阅读。

              比如,说在IDEA里可以直接点击进去,maven会自动下载等,这个我不多评论。

  • 相关阅读:
    PHP 魔术函数
    创建静态链接库
    Linux C 子进程的调度
    Android开发(三) android布局
    谷歌(Google)算法面试题
    Android开发(二) 详细了解android开发
    制作makefile文件
    SHELL编程
    5 Rules For A Good Web Design
    非托管代码方法的命名约定
  • 原文地址:https://www.cnblogs.com/zlslch/p/7457352.html
Copyright © 2011-2022 走看看