zoukankan      html  css  js  c++  java
  • spark源码本地调试

    1、前提条件:

        1)安装jdk

            版本:

        2)安装scala

            版本:

        3)安装sbt

                版本:

        4)安装maven

            

        5)安装git

            版本:

        6)安装idea,并配置好sbt、git、maven

    2、从github上下载源码spark-master.zip文件,并解压

    3、编译:

    windows命令窗口,cd /d  E:workarchituresparkspark-masterspark-master 进入spark源码目录

    >mvn -DskipTests clean package

    该方法总是会报错,编译不成功

    在网上找到解决方法:

    mvn clean -Dmaven.clean.failOnError=false

    就可以build了

    4.在idea中导入源码

    目录如下

    本地执行:

    Run->Edit Configurations

    这样LogQuery类就在执行窗口

     

  • 相关阅读:
    63.Unique Paths II
    Java中的访问修饰符
    Java語言
    JRE与JDK
    Linux中ls命令详解
    硬盘主分区和拓展分区
    java中的静态初始化块
    java中的静态变量
    java中的静态方法
    java构造方法
  • 原文地址:https://www.cnblogs.com/ngy0217/p/10054498.html
Copyright © 2011-2022 走看看