zoukankan      html  css  js  c++  java
  • spark源码编译

    spark编译的坑并不多,最早编译时spark1.2的版本是2015年的事情了,现在spark迭代更新到2.3版本了,架构和功能变化可谓很多。于是今天重新编译下源码,记录下编译的过程。

    本次编译过程是在win10版本,jdk版本为1.8,scala版本为2.11,maven版本为3.2.

    1、首先git clone github的spark源码到本地。

    https://github.com/apache/spark

    然后直接输编译命令:

    编译的时候出现如下错误:

    Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1

    一般是maven的插件问题引起,网上一搜一堆解决方案。方法如下:

    pom中如下配置maven插件,配置中声明使用JDK1.8:

    这里的${JAVA8_HOME}这个变量是在settings.xml中配置的,如下:

    当然这里应该需要激活,所以settings.xml文件还应该有如下配置:

     

    同时maven的镜像源修改为阿里的镜像:

    然后重新编译, 编译成功,如图:

  • 相关阅读:
    MySQL
    php抽象类和接口
    php面向对象三大特征
    php面向对象
    Git
    css3属性
    数据渲染
    ajax(2)
    ajax笔记
    作用域面试题
  • 原文地址:https://www.cnblogs.com/hd-zg/p/8797131.html
Copyright © 2011-2022 走看看