spark编译的坑并不多,最早编译时spark1.2的版本是2015年的事情了,现在spark迭代更新到2.3版本了,架构和功能变化可谓很多。于是今天重新编译下源码,记录下编译的过程。
本次编译过程是在win10版本,jdk版本为1.8,scala版本为2.11,maven版本为3.2.
1、首先git clone github的spark源码到本地。
https://github.com/apache/spark
然后直接输编译命令:
编译的时候出现如下错误:
Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1
一般是maven的插件问题引起,网上一搜一堆解决方案。方法如下:
pom中如下配置maven插件,配置中声明使用JDK1.8:
这里的${JAVA8_HOME}这个变量是在settings.xml中配置的,如下:
当然这里应该需要激活,所以settings.xml文件还应该有如下配置:
同时maven的镜像源修改为阿里的镜像:
然后重新编译, 编译成功,如图: