源码编译的shell脚本为 /dev/make-distribution.sh ,下载源码包解压就能找到。不同版本使用的参数有差异。可以直接查看make-distribution.sh文件。
下载spark源码包,解压缩 ,执行以下脚本
第一种:不支持R,python版本
./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --tgz -Dscala-2.11 -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn
第二种:支持R,python版本,由于我服务未安装R包,所以用下面的脚本虽然编译成功,但是未生产最终的文件.
./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --pip --r --tgz -Dscala-2.11 -PR -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn
编译成功。
注意:
如果要支持SparkR, 必须安装R。
使用第一种方法编译成功后生成的最终文件。