以下编译都是在root用户下执行的命令
1.安装Maven 3.3.9和Java 7+ ,这里是官方文档中要求的maven和jdk版本，其他版本未测;
2.执行 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
3.切换到spark2.1.0解压后的源码根目录下
./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3-Dscala-2.11-Phive -Phive -thriftserver-DskipTests clean package
这里的选择scala-2.11,用2.10编译报错
4切换到编译完的dev目录下执行下面命令打包
./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn