为什么需要编译？
因为不同版本的HDFS在协议上是不兼容的，所以如果你想用你的Spark从HDFS上读取数据，那么你就的选择相应版本的HDFS来编译Spark，这个可以在编译的时候通过设置hadoop.version来选择，默认情况下，Spark默认为编译成Hadoop 1.0.4版本。现在可以使用的方法有Maven编译，sbt编译（时间较长）,Spark自带脚本编译（实际还是调用Maven）。
当然也可以去官网直接下载编译好的Spark,不过需要官方提供版本支持，我的hadoop版本为2.2,所以必须要自己编译。
采用spark自带脚本编译
因为该脚本其实是调用了Maven进行编译的，所以必须先安装Maven。
1. 安装Maven
从官网下载Maven包，解压到/usr/local/maven：
tar -zxf apache-maven-3.2.3-bin.tar.gz
sudo mv apache-maven-3.2.3 /usr/local/maven
配置安装目录：
sudo gedit /etc/profile
在末尾加上：
MAVEN_HOME=/usr/local/mvn
export MAVEN_HOME
export PATH=${PATH}:${MAVEN_HOME}/bin
验证：
mvn –v
2. 编译spark
在下载下来的Spark源码中的同一级目录下有个make-distribution.sh脚本，这个脚本可以打包Spark的发行包，可以通过下面的命令运行（编译成hadoop2.2版本，并打包）：
./make-distribution.sh --tgz -Phadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.2.0
编译完成:
可以在spark目录下找到该包：
