002 Spark的编译

一：不编译

1.不编译的做法

　　在公司里可能需要编译，但是如果为了简单的学习就不必编译，直接在官方下载即可。

　　截图为：

　　

二：编译

1.下载

　　http://archive.cloudera.com/cdh5/cdh/5/

　　http://archive.apache.org/dist/

2.环境要求

　　

3.官方要求位置

 　　

　　

4.检测环境

　　

5.解压resposity（需要的包）

　　

6.解压spark

　　 tar -xvf spark-1.6.1.taz -C /etc/opt/modules/

　　

7.修改make-distribution.sh文件

　　我想，应该是替换掉上面的变量

　　

8.修改pom.xml（共两处scala.version）

　　

9.放置依赖服务，先上传

　　如果不给，则需要在网上自己下载，时间太久。

　　

10.将依赖的压缩包解压到spark下的build下

　　tar -zxvf zinc-0.3.5.3.tgz -C /etc/opt/modules/spark-1.6.1/build 

　　tar -zxvf scala-2.10.4.tgz -C /etc/opt/modules/spark-1.6.1/build

　　

11.CDH编译以及apache编译（选择一种）

　　

　　在这里使用apache编译

　　./make-distribution.sh --tgz

　　-Phadoop-2.4
　　-Dhadoop.version=2.5.0
　　-Pyarn
　　-Phive -Phive-thriftserver

　　解释：

　　tgz：打包压缩

　　-P：环境变量

　　

　　

12.编译的结果

　　

13.编译好的jar包

　　

三：结束

1.到此为止，打包压缩已经完成，就意味着编译已经成功。