记录安装Spark环境的过程。
前提是Hadoop集群已经安装,详见:Hadoop 2.X 集群安装
环境:Centos 6.4 X64 & Hadoop 2.2(三节点集群) & Spark 1.0
1、获取Spark源码,可以去官网下载,解压。
2、编译源码。
1)先安装Maven。
2)进入源码目录,执行:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTests clean package
3、生成部署包。
如果生成spark支持yarn、hadoop2.2.0的部署包,执行:
./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgz
4、部署
1)修改conf/slaves,添加节点名称,类似Hadoop配置。
2)修改conf/ spark-env.sh。
export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g
3)拷贝到各个节点