Spark集群安装

一、系统配置
3台虚拟机
hadoop1: 4g内存 2核 80g硬盘
hadoop2 2g内存 1核 12g硬盘
hadoop3: 2g内存 1核 12g硬盘
client: 1g内存 1核 12g硬盘
二、scala安装

1、下载scala-2.12.8.tgz安装包

curl -O https://www.scala-lang.org/files/archive/scala-2.12.8.tgz

2、远程传输到hadoop2、hadoop3、client节点上

scp scala-2.12.8.tgz root@hadoop2:`pwd`
scp scala-2.12.8.tgz root@hadoop3:`pwd`
scp scala-2.12.8.tgz root@client:`pwd`

3、解压安装文件

tar zxvf scala-2.12.8.tgz

4、添加环境变量

#scala配置
SCALA_HOME=/usr/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin

5、安装验证

二、spark集群安装
1、下载spark-2.4.5-bin-without-hadoop.tgz安装包

curl -O https://mirror.bit.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoop.tgz

2、远程传输到hadoop2、hadoop3、client节点上

scp spark-2.4.5-bin-without-hadoop.tgz root@hadoop2:`pwd`
scp spark-2.4.5-bin-without-hadoop.tgz root@hadoop3:`pwd`
scp spark-2.4.5-bin-without-hadoop.tgz root@client:`pwd`

3、解压安装包

tar zxvf spark-2.4.5-bin-without-hadoop.tgz

4、编辑配置文件

/usr/local/softwareinstall/spark-2.4.5/conf

(1)slaves

mv slaves.template slaves   
vim slaves  

添加如下配置

hadoop2
hadoop3

(2)spark-env.sh

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

添加如下配置

export JAVA_HOME=/usr/java/jdk1.8.0_172
export SCALA_HOME=/usr/scala-2.12.8
#master节点ip
export SPARK_MASTER_IP=hadoop1
#应用程序提交端口
export SPARK_MASTER_PORT=7077
#每个worker节点管理的内存数
export SPARK_WORKER_MEMORY=2g
#每个worker节点管理的cores数
export SPARK_WORKER_CORES=3
export SPARK_MASTER_WEBUI_PORT=8888

当使用不含hadoop的安装文件配置时(xxx--without-hadoop.tgz)，还需要添加如下配置，告知spark关于hadoop的安装信息

export SPARK_DIST_CLASSPATH=$(/usr/local/softwareinstall/hadoop-3.1.3/bin/hadoop classpath)

参考：Using Spark's "Hadoop Free" Build

5、重命名spark集群启动脚本名称(/usr/local/softwareinstall/spark-2.4.5/sbin/start-all.sh)
避免与hadoop的start-all.sh脚本(启动hdfs、yarn集群)冲突

mv start-all.sh start-spark.sh

6、添加环境变量

vim /etc/profile

添加如下配置

#spark环境变量配置
SPARK_HOME=/usr/local/softwareinstall/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/sbin

source /etc/profile   #使修改生效

7、启动spark集群

./sbin start-spark.sh

8、ui界面观察

hadoop1:8888

参考：
(1)spark2.4.5
http://spark.apache.org/docs/latest/