Spark简单集群搭建

 

1． 上传spark-2.2.0-bin-hadoop2.7.tgz安装包到/home/dtouding目录下

2． 解压安装包到/bigdata/目录下，tar –zxvf spark-2.2.0-bin-hadoop2.7.tgz –C /bigdata/

3． 修改配置文件：

1)      mv spark-env.sh.template spark-env.sh

2)      mv slaves.template slaves

3)      修改spark-env.sh文件

添加Java的安装路径：export JAVA_HOME=/usr/local/jdk1.8.0_181/

指定Master：export SPARK_MASTER_HOST=Node-1

指定Master的RPC通信端口：export SPARK_MASTER_PORT=7077

4)      修改slaves文件，指定worker

4． 把spark安装目录拷贝到其他两个节点上。

for i in {2..3};do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ Node-$i:/bigdata/;done

5． 启动：sbin/start-all.sh

6． Spark管理界面：http://192.168.0.111:8080/