Spark StandAlone模式和On Yarn模式搭建

Spark StandAlone模式和On Yarn模式搭建

Spark StandAlone模式

上传并解压

tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/

修改配置文件

# 进入conf文件夹目录
cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf

• spark-env.sh

# 修改文件名
mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh
vi spark-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export SPARK_MASTER_HOST=bigdata01

• slaves

mv slaves.template slaves
vi slaves

# 配置bigdata02/bigdata03为从节点
bigdata02
bigdata03

分发

scp -r /data/soft/spark-3.0.2-bin-hadoop3.2/ root@bigdata02:/data/soft/

启动集群

sbin/start-all.sh

启动完毕后, 使用jps命令，在主节点bigdata01上可以看到master进程，在从节点bigdata02/bigdata03上可以看到worker进程。

Web UI测试

Spark Web UI http://bigdata01:8080/

测试

./bin/spark-submit  --class org.apache.spark.examples.SparkPi --master spark://bigdata01:7077 examples/jars/spark-examples_2.12-3.0.2.jar 2

停止集群

sbin/stop-all.sh

Spark on Yarn 模式

上传并解压

tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/

修改配置文件

# 进入conf文件夹目录
cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf

• Spark-env.sh

# 修改文件名
mv spark-env.sh.template spark-env.sh
# 修改spark-env.sh
vi spark-env.sh 

export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop

测试

• 提交测试任务

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples_2.12-3.0.2.jar 2

去Yarn上查看任务状态

总结

Standalone：独立集群模式适合学习过程。

On Yarn 共用Hadoop集群资源推荐使用

参考文档

• Spark官方文档