新闻实时分析系统 Spark2.X集群运行模式

1.几种运行模式介绍

Spark几种运行模式：

1）Local

2）Standalone

3）Yarn

4）Mesos

下载IDEA并安装，可以百度一下免费文档。

2.spark Standalone模式配置并测试

1）jdk1.8已经安装

2）scala2.11.8已经安装

3）Hadoop2.5.0已经安装

4）安装Spark Standalone

a）配置slave

vi slaves

bigdata-pro01.kfk.com

bigdata-pro02.kfk.com

bigdata-pro03.kfk.com

b）配置spark-env.sh

vi spark-env.sh

export JAVA_HOME=/opt/modules/jdk1.8.0_11

export SCALA_HOME=/opt/modules/scala-2.11.8

 

SPARK_CONF_DIR=/opt/modules/spark-2.2.0-bin/conf

SPARK_MASTER_HOST=bigdata-pro02.kfk.com

SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080

SPARK_WORKER_CORES=1

SPARK_WORKER_MEMORY=1g

SPARK_WORKER_PORT=7078

SPARK_WORKER_WEBUI_PORT=8081

c）将spark 配置分发到其他节点并修改每个节点特殊配置

scp -r spark-2.2.0-bin bigdata-pro01.kfk.com:/opt/modules/

scp -r spark-2.2.0-bin bigdata-pro03.kfk.com:/opt/modules/

d）启动spark

sbin/start-all.sh

e）客户端测试

bin/spark-shell --master spark://bigdata-pro02.kfk.com:7077

d）集群运行

bin/spark-submit --master spark://bigdata-pro02.kfk.com:7077 --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata-pro01.kfk.com:9000/user/data/stu.txt hdfs://bigdata-pro01.kfk.com:9000/user/data/output

3.spark on yarn模式配置并测试

1）注意hadoop配置文件中jdk版本是否与当前jdk版本一致

2）spark on yarn 模式提交作业

bin/spark-submit --class com.spark.test.Test --master yarn --deploy-mode cluster /opt/jars/sparkStu.jar hdfs://bigdata