Spark 集群安装
1.上传tar包,解压tar包
tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz
2.修改配置文件(这是yarn模式)
进入 spark/conf 下
cp slaves.template slaves
将Spark集群节点写入slaves
cp spark-env.sh.template spark-env.sh
加入以下配置
3.启动Spark
sbin/start-all.sh
4.yarn运行jar作业
spark-submit --master yarn --deploy-mode cluster --class cn.spark.HelloWorld Hello_Spark-1.0-SNAPSHOT.jar