安装Spark时遇见的坑

在安装独立部署模式中遇见的坑：

步骤一：

　　解压安装：tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录  #最好是从根目录跟踪

步骤二：

　　改文件名并修改配置文件：

　　注意：这里slaves中当时我的里面有一个localhost 没有注释，所以导致了Master节点出现了两个Worker，一定要注释 或者 删除

# 首先将slaves.template 和 spark-env.sh.template 改名字
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

# 修改slaves 添加你的节点名
#localhost  # 一定要保证这里注释 或者 删除
hadp01
hadp02
hadp03

# 修改 spark-env.sh 添加Java环境 设置主节点名 端口号
export JAVA_HOME=/opt/module/jdk # 你的JAVA_HOME
SPARK_MASTER_HOST=hadp01  # 这里的hadp01是我的节点一的hostname
SPARK_MASTER_PORT=7077 # spark 端口号

我搜索了一下解决方法，里面有一个在 spark/sbin/spark-config.sh 中添加Java的环境

但是这里跟两个Worker没有直接的关系，不属于这里的坑，所以我就不赘述了

步骤三：

　　分发到其他节点：

[root@hadp01 spark]# xsync spark/  # xsync 是集群间的分发文件脚本，详细内容参见本人的HDFS学习之路

步骤四：

　　启动：

# 注意：没有配置环境变量，只能在Spark路径下来启动
[root@hadp01 spark]# sbin/start-all.sh