spark简单安装

spark搭建

• 继续使用上次搭建hadoop

• scala安装:https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.tgz

# 解压
tar -zxvf scala-2.12.12.tgz
# 配置环境变量
vi /etc/profile
export SCALE_HOME=/root/scale/scala-2.12.12
export PATH=$PATH:$SCALE_HOME/bin

• 修改hadoop yarn-site.yml配置

# 是否启用一个线程检查每个任务证使用的物理内存量，如果任务超出了分配值，则直接将其kill，默认是true
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>
# 是否启用一个线程检查每个任务证使用的虚拟内存量，如果任务超出了分配值，则直接将其kill，默认是true。
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

其他相关配置：

<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
	# 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>rmaster:8032</value>
    </property>
	# 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>rmaster:8030</value>
    </property>
	# esourceManager 对NodeManager暴露的地址.。NodeManager通过该地址向RM汇报心跳，领取任务等
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>rmaster:8035</value>
    </property>
	# ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>rmaster:8033</value>
    </property>
	# ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>rmaster:8088</value>
    </property>
    <property>
      <name>yarn.log.server.url</name>
      <value>http://10.0.2.19:8040/jobhistory/logs</value>
    </property>

• 发送linux02,linux04服务

scp -r yarn-site.xml linux04:$PWD
scp -r yarn-site.xml linux02:$PWD

• spark安装

# 解压
[root@linux01 ~]# tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz 
# cd 到配置文件 /root/spark-2.4.8-bin-hadoop2.7/conf

• 修改spark配置: /root/spark-2.4.8-bin-hadoop2.7/conf目录下

[root@linux01 conf]# cp spark-env.sh.template spark-env.sh
[root@linux01 conf]# vi spark-env.sh
# 配置Spark集群的Master端口
export SPARK_MASTER_PORT=7077
# cpu 
export SPARK_WORKER_CORES=1
# 内存
export SPARK_WORKER_MEMORY=1G
export JAVA_HOME=/usr/local/java/jdk1.8.0_281/
# 配置Spark集群的Master地址
export SPARK_MASTER_HOST=linux01
# Master重新启动的模式
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=linux01:2181,linux02:2181,linux03:2181,linux04:2181  -Dspark.deploy.zookeeper.dir=/spark_save_zk"

# 有三种：(1)ZooKeeper (2) FileSystem (3)NONE
spark.deploy.zookeeper.url：ZooKeeper的Server地址
spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。
包括Worker，Driver和Application。

• 日志配置

[root@linux01 conf]# cp log4j.properties.template log4j.properties
[root@rlinux01 conf]# vi log4j.properties   # 将日志的INFO改为WARN

• slave配置

[root@linux01 conf]# cp slaves.template slaves
[root@linux01 conf]# vi slaves
linux02
linux04

• 环境变量配置一波

[root@linux01/02/04 conf]# vim /etc/profle
export SCALE_HOME=/opt/scala-2.12.12
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin
[root@linux01/02/04 conf]# source /etc/profle

• 启动项目：

[root@linux01 sbin]# ./start-all.sh

• 停止

[root@linux01 sbin]# ./stop-all.sh

• 验证

# 进入zookeeper
[zk: localhost:2181(CONNECTED) 0] ls /
# 可以看到 spark_save_zk， 高可用配置OK


# demo运行：
bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--master spark://linux01:7077 
--executor-memory 1G 
--total-executor-cores 1 
examples/jars/spark-examples_2.11-2.4.8.jar 
10

• 登陆web ui : http://10.0.0.155:8080/

• spark提交任务到yarn

# 在spark-env.sh 注释掉 SPARK_MASTER_HOST SPARK_MASTER_PORT
# 添加
YARN_CONF_DIR=/root/hadoop/etc/hadoop

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://linux01:9000/logs   # 新建logs
-Dspark.history.retainedApplications=30"

• 验证 /root/spark-2.4.8-bin-hadoop2.7

[root@linux01 spark-2.4.8-bin-hadoop2.7]# bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --executor-memory 1G --total-executor-cores 1 examples/jars/spark-examples_2.11-2.4.8.jar 10

• 参考

  https://www.cnblogs.com/jin-nuo/p/9437186.html

  https://www.notion.so/Spark-ed90b76b7c83408990a2959b0030c2fb