zoukankan      html  css  js  c++  java
  • 基于Docker搭建大数据集群(四)Spark部署

    主要内容

    • spark部署

    前提

    • zookeeper正常使用
    • JAVA_HOME环境变量
    • HADOOP_HOME环境变量

    安装包

    微云下载 | tar包目录下

    • Spark2.4.4

    一、环境准备

    上传到docker镜像

    docker cp spark-2.4.4-bin-hadoop2.7.tar.gz cluster-master:/root/tar
    

    解压

    tar xivf spark-2.4.4-bin-hadoop2.7.tar.gz -C /opt/hadoop
    

    二、配置文件

    spark-env.sh

    SPARK_LOCAL_DIRS=/opt/spark/spark-2.4.4-bin-hadoop2.7
    HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoop
    YARN_CONF_DIR=/opt/hadoop/hadoop-2.7.7/etc/hadoop
    JAVA_HOME=/opt/jdk/jdk1.8.0_221
    export SPARK_MASTER_IP=cluster-master
    export SPARK_DAEMON_JAVA_OPTS="
    -Dspark.deploy.recoveryMode=ZOOKEEPER
    -Dspark.deploy.zookeeper.url=172.15.0.2:2181
    -Dspark.deploy.zookeeper.dir=/sparkmaster"
    

    slaves

    cluster-slave1
    cluster-slave2
    cluster-slave3
    

    spark-default.conf

    spark.eventLog.enabled          true
    spark.eventLog.dir              hdfs://jinbill/spark/eventLog
    spark.history.fs.logDirectory   hdfs://jinbill/spark/eventLog
    spark.eventLog.compress         true
    

    三、启动

    start-all.sh
    

    四、UI界面

    因为网段不同,所以得加路由才能访问

    1. 打开cmd,需要管理员权限
    2. route add 172.15.0.0 mask 255.255.0.0 192.168.11.38 -p

    Spark Master 访问地址
    Spark Slave1 访问地址
    Spark Slave2 访问地址
    Spark Slave3 访问地址
    Spark 历史任务 访问地址

  • 相关阅读:
    Document
    Document
    Document
    Document
    Document
    Document
    Document
    Document
    export和import 输出/接收模块变量的接口
    webpack:(模块打包机)
  • 原文地址:https://www.cnblogs.com/njpkhuan/p/11611951.html
Copyright © 2011-2022 走看看