zoukankan      html  css  js  c++  java
  • (一)Spark(spark on yarn 模式)搭建

    一.集群规划

    Name Master Slave1 Slave2
    IP 192.168.2.98 192.168.2.99 192.168.2.100
    Jdk版本 1.8.0.171 1.8.0.171 1.8.0.171
    Zookeeper版本 3.4.10 3.4.10 3.4.10
    Hadoop版本 2.7.3 2.7.3 2.7.3
    Scala版本 2.11.12 2.11.12 2.11.12
    Spark版本 2.4.0 2.4.0 2.4.0
    Master Y N N
    Worker N Y Y

    二.搭建Spark

    tar包链接https://pan.baidu.com/s/1hwLPI0eUwkpGmP5ROqM6Lw 提取码: k7m3

    启动Spark之前得先启动Hadoop,可移至Hadoop分布式搭建进行安装。

    # mkdir /usr/scala  主结点建立目录1 
    # tar -zxvf scala-2.11.12.tgz -C /usr/scala/  解压
    # vim /etc/profile  环境变量添加
    export SCALA_HOME=/usr/scala/scala-2.11.12
    export PATH=$SCALA_HOME/bin:$PATH
    # source /etc/profile  主结点生效环境变量
    # scala -version  验证主节点安装
    # mkdir /usr/spark  主结点建立目录2         
    # tar -zxvf /opt/soft/spark-2.4.0-bin-hadoop2.7.tgz -C /usr/spark/  解压
    # vim /etc/profile  添加环境变量
    export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
    export PATH=$SPARK_HOME/bin:$PATH
    # cd /usr/spark/spark-2.4.0-bin-hadoop2.7/conf/  进入
    # cp spark-env.sh.template spark-env.sh & vim spark-env.sh  复制并进入配置1添加
    # spark主结点IP
    export SPARK_MASTER_IP=master
    # Scala安装目录
    export SCALA_HOME=/usr/scala/scala-2.11.12
    # 运行内存
    export SPARK_WORKER_MEMORY=8g
    # 运行核数
    export SPARK_WORKER_CORES=1
    # java安装目录
    export JAVA_HOME=/usr/java/jdk1.8.0_171
    # hadoop安装目录
    export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
    # hadoop配置文件所在路径
    export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/Hadoop
    # cp slaves.template slaves & vim slaves  添加
    slave1
    slave2
    # scp -r /usr/scala root@slave1:/usr/  scala分发各子结点
    # scp -r /usr/scala root@slave2:/usr/ 
    # scp -r /usr/spark root@slave1:/usr/  spark分发各子结点
    # scp -r /usr/spark root@slave2:/usr/
    # scp -r /etc/profile root@slave1:/etc/  环境分发各子结点
    # scp -r /etc/profile root@slave2:/etc/ 
    # source /etc/profile  各结点执行生效环境变量
    # /usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh 开启集群 stop为关闭hadoop得提前启动
    打开浏览器网址栏输: 192.168.2.98:8080访问Spark的web管理页面

    访问WEB

  • 相关阅读:
    Java并发基础10:原子性操作类的使用
    Java并发基础09. 多个线程间共享数据问题
    Java并发基础08. 造成HashMap非线程安全的原因
    Java并发基础07. ThreadLocal类以及应用技巧
    Java并发基础06. 线程范围内共享数据
    Java并发基础05. 传统线程同步通信技术
    Java并发基础04. 线程技术之死锁问题
    我是如何从通信转到Java软件开发工程师的?
    IOS 判断耳机插入/拔出
    海量数据处理
  • 原文地址:https://www.cnblogs.com/Agent9527/p/13193026.html
Copyright © 2011-2022 走看看