zoukankan      html  css  js  c++  java
  • Spark高可用

    master节点存在单点故障,要解决此问题,就要借助zookeeper,并且启动至少两个master节点来实现高可靠,配置方式比较简单:

    Spark集群规划:Master:hadoop01、hadoop04;

             Worker:hadoop02、hadoop03、hadoop04

    安装配置zk集群,并启动zk集群(此处不在赘述)

    停止spark所有服务,修改配置文件spark-env.sh,在该配置文件中删除

    SPARK_MASTER_IP并添加如下配置

    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop02,hadoop03,hadoop04 -Dspark.deploy.zookeeper.dir=/spark"

    分发到hadoop02,hadoop03,hadoop04节点下

    1.在hadoop01节点上修改slaves配置文件内容指定worker节点
    ps:若是修改了slaves节点那么配置文件也发分发
    2.先启动zookeeper集群
    3.在hadoop01上执行sbin/start-all.sh脚本,然后在hadoop04上执行sbin/start-master.sh启动第二个Master

    ps:若使用spark-shell启动集群需要添加配置
    spark-shell --master spark://master01:port1,master02:port2

  • 相关阅读:
    Scala Ant Tasks
    Git挂钩
    读写文件
    DC10用CSS定位控制网页布局
    table设置colspan属性,列宽显示错位解决方法
    ATM和购物商城-错题集
    python 函数参数多种传递方法
    python 函数 初学
    python 集合 gather
    元组 字体高亮 购物车练习
  • 原文地址:https://www.cnblogs.com/yumengfei/p/12029144.html
Copyright © 2011-2022 走看看