zoukankan      html  css  js  c++  java
  • 008 Spark中standalone模式的HA(了解,知道怎么配置即可)

      standalone也存在单节点问题,这里主要是配置两个master。

    1.官网

      

    2.具体的配置

      

    3.配置方式一(不是太理想)

      这种知识基于未来可以重启,但是不能在宕机的时候提供服务。

      方式一:Single-Node Recovery with Local File System
        类似于Hadoop1中的SecondaryNameNode

        当出现单点故障的时候,需要手动启动master,然后master会读刚刚断掉之前的日志,类似于secondarynamenode方式。

      做法:
        1. 修改conf/sparn-env.sh配置文件,打开conf/sparn-env.sh
        2. 给参数SPARK_DAEMON_JAVA_OPTS添加配置参数
          SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=FILESYSTEM -Dspark.deploy.recoveryDirectory=/tmp/xxxx"

        一个参数是恢复模式,一个参数是恢复路劲

      

      

    4.配置方式二(比较给力)

      方式二:Standby Masters with ZooKeeper
        类似于Hadoop2中的NameNode的HA机制,因此会自动转移

      做法:
        1. 修改conf/sparn-env.sh配置文件
        2. 给参数SPARK_DAEMON_JAVA_OPTS添加配置参数
        SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop-senior01:2181,hadoop-senior02:2181,hadoop-senior03:2181 -Dspark.deploy.zookeeper.dir=/spark"

      

  • 相关阅读:
    Leetcode Word Pattern
    Leetcode Strobogrammatic Number
    Leetcode Meeting Rooms
    Leetcode Pascal's Triangle II
    Leetcode Pascal's Triangle
    Leetcode Majority Element II
    Leetcode Majority Element
    牛客多校第六场 B Shorten IPv6 Address 模拟
    牛客多校第六场 A Garbage 模拟/签到
    排列数,康托展开及其线段树优化
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6374671.html
Copyright © 2011-2022 走看看