zoukankan      html  css  js  c++  java
  • Spark3000门徒第12课Spark HA实战总结

    今晚听了王家林老师的第12课Spark HA实战,课堂笔记以及作业如下:

    Spark HA需要安装zookeeper,推荐稳定版3.4.6.

    1.下载zookeeper3.4.6,
    2.配置环境变量
    3.创建data logs
    4.vi conf/zoo.cfg
    5 data目录中创建myid

    spark-env.sh 配置HA :

    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=Master:2181,Work1:2181,Work2:2181 -Dspark.deploy.zookeepr.dir=/spark"

    STANDBY  master,靠边站的意思,等待服务

    试验:./stop-master.sh

    failover恢复不会马上恢复,一般分钟级。

    稍等片刻可以看到Master自动切换成功。

    后续课程可以参照新浪微博 王家林_DT大数据梦工厂:http://weibo.com/ilovepains

    王家林  中国Spark第一人,微信公共号DT_Spark

  • 相关阅读:
    05 css继承性
    04 选择器权重
    03 css三种引入的方式
    02 css实现举例
    01 css介绍
    05 dl-添加定义列表
    04 ol-热门点击排行榜
    02 h1 p hr br 特殊符号
    01html简介
    函数内置方法
  • 原文地址:https://www.cnblogs.com/haitianS/p/5134835.html
Copyright © 2011-2022 走看看