zoukankan      html  css  js  c++  java
  • spark、standalone集群 (2)集群zookeeper 热备

     测试 cmd    

    spark-examples-1.6.0-hadoop2.6.0.jar   spark 2.0以后  就没有这个 jar。需要下载

    ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://sparknode1:7077 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 10

    ./bin/spark-shell --master spark://sparknode1:7077

     http://mirrors.cnnic.cn/apache/zookeeper/

    1.下载 zookeeper 3.3.6

    tar zxvf 解压到目录(与spark平级,可以自定义)

    2.创建目录data   logs

    3.在data下创建文件 myid (各自 格式都可以,我是txt)

    4.cd /conf复制 zoo_sample.cfg

    cp zoo_sample.cfg zoo.cfg

    vi  zoo.cfg   修改 新增

    5. myid 文件内容 与下图  1,2,3...一致

    (集群务服sparknode1(server.1),中myid的值为 1

    (集群务服sparknode1(server.2),中myid的值为 2)...

    6.把解压  后的zookeeper  上传到 每一台 集群服务器上

    修改对应服务启的 myid文件内容

    7.每一台的zookeeper

    cd /zookeeper.3.3.6/bin  

    ./zkServer.sh start

    ./zkServer.sh status

    8.开始整合 spark

    修改 spark/conf/spark-env.sh

    9.启动 cd /sbin

    ./start-all.sh

    10.测试备用主节点

    修改一下worker 节点为 master,

    sparknode2服务器

    启动 主节点 ./start-master.sh    (sparknode2服务器)

    11.页面查看

     

    杀死  sparknode1   master 进程,

    等一段时间,1-2分钟,,,查看sparknode2 页面,是否把  主节点  激活

     

  • 相关阅读:
    盒子的display属性
    html标签默认属性值之margin;padding值
    JS事件
    表单序列化
    2016年最后一天——前端心语
    原生JS--COOKIE
    原生JS--Ajax
    DOM,BOM
    JS面向对象
    RegExp类型,单体内置对象
  • 原文地址:https://www.cnblogs.com/yxnyd/p/6952745.html
Copyright © 2011-2022 走看看