zoukankan      html  css  js  c++  java
  • storm集群配置

    1. 安装zookeeper集群

    http://www.cnblogs.com/stevenczp/p/4924420.html

    2. 在master上下载storm

    官方的release版本下载链接:http://storm.apache.org/downloads.html

    一开始我犯了个愚蠢的错误,把源码下载然后安装了,于是不停的报错“the storm client can only be run from within a release”之类的

    我解压到了/home/storm/storm目录下

    3.然后修改/conf/storm.yaml文件

     加入zookeeper配置文件,storm的local文件夹地址,nimbus和supervisor的简单配置

     storm.zookeeper.servers:
          - "master"
          - "slave1"
          - "slave2"
          - "slave3"
     storm.zookeeper.port: 2181
     nimbus.host: "master"
    
     storm.local.dir: "/home/storm/storm/storm/data"
    
     supervisor.slots.ports:
         - 6700
         - 6701
         - 6702
         - 6703
    

      这一步尤其需要小心

          首先所有的配置需要开头空一格,只能用空格,用tab符报错

          其次如果在搭建zookeeper的时候修改了端口,那么这里也需要添加zookeeper的端口说明,否则无法工作

          如果后续无法正常运行,就看log,然后修改对应的问题

    4. 用scp将配置好的storm复制到各个slave下

    5. 在master上启动nimbus,ui,在slave上启动supervisor

    master:/bin/storm nimbus
    master:/bin/storm ui
    
    slave1:/bin/storm supervisor
    slave2:/bin/storm supervisor
    slave3:/bin/storm supervisor

    6.浏览器里打开master:8080

    如果长时间loading,并且log里有connecting to nimbus之类的字样,那可能就是zookeeper的port不是默认端口但是又没有配置引起的

    一切正常的话,就能直接看到集群的状态了

    补充

    看以前的帖子,老版的storm应该要配置zeromq什么的

    但是,至少我使用的0.9.5版本,是不需要配置这些的

    依赖项只有,java,zookeeper,python

  • 相关阅读:
    springmvc 方法参数自定义的解析
    numpy生成随机数组,超几何分布与连续分布
    机器学习笔试知识点
    梯度下降(Gradient Descent)小结
    numpy傅里叶变换
    numpy奇异值分解,广义逆矩阵与行列式
    numpy求解特征值和特征向量
    Scrapy简单介绍
    python异步库twisted
    同步,异步,阻塞和非阻塞的通俗理解
  • 原文地址:https://www.cnblogs.com/stevenczp/p/4925674.html
Copyright © 2011-2022 走看看