zoukankan      html  css  js  c++  java
  • storm0.9.0.1升级安装

    来自:http://blog.csdn.net/liuzhoulong/article/details/21112101

    1,下载0.9.0.1 http://storm.incubator.apache.org/downloads.html

    2,安装就jdk,python,zookeeper  在服务器 "192.168.1.1" "192.168.1.1""192.168.1.2"上

    3,解压,修改conf下的storm.yaml 

     

     1 storm.zookeeper.servers:  
     2 
     3      - "192.168.1.1"  
     4 
     5      - "192.168.1.2"  
     6 
     7      - "192.168.1.3"  
     8 
     9  nimbus.host: "192.168.1.10"  
    10 
    11  storm.local.dir: "/data/storm/work"  
    12 
    13  supervisor.slots.ports:  
    14 
    15     - 6700  
    16 
    17     - 6701  
    18 
    19     - 6702  
    20 
    21     - 6703  
    22 
    23  storm.messaging.transport: "backtype.storm.messaging.netty.Context"    
    24 
    25  storm.messaging.netty.buffer_size: 209715200    
    26 
    27  storm.messaging.netty.max_retries: 100    
    28 
    29  storm.messaging.netty.max_wait_ms: 1000    
    30 
    31  storm.messaging.netty.min_wait_ms: 100  
    32 
    33  logviewer.port: 80  


    4,删除storm/lib下的log4j-over-slf4j,因为0.9用的logback,不删除top可能起不来,并报类似如下错误

    2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started
    2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn't started

    或者如下错误

    2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
    java.io.IOException: No such file or directory

    把这些错误日志前面的执行语句拿出来看一下就明白了

     

    为了支持logviewer还要给storm/lib下手动copy一个log4j的jar报,这个自己找找吧,我是把0.8.1下面的log4j  拷贝过来的

    不得不说,storm的升级对日志的支持很乱

     

    4,分发配置好的storm,到192.168.1.10,192.168.1.12,192.168.1.13,并在三台服务器上创建/data/storm/work给足够的写权限

    5,启动

       192.168.1.10

      #启动storm nimbus进程
       nohup storm nimbus &
      #启动storm ui监控界面进程
       nohup storm ui &

       192.168.1.12,192.168.1.13

      #启动storm supervisor进程
    nohup storm supervisor &
    #启动storm 日志监控进程。启动该进程,可以在storm ui界面上看各个supervisor节点上日志
    nohup storm logviewer &

    6,show time

          http://192.168.1.10:8080/

          storm  jar **.jar   ATopology   跑一个top看看效果

         下面可以看具体work的日志

          http://192.168.1.12/log?file=worker-6701.log

    7,资源分配不爽

         storm rebalance ATopology -n 10  修改个ATopology 的workers玩玩

         storm rebalance ATopology -e stepblot=74 修改个 ATopology 的stepblot的executors数量玩玩

        

    安装到此为止!

  • 相关阅读:
    Medium | LeetCode 148. 排序链表 | 归并排序(递归)
    Hard | LeetCode 4. 寻找两个正序数组的中位数 | 二分法
    Medium | LeetCode 341. 扁平化嵌套列表迭代器 | 递归 | 栈
    Hard | LeetCode 312. 戳气球 | 递归+记忆化数组 | 动态规划
    如何删除万能输入法
    javaweb 怎么获取路径
    Controller 返回 json那些小事
    螺旋矩阵
    javaweb怎么使用html
    tomcat中文乱码
  • 原文地址:https://www.cnblogs.com/sunxucool/p/3624795.html
Copyright © 2011-2022 走看看