zoukankan      html  css  js  c++  java
  • apache storm 1.0.0 新特性

    1>处理速度增加, 延迟减少.性能提升10倍以上,延迟减少60%. 实际应用最少提升性能3倍以上.

    2>pacemaker, wokrer间心跳服务器.减少了通过zookeeper保持心跳的瓶颈. 通过in-memory store这些数据.

    3>分布式缓存api, 支持在命令行更改缓存内容.不需要重启拓扑.

    4>HA nimbus, 之前版本中nimbus是单点的,新版本可以启动多个nimbus service,选择leader.

    5>native streaming window api, 可以指定window length 或者 slideing interval,具体操作看:http://storm.apache.org/releases/1.0.0/Windowing.html

    6>bolt的状态管理,  继承BaseStatefulBolt ,在bolt失败时recover.

    7>automatic backpressure, 之前版本中,通过设置topology.max.spout.pending来设置最大等待队列.新版本中通过设置task的缓冲区的百分比大小进行限流.当缓冲区达到设     置的警戒线的高值时,会降低spout的发送速度.当缓冲区大小达到设置的警戒线的低值时,会取消缓冲区

    8>资源调度,可以设置拓扑的spout/bolt内存(on-heap和off-heap)和CPU.具体考:http://storm.apache.org/releases/1.0.0/Resource_Aware_Scheduler_overview.html

    9>动态调整log级别,不用重启

    10> 可以在storm ui中对部分拓扑进行debug

    11> 可以在storm ui 中对单个拓扑的日志进行全部的查找,即查找所以的supervisor日志.

    12> 动态的worker分析,在storm ui 中可以请求worker的heap dump,jstack output and JProfile Recording.

    over...基本就是官网的翻译吧.具体还没试呢.

     

     

  • 相关阅读:
    django基础之ORM基础知识
    Centos7 搭建sonarQube
    centos7安装部署SVN
    centos7.5 SVN 搭建
    centos 7 部署 zookeeper
    centos7 发送邮件
    Centos7安装配置Gitlab-CE
    openldap 双主模式部署
    K8s一键安装
    ELK实战部署
  • 原文地址:https://www.cnblogs.com/yimapingchuan/p/5385891.html
Copyright © 2011-2022 走看看