zoukankan      html  css  js  c++  java
  • Storm的起源概况

               现在是BigData大数据的时代,最近几年最火的是当然属于Hadoop平台了,但是Hadoop虽然说比较好用,但是他的延时性,比较差的实时计算能力被人们所诟病。所以一个比较强大的分布式实时计算平台应用而生,他的名字叫Storm。

              要说Storm的起源,得先说说一个很有名的社交网站--TWitter。因为Storm是Twitter公司在2011年正式开源出去的,也就是说,在2011年之前,还没有人知道Storm是干嘛用的呢。Twitter公司在2011年的7月收购了BackType公司,Storm就是由BackType公司开发的实时处理系统。Storm的出现帮助Twitter解决了实时海量大数据处理的问题。自此之后,Storm被很多大型互联网公司所采用,阿里巴巴还以此为基础,开发了适合于自己平台的JStorm的架构。

              Storm集成了许多消息队列和数据库的技术,主要的开发语言为java和Clojure,其中java定义骨架,定义了几个主要的抽象类,Clojure实现里面主要的逻辑。Storm有一点比较好,他是基于Thirft架构的,支持多语言的开发,与编程语言无关的。下面展示一下Storm的核心即使和组成部分:


    具体每个模块什么作用,在后期可以自行学习。Storm作为一个横空出世的平台,和Hadoop有什么区别呢

    1.更适用于实时数据处理

    2.一直运行,不会停止,除非用户主动退出,他会持续的运作下去。Hadoop更多的是像是一种批处理。

    3.可用各种编程语言。

    4.部署和操作简单,都是用ZooKeeper进行协调服务的。

    Storm目前的应用方向:

    (1).流处理(Stream Processing),Storm 可以用来对源源不断流进来的消息

    (2).连续计算(Continuous Computation),因为Storm能保证计算可以永远运行,直到用户结束计算线程为止

    (3).分布式RPC(DRPC)。由于Storm的处理组件是分布式的,而且处理延时极低,所以可以作为分布式RPC框架使用。

    Storm的开源代码已经托管在gitHub上了,作为开源项目,拿来学习当然是非常好的资料了啊。

  • 相关阅读:
    (六)键盘事件
    (五)鼠标事件
    (四)WebDriver常用方法
    等价类,边界值,判定图实例
    WCF入门(三)---WCF与Web服务/Web Service
    WCF入门(二)-----实战开发
    C#中用JavaScriptSerializer和Json.Net操作json格式的文件
    C#中SaveFileDialog 和OpenFileDialog 的用法
    C#操作.csv文件Demo
    Excel操作--使用NPOI导入导出Excel为DataTable
  • 原文地址:https://www.cnblogs.com/bianqi/p/12184252.html
Copyright © 2011-2022 走看看