zoukankan      html  css  js  c++  java
  • Storm高级属性

            之前写了2篇文章讲述了Storm的基本知识。最近也学习了Storm的高级属性了,单纯粹还是属于了解的状态。我就简单介绍几个比较简单的属性。

            1.DRPC。简称分布式RPC,模型图:


    用户直接面对的是DRPC Server,避开了所有的拓扑逻辑,Storm提供了一个名为LinearDRPCTopologyBuilder的线性拓扑构建器,他把DRPC所做的几乎所有步骤都自动实现了。本地模式的代码例子如下:

    LocalDRPC drpc = new LocalDRPC();
    LocalCluster cluster = new LocalCluster();
    
    cluster.submitTopology("drpc-demo", conf, builder.createLocalTopology(drpc));
    
    System.out.println("Results for 'hello':" + drpc.execute("exclamation", "hello"));
    
    cluster.shutdown();
    drpc.shutdown();
            2.事务拓扑。事务拓扑的概念可以理解为就是和事务的概念差不多。Storm在0.7.0版本中引入了事务拓扑的概念,使你能够对几乎任何计算得到确切的一切消息语义。事务拓扑的一个核心思想是:

    (1)、如果数据库中的事务id,与当前事务的id一样,跳过更新

    (2)、如果2者id不同,则只需更新操作

    (3)、由(1),(2)的保证,一旦提交了一个特定的事务id,所有之前的事务id将永远不会被再次提交。

    事务拓扑的实现是由Storm的TransactionTopologyBuilder类来创建事务拓扑。

           3.Trident.Trident是Storm实时计算的高层抽象,他提供了更加便利和直观的接口。Trident是Storm实时计算的高层抽象。Trident有连接,聚合,分组,函数和过滤器等操作。Trident的实现也是用Storm提供的TridentTopology。Trident API用于对数据进行转换盒组织。Trident有5种类型的操作:

    (1).本地分区操作,应用本地到每个分区,不需要网络传输

    (2).重新分区操作,重新分区一个流但不改变其内容,需要网络传输

    (3).聚合操作,网络传输是该操作的一部分

    (4).流分组操作

    (5).合并与连接

    在后来的Storm的发展中,也出现了与Storm发展的一些开源项目

    1.JStorm(JStorm继承了Storm的全部优点,并改进部分Storm的不足,提高了Storm的性能和稳定性)

    2.storm-deploy

    3.Storm与Kafka项目

    4.Storm-kestrel项目

  • 相关阅读:
    svg手写标签
    使用node搭建本地服务器
    window电脑上设置鼠标触屏板的开关
    本地git如何与gitlab连接
    utools中的内网穿透下架,可使用natapp替代。
    移动端rem.js
    扫码登录开发者工具时,提示:调试过程中开发者可通过以下公众号获得你的相关信息。怎么取消这个公众号啊?
    实现图片的延迟加载
    Chrome 中安装 Vue 扩展程序
    VMWare虚拟机Bridged类型网卡ping不通的原因和解决办法
  • 原文地址:https://www.cnblogs.com/bianqi/p/12184238.html
Copyright © 2011-2022 走看看